(2)运用大数据技术挖掘数据资产价值
目前全法已经安装3500万智能电表,电表产生的数据量将在5-10年内达到PB级。智能电表采集的主要是个体家庭的用电负荷数据。以每个电表每10分钟抄表一次计算,3500万智能电表每年产生1.8万亿次抄表记录和600TB压缩前数据;每天产生5亿次抄表记录,和大约2TB的抄表数据。这些电表数据,结合气象数据、用电合同信息及电网数据,构成了法国电力的大数据。
以智能电表采集数据为例,这些数据具有以下特点:数据具有时间序列特性;数据来源具有分布式特性,并且需要在不同尺度上进行处理;某些应用需要对数据进行实时处理。考虑到大数据的广泛应用前景,针对自身海量数据的特性及其处理需求,法国电力的研发部门成立了大数据项目组,借助大数据技术研究海量数据的处理架构,实现用电负荷的精细化测量,降低信息决策系统与运行操作系统之间的延迟。目前该项研究尚属于起步阶段,该项目组的短期目标是:将分布式智能技术集成于原有业务系统,包括具有数据处理功能的智能路由器、分布式数据库、分布式数据处理以及分布式复杂事件实时处理技术。这些分布式技术同时需要支持控制中心的统一集中式控制。
法国电力以用户用电负荷曲线的海量存储和处理为突破口,利用大数据技术,形成了能够支撑在规定延迟内的复杂、并行处理能力。其中数据接入的接入形式包括批处理或数据流两种;数据的预处理包括时间同步、异常数据检测及修正,以及改变数据表达形式等;数据处理包括按区域的指标计算、账单模拟、商业智能BI等。
(3)实施专业化管理提升数据质量
法国电力认识到,数据质量问题事关重大。IT部门存在一定的能力局限性,尤其是在面对技术应用、企业流程甚至是整个组织等跨专业性、全局性问题时。法国电力通过研究发现,在应用数据开展分析之前,相较于个人对不同信息系统中数据的单次提取和数据质量管理行为,采取建立大数据库对数据进行集中,由专门的数据质量管理专家对数据质量进行管控、自动集中监测的方式,有助于提升数据库的性能,促进数据质量管理经验的分享以及规避个人处理能力的不足。
法国电力数据质量管理专家需具有深厚的统计学、信息系统、数据工程等多学科背景以及丰富的IT实践能力,他们深知如何使用正确的工具、方法和最佳实践进行数据质量管理以及如何在IT项目中穿插进行数据质量管理。法国电力的数据质量管理专家开展了一系列针对数据质量提升的专项分析研究,比如设计了多维星状模型对数据进行存贮、分析和检验测试,为数据的应用提供了较好的支持。
相关新闻: