3智能电网大数据平台
3.1核心平台框架
智能电网大数据应用需要构建在大数据平台之上,大数据平台为应用提供统一数据接入、清洗、存储、管理、分析计算等功能。大数据核心平台由基础资源、数据存储、数据分析与处理、数据管理、平台服务和平台管控等组成,见图3。
图3 智能电网大数据核心平台框架图
基础资源层主要包括计算资源池、存储资源池、网络资源池,为虚拟化的资源,能够实现弹性的资源供给和扩展。基于存储资源池实现大数据平台的各种数据存储功能,包括分布式文件系统、分布式数据库、传统数据库和数据仓库。数据管理实现大数据平台的接入管理、数据清洗、数据统一建模、数据检索、数据服务等功能。数据分析与处理是大数据平台的核心,大数据平台根据具体业务需求能够提供批处理、流处理等功能,同时平台能够提供通用的数据分析算法包或工具,包括数据挖掘、统计分析、机器学习等。平台管控包括资源调度、集群管控、安全管控、用户管理等,实现对平台的监控、调度和管理。
3.2应用框架
结合智能电网的应用需求,在大数据核心平台之上构建各类大数据应用。面向智能电网大数据的应用框架见图4。应用整体框架分数据集成与交互层、大数据核心平台层、应用层。
图4 智能电网大数据应用框架
4结语
1)智能电网大数据数据量大、类型多样、数据特征复杂,同时业务应用需求场景多,且存在交叉融合,对现有数据处理方式和平台提出了很高的要求,需要采用新的大数据处理技术来支撑。
2)智能电网大数据关键技术包括数据集成、数据存储、数据处理、数据分析等技术,需要结合具体业务的特点和需求选择相应的技术。
3)智能电网大数据平台需要构建统一数据模型来实现智能电网各类数据的融合和共享,基于全数据进行业务的开发和应用,智能电网大数据平台具有数据共享、应用开发和业务运行3方面功能。
4)随着智能电网的发展,数据将成为核心资源,大数据平台将承载智能电网众多各类型应用,其基础作用将越来越重要。