2.2数据存储技术
在智能电网大数据中,绝大多数数据为结构化数据,同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储,对结构松散无模式的半结构化数据可采用分布式数据库,对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。
2.2.1 分布式文件系统
分布式文件系统适合存储海量的非结构化数据,将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一管理和分配,并向用户提供文件系统访问接口,主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。
Hadoop是大数据的一个解决方案,可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed File System)是一个分布式文件系统,它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块,存储在多个数据节点组成的分布式集群中,当数据规模增加时,只需要在集群中增加更多的数据节点,具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本,具有高容错性;由于数据是分布存储的,具有高吞吐量的数据访问能力。
2.2.2 分布式数据库
大数据环境下对数据的存储、管理、查询和分析需要采用新的技术,传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性,在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,它不同于一般的有模式的关系型数据库,HBase存储的数据表是无模式的,特别适合结构复杂多样的半结构化数据存储。HBase利用HDFS作为其文件存储系统,可利用Map-Reduce技术来处理HBase中的海量数据。
2.2.3 关系型数据库系统
智能电网中很大一部分数据是结构化数据,针对一些数据和业务应用,传统关系型数据库可能更适合,因此在大数据环境下,传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库,开展智能电网业务的分析挖掘。