2大数据处理技术的基本知识
21世纪以来,伴随着物联网、移动互联网、云计算等概念的提出和应用,全世界已经进入了一个数据爆炸时代,根据国际数据公司(IDC)的报告显示,仅在2011年全世界就产生了1.8ZB(1.8×1021B)的数据[28],对数据存储能力、处理能力、展现能力等带来的巨大挑战。2011年,麦肯锡全球研究院发布的《大数据：下一个创新、竞争和生产力的前沿》研究报告中,正式提出了大数据(bigdata)概念。
大数据定义为无法在规定时间内用现有的常规软件工具对其内容进行抓取、管理和处理的数据集合[29]。而大数据处理技术集合了分布式存储、并行处理、云计算、数据仓库、实时流计算、数据可视化以及非关系型数据库等针对海量数据处理的新技术。
图灵奖得主、关系数据库的鼻祖JimGray将人类科学的发展定义为如图3所示的4个“范式”,并描绘了第4范式的愿景[30]。在前3范式中,科学研究的路径是先对复杂物理、化学乃至社会学原理进行分析与建模,然后再通过仿真和实验数据来证明结论,最终将结论运用于实际生产生活中。而第4范式(数据科学)强调通过对已有数据进行分析和挖掘,得到隐藏在复杂原理背后的因果、关联、相关、聚类等关系,从而指导科学研究与工业应用。因此,第4范式是一种以数据为驱动力的科学研究方式,而大数据处理技术正是第4范式思想在实际应用中的体现。
2013年,中国电机工程学会信息化专委会发布了《中国电力大数据发展白皮书》,将2013年定为“中国大数据元年”,加速了电力大数据的研究。大数据理论和方法正逐步应用于智能电网的数据
图3科学发展4个范式图
管理、电力市场的业务分析、大电网的安全运行等[31-38]。然而,大数据处理技术在大容量电力电子系统中的应用却尚未引起学术界和工业界重视。
3大容量电力电子系统的大数据特征
为了深入地阐释大数据的基本概念,本节以典型的高铁传动系统为例,具体阐述大容量电力电子系统的大数据的特征。
3.1数据量大(Volume)
开关半导体器件、变压器、无源器件等大容量电力电子系统的组成部件需安装相关传感器和监控设备,从而保证系统运行的可靠性。当采样频率较高时,服务器需要实时处理的数据量以及数据库中堆积的历史数据量将相当庞大。
至2020年,我国将建成18000km的高速铁路网,投入运营的高速动车组将达到2000列以上[3]。以CRH3型高速动车组为例,每列车由两个互为冗余的牵引单元组成,以牵引单元1为例,其结构布置如图4所示。
图4高铁牵引系统结构布置图
牵引变流器作为传动系统的核心部件,主要由牵引控制单元、输入接触器、预充电电路、四象限整流器、串联谐振电路、直流侧电压检测单元、过压限制模块、逆变器和牵引变流器冷却系统等构成[5]。高铁作为铁路运送的载体,对于其牵引传动系统进行瞬态信息检测和提取,对故障判断甚至预测具有重要的价值。仅以对牵引变流器中IGBT模块的监测为例,大容量IGBT模块的关断时间通常为μs级,为有效提取开关阶段的瞬态电气参数,设采样频率为10M/s,对每个IGBT模块采集vce、ice、vge等基本电气数据,则每秒产生的数据量为360MB,1小时产生的数据量将近1TB。当各个传感器源源不断地获取并传递数据时,数据量之大将远超过传统数据存储和处理方式的能力范围。
3.2数据高速性(Velocity)
在对处理速度要求极高的场合,比如在高铁传动系统中,为保证运行状态监控和预警的实时性,需迅速处理完实时到达的海量数据流并完成故障判断。图5为ABB公司的压接式IGBT模块(4500V/2000A)在一个开关周期内的开通和关断波形。由此可以看出,器件在开关过程中产生的过压过流往往在几μs的时间尺度内发生,因此在大容量电力电子系统中,对大数据处理速度的要求远远高于商业、金融、计算机等领域。
图5 4500V/2000A压接式IGBT开关波形
3.3数据类型多(Variety)
在传统方式中,待处理的数据通常是结构化数据,可以通过成熟的关系型数据库进行存储、查询和统计。而大数据处理方式中数据来源广泛多样,既有结构化数据,同时还包含了运行日志、图片、视频、地理位置信息、文档等半结构化和非结构化数据。在高铁的实际运行过程中,除了传动系统具体的运行参数信息之外,所处位置的气温、海拔、湿度、气压等会影响系统运行条件的信息也需要检测。因此,高铁传动系统中的数据按照结构类型划分如表1所示。
3.4数据价值高(Value)
数据往往是因为某种具体的功用而产生和使用,例如高铁传动系统的传感器和监控装置是为了监测系统的运行状态以及判断故障是否存在而设置,因此在传统监测系统中,当判断完目前运行状态和故障之后,这些数据就会被认为失去价值而丢弃。
表1 高铁数据来源及类型
然而,在大数据理论中,数据的价值并不会随着它的使用而减少,而是可以被不断的重组和再处理。数据的价值并不仅限于特定的用途,它可以为了某一个目的而多次被使用,也可以被用于不同的目的。高铁传动系统中的运行数据不仅可以用来进行实时状态监测和故障判断,还可以通过数据挖掘算法研究不同运行环境(温度、湿度、海拔等)对于高铁传动系统可靠性的影响从而实现列车在不同环境下运行模式分析、故障预测、人工智能控制等更高级的应用。
