北极星智能电网在线讯:一般而言,“大数据”指具有大容量、高速度、内容多样性和价值密度低等四个关键特性的数据和信息。仪器仪表是一类重要的“大数据”数据源,反映的是观察、记录、描述自然世界时所产生的大量数据,如科研数据、工程数据、多媒体数据等。相对互联网线上活动、社交网络、人口统计数据、金融交易行为、电子商务、通信行为明细等由人类社会行为产生的数据来源,仪器仪表引起的“大数据”现象具有单个数据块大、数据总量巨大、形式上非结构化等特点。实现数据信息的获取、转换、存贮、处理和揭示物质运动是仪器仪表的基本任务。
为此,在这里主要探讨两类问题:针对“大数据”引起的严峻挑战,研究仪器仪表技术的本身发展问题;抓住“大数据”带来的空前机遇,研究仪器仪表技术对“大数据”的支撑问题。
一、“大数据”现象下的仪器仪表可研究方向
1、仪器仪表中“大数据”的获取与传输问题
“大数据”的获取通常是高速率的,这对仪器仪表检测通道的D/A转换能力提出了很高的要求,开发高采样率、高速率的数据采集装置成为一个值得研究的方向。电信号传输方面,SFP 和QSFP 接口技术正在普及,下一代25G接口技术也正在研发;光信号传输也非常值得研究。一个典型案例比如测绘地理信息,诸如海岛、山脉等地理图形,依靠传统测量手段来获取不具有可操作性,现在一般采用机载激光雷达系统,这被看做测绘行业进入数字化测量时代的象征,由于飞机航速快、测绘面积大,带来的单位时间数据量巨大。机载激光雷达系统集成GPS、IMU、激光扫描、数码相机等多种光谱成像仪器,具有很强的数字成像能力。“大数据”中测绘仪器仪表的测量技术更强调具有高频扫描、宽视角的能力。
2、仪器仪表中“大数据”的存储问题
长久、可靠的保存“大数据”,并保证其在可用性和可访问性以及在使用“大数据”过程中,存储技术如何充分利用、发挥现有的网络技术、介质访问技术,从而及时高效地为高层决策提供满足读写要求的数据访问。现有的仪表磁盘故障、阵列存储形式会带来数据管理、访问、可靠性的瓶颈。开发对象存储技术、具有冗余纠错副本功能储存技术,仪器仪表存储“大数据”的能力有待研究。传统的“磁盘 文件系统”的储存结构不适应“大数据”,采用“Flash 云”的储存结构应用于仪器仪表亟待研究。
3、仪器仪表中“大数据”的处理、利用问题
不同的仪器仪表获得的“大数据”的格式结构不一致,比如有流量、压力、密度等物理量,也有文本、音频、视频等多媒体信息。仪器仪表中的“大数据”分析处理利用问题不局限于单个单元,而是由大量嵌入设备的传感器、控制器、执行器构成的整体系统完成。数据挖掘算法、机器学习算法、预测统计等人工智能方法越来越被广泛应用到智能设备中,从而完成对“大数据”的分析处理利用。一个实例是智能电表,当用户安装有太阳能等新能源时,用户自产的太阳能转化电能与企业供应的电能之间可以存在一个平衡关系,智能电表终端通过长时间的监测单位时间采用的用户用电习惯等“大数据”,可以智能预测未来一段时间内用户用电需求,再通过电量交易平衡电网压力和削减用电成本。
现在一种观点认为,仪器仪表的“大数据”行为强烈依赖IT设备,建立数据采集仪器到IT设备之间紧密联系的端到端解决方案具有较大挑战性。