北极星智能电网在线讯:大数据是最近最为火爆的技术概念，尤其是在贵阳召开的大数据博览会之后，大数据已经成为国家和各个城市在IT基础领域下一步的重点发展方向。不论政府、企业还是个人，都在关注如何采集数据，以及如何从数据中挖掘出有用的信息，进而创造社会价值、商业价值。互联网是大数据最早发挥效用的行业，淘宝、京东、亚马逊等电商企业通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。大数据也在重构很多传统行业，通过收集、整理生活中方方面面的数据，进行分析挖掘，从中获得有价值信息，并衍化出新的商业模式。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。
随着平安城市、智慧城市、工业4.0等项目和技术的推进，物联网大数据逐步成为大数据发展的新方向。对遍布大街小巷的摄像头、各类传感器和工业生产数据等新的大数据来源进行分析挖掘的物联网技术蓬勃发展。安防行业随着高清化、智能化、网络化、数字化的要求，数据量也迅速增加，早在几年前就已踏入大数据的门槛。安防领域的“大数据”一般具有几个特点：首先，数据量巨大，一个地级市30天的视频录像数据就已经是PB级;其次，区别于传统的数据结构，安防领域的数据结构比较复杂，超过 80% 都是非结构化数据，比如智慧型平安城市建设中的视频监控数据、卡口的抓拍照片、智能分析输出的特征数据等;再次，数据更新快，视频监控每秒钟都在进行;最后，这些更个性化的数据在存储后被要求能随机访问，这就要求新的物联网大数据系统更加快捷地处理数据，更具智能地保存和管理数据。
二、大数据技术发展创新
基于大数据的智慧安防在技术方面重点应关注大数据处理技术和智能分析技术。大数据处理技术主要解决数据的采集、存储和分析挖掘问题，而智能分析技术是为了实现对视频的分析和理解，解决视频结构化问题，推动视频数据向视频信息的转变。
大数据应用主要涉及数据整合、数据存储、挖掘应用等多方面和多层次。其中，大数据技术作为大数据应用的基础设施保障至关重要。主要内容包括：
大数据采集和管理技术
(1)可扩展的数据描述规范
数据的快速增长迫切需要一套可扩展的数据描述规范，实现数据描述、数据存储、共享和交换。现阶段，数据的形式主要有源自摄像头采集的视频数据和其他各类复杂结构数据。设计面向多维数据的本体描述框架,可以较全面地描述多维语义内容。
(2)多维数据集成共性技术
数据抽取、转换和加载(ETL)是解决异构多维数据一致性和集成化的有效方案，利用工具将数据按照统一的规则进行集成，完成数据从多数据源向统一目标数据库的转化。
大数据存储技术
规模庞大的感知设备、繁多的业务系统每天产生海量的数据，这些数据既有结构化的，也有半结构化和非结构化的，这为数据的统一描述和存储带来了困难。
(1)资源描述元数据管理技术
资源描述元数据是海量异构数据实现透明访问的基础。通过扩充现有的数据对象和存储资源描述方法，从多个方面描述数据的内在属性(关键字、数据编码格式等)、应用需求(性能、可用性、安全性、持久性等)和资源特性(位置、访问方式、服务能力等)，以支持智能分级的存储虚拟化及存储服务。
