行业垂直门户网站

设为首页 | 加入收藏

您当前的位置:北极星智能电网在线 > 正文

论"大数据"时代下的海量数据存储技术

北极星智能电网在线  来源:《安全自动化》  作者:解洪国  2017/3/9 15:20:13  我要投稿  

北极星智能电网在线讯:随着高清摄像机的快速普及和推广,数据呈现爆发式增长,而相关法律的出台(如《中华人民共和国反恐怖主义法》和《关于人民法院诉讼档案保管期限的规定》规定资料长周期保存)又成为有力的市场推手,加速了数据的暴增程度,对海量存储空间的需求为存储厂商带来了前所未有的良好机遇。如何解决大数据时代下的客户对海量数据的长周期、分层存储和快速查询的诉求,是存储厂商面临的挑战。

高清、长周期呈现海量存储需求

高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长。例如:前端IPC有130W到500W像素,码流也从有2Mbps到8Mbps,而一个130W像素,8Mbps码流的前端,录像一个月就需要2531.3GB,数据量不可小觑。

存储周期方面,现在也有了政府的有力推动。如《中华人民共和国反恐怖主义法》规定采集的视频图像数据保存周期不得少于90天;最高人民法院与国家档案局联合发布的《关于人民法院诉讼档案保管期限的规定》更是规定:将法院诉讼档案的保管期限分为永久、长期、短期三种,根据人民法院诉讼档案的特点,凡属本院审判活动形成的需要长远利用的诉讼档案,划为永久保管。凡属在相当长的时期内需要查考使用的诉讼档案,划为长期保管,保管时间为60年。凡属在相对较短的时期内需要查考利用的诉讼档案,划为短期保管,保管时间为30年,可以想象,数据量非常之大。

对当前整个安防市场来讲,特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展,甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长.应对如此巨大的数据量,数据存储及客户数据快速有效查询就变得至关重要。海康一直紧跟行业发展方向,。致力于推出更符合用户需求与行业需求的监控/数据中心解决方案,

现有的安防存储模式

1.DVR/NVR前端本地存储

此种模式,一般应用于实施较早项目,使用的是DVR/NVR前端本地存储,随着大数据时代的来临,采用了比较直接的方法,在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小,况且DVR/NVR性能较低,信息孤岛现象严重,无法满足大数据需求。

2.集中存储模式

客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式,随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR/NVR模式,容量大大提升,并实现了数据的集中存储,同时支持存储节点间的故障的自动业务接管,最大程度上实现了业务数据的完整性。但是随着大数据的来临,后续项目扩容时,需要人为配置设备的负载均衡。一台存储故障后导致设备存储的数据部分中断或者接管设备压力较大,另外考虑到网络延时,可能导致存储数据不完整,数据获取需要人为指定设备数据获取,管理成本较高等。为了设备的负载均衡,空间的虚拟化设备易维护的问题,云存储技术应运而生。

3.云存储模式

随着云存储技术普及.目前市面大体分为通用云存储(文件云\集群NAS)和视频云存储。

通用云存储

通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储和业务访问功能。

通用云存储较传统集中基本设备形态不变,故主要部件为:存储服务器(元数据服务器)+磁盘阵列。

通用云存储中许多都是通过优化改造传统IPSAN/NAS存储而演化而来,其通过实现服务器和存储设备集群化管理,存储资源虚拟化,达到分布式数据存储,因其内部数据处理以结构化数据为主。

工作模式:前端摄像机视频数据流经流媒体服务器转发到存储管理服务器集群,最后在写入指定的磁盘阵列。视频数据需经过流媒体服务器转发进入存储服务器,一定流媒体故障,系统业务中断,数据存在丢失风险。

通用云存储可以实现存储资源虚拟化,但虚拟化能力有限。通用云存储以结构化的文件系统存储非结构化视频图片数据,视频存储效率低。

基于以上几点,通用云存储产品当前都是面向全行业项目支持,主要作为一款存储方案,即不对安防视频应用做应用支撑.不太适合做安防视频整体的解决方案。

安防专用的视频云存储

基于云架构进行开发,融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,将网络中各种不同类型的存储设备,通过专业应用软件集合起来协同工作,共同对外提供视频、图片数据存储和业务访问服务。

视频云存储基本组成单元:云存储管理服务器、云存储存储节点、云存储软件。

视频监控平台根据业务需求为各前端摄像机下发录像计划,视频云存储系统根据当前系统内的业务负载情况分配具体的存储空间,前端摄像机推送视频数据流直写到分配的存储设备上。视频云存储数据传输协议支持主流的流媒体协议(如RTSP/ONVIF/PSIA等)和GB/T28181规范;支持平台直接调取,架构简化而开放,空间自我管理,可独立组网。

对于通用云存储,视频云存储优势如下

相在大型视频监控项目中,视频云存储在视频/图片存储效率优于通用云存储。

在项目预算中,视频云存储较通用云存储能节省部分服务器投入,有成本优势。

视频云存储是专门针对视频安防行业的高效安全稳定的后端存储解决方案,所以可以支撑大量的视频功能应用,这个也是通用云存储所不具备的。

分享到:
北极星投稿热线:陈女士 13693626116 邮箱:chenchen#bjxmail.com(请将#换成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。

热点关注
国网826号文解读

国网826号文解读

昨天国网公司下发了《关于进一步严格控制电网投资的通知》(国家电网办【2019】826号文)。文中提出了“三严禁、二不得、二不再”的投资建设思路。个人认为,这不仅仅是一个文件,而是国网公司整体发展战略转型的一个标志。作为世界上最大的电网企业,国网公司每年因投资建设所需的采购数额巨大,对电

--更多
最新新闻
新闻排行榜

今日

本周

本月

深度报道
相关专题

关闭

重播

关闭

重播