四、大数据的云存储服务难点与挑战
1、统一服务
上述云存储的服务能力虽然容易达成一致，但是在技术路线选取、具体能力级别的实现上却普遍出现较大差异。首先就统一的服务获取出口这一功能就需要云存储系统具有强大的横向扩展能力，需要在系统容量扩展上不存在上限，同时性能也要与容量保持同等线性增长才能满足在扩容的同时服务质量不至于下降。当前实现云存储的架构一般多为分布式存储架构，虽然云存储系统是物理位置相对集中的中心存储方案，但是在系统内部数据却是被切片后存储在不同的物理设备上的。在这种架构上元数据服务器起到对数据分布式的统一调度、灵活分配、动态调整的作用，其性能直接决定云存储系统的规模。常规的元数据服务器主备工作模式采取的是一主一备两台元数据服务器，其中只有一台服务器在工作，另一台仅同步配置信息和元数据信息，并不响应业务的分布式调度需求，因此性能并未有任何提升。在此种工作模式下，云存储系统也往往存在容量和性能瓶颈，我们常规看到的可管理存储设备最大数量从16台到30台不等，各厂商实现也不尽相同。这种规模级别直接制约了云存储系统的统一服务能力。
而最新兴起的元数据服务器集群组建方式则有效地解决了这一问题。元数据服务器通过彼此间相互同步元数据信息，共同对整个系统提供分布式存储策略调度和管理，有效地提升整个云存储系统管理性能。通过元数据集群本身的线性增长，可以促使存储设备数量的不断增加，真正实现容量的无阻碍横向扩展，在超大规模云存储系统的统一服务提供上做出了有效的支撑。
2、灵活服务
在存储容量灵活性要求下，需要云存储系统能够最大限度匹配视频监控的存储需求。1路2Mbps的标清摄像头，一天产生的数量约为21GB。若一天中只有工作时间录像或者事件触发录像则产生的数据量更低。在民用视频监控行业中对于按需付费的思路则要求云存储分配的存储空间粒度至少是GB级别。这对于云存储的空间分配策略、虚拟化容量整合能力提出了严峻的要求。传统按照逻辑卷或者磁盘大小为单位的构建方式将直接导致分配容量时粒度过大，不能满足这种灵活的容量分配需求。因此在云存储技术实现中对磁盘容量进行更低粒度的切片，生成更低粒度的数据块，以在容量的分配、调整上换取更大的灵活性成为一种可行的技术方向。以数据块作为云存储基础的数据单元之后，可以实现数据的灵活分配、调整、以及对分布式存储的支持和大数据并发吞吐性能的提升都带来的意想不到的好处。但是随之而来的问题则是对大量数据块如何进行有效的管理，在这里业界主要有两种不同的方向。
第一种方向的思路通过文件系统对数据块资源进行组织和利用，这种思路的优势是可以支持多种数据的存储，不限定数据类型。但同时也忽略了视频录像数据是流式数据的这一本质特点，在视频录像的存储效率和应用扩展上做出了牺牲和让步。要说清这个问题需要理解视频流式数据与非流式的文件数据的差异。简单来讲流式数据在视频监控领域是由摄像机产生，以开始录像为起点持续不断的产生，在不做时间限定的前提下是没有结束的，因此其数据量大小也会不断增加没有终点。而非流式的文件型数据则是有固定的文件大小、文件格式、文件名称等文件属性。如果以非流式的文件方式存储流式的视频数据则需要将视频流人为截断、按照文件名、按照数据量大小生成一个个单独的视频文件，这从本质上就破坏的流式数据的特征。再加上对视频流检索查找时，在文件系统中就只能通过文件名、目录结构、文件属性等进行检索查找，无法深入精确的定位到每一秒或者每一毫秒的视频数据，在视频数据的使用和大数据分析上人为增加了技术壁垒。
第二种方向的思路则跳开了文件系统对流式视频数据的制约，采用流式系统存储流式数据的方式，若不限定视频流的录像时间则满足视频流不断持续写入数据块，同时在视频流写入时加入精确的时间点定位以支持精准检索的需要。这样的视频写入方式直面视频录像数据本质，不但能够满足视频流高效、连续的存储需要，同时又能精准定位到视频数据的每一个时间点，在视频数据应用上极大的满足了其本质需求。因此此种方式不但回放和下载时更精准，同时更为可贵的是不会产生文件碎片，从而大幅提高云存储系统的吞吐性能和资源利用率。
就目前行业内对于云存储的具体处理方式上，以上两种方式都已经实现。以海康威视为代表的安防行业的视频监控厂商则更为关注于视频流式数据的本质，因此应用第二种方式的较多。
