XDFS-视频监控存储

应用需求

  随着需求的演变和技术的升级,视频监控系统已进入网络化、智能化时代。网络视频监控系统由网络视频监控管理平台和前端信息采集设备组成,其核心是网络视频监控管理平台。网络视频监控管理平台集计算机网络、通信、视频处理、存储、流媒体转发等技术于一身,是视频、音频、数据和图示一体化的综合解决方案,存储子系统是监控管理平台的重要组成部分,是网络视频监控系统的数据保存、分发、交互及分析的基础。网络视频监控系统具有监控点多、覆盖面广、数据集中化管理,性能要求高的整体特点,具体可归纳为:

  1、海量数据存储需求

 网络视频监控系统管理几千路高清摄像头,整体数据规模高达数PB,且随着监控系统规模增加,数据量将快速膨胀,同时随着数据管理要求和数据分析要求的强化,监控数据需保存的时间将可能比30天更长,这也会引发数据量的快速增长。因此,要求存储系统具备海量的数据管理规模和动态的存储扩展能力。

  2、高并发读写需求

 前端视频采集点会同时采集数据,并且实时传输至后端存储中进行保存,对存储的并发写入性能要求很高;检索、点播,流媒体转发、视频分析等应用则要求存储系统具备较高的并发读性能。

  3、动态扩容需求

 视频监控数据一般要求至少保存30天,部分告警数据、重要事件数据需要永久保存,数据存放周期越长,占用的存储空间就越大,要求存储系统具备在线动态扩容的能力,方便用户按照需求随时扩充容量。

  4、可靠性与可用性需求

 视频监控系统生成的数据具有较高的回溯和分析价值,确保数据在有效期内得以安全可靠的存放和可调用,是存储系统设计的重要目标之一;存储服务的连续性直接决定了监控业务的持续性,存储系统需具备完善的冗余机制,保障节点、硬盘、网络等组件局部故障不会引发数据读写服务的中断。


方案描述

323773513393622880.jpg 

  在进行视频监控系统架构中数据存储子系统设计时,应充分考虑高性能、动态可扩展、高可靠性与高可用性需求,并以此为出发点,设计先进、安全、可靠、高效、可扩展的视频监控存储解决方案。 

  采用TaoCloud XDFS分布式文件系统构建一个海量规模、动态扩展的存储平台,实现监控视频数据可靠、高效的集中存储。TaoCloud XDFS的分布式架构和并行化机制可确保存储集群保持高带宽和高并发支持,可保障几千路摄像头实时录像的高速写入和多路视频流点播、回放、转发等并发读取访问。XDFS的数据副本\纠删码机制和多活服务架构,可保障在多个节点完全损坏情况下,数据的完整性和存储服务的持续性。

  得益于XDFS的弹性扩容能力,可根据现有摄像头数量、码率进行分布式存储的初始配置,既有效控制了存储规模和成本,又能保持存储集群带来的数据高可靠、存储服务多活及持续化优势,后期可以随着摄像头的增加、码率调整、数据保存时间的延长以及数据分析应用的开展适时进行容量和性能扩展。


方案优势

 (1)软件定义存储

  XDFS遵循软件定义存储的设计哲学,可部署于任意工业标准的X86服务器上,甚至可利用不同配置和规格的硬件服务器组建大规模分布式集群,有效提升用户设备选型和利旧的灵活性,降低成本。

 (2)海量存储空间,动态扩容

  XDFS采用完全去中心化的的分布式文件存储架构,无独立元数据服务器设计,消除元数据信息交互瓶颈;Scale-out横向扩展,快速在线增删节点,可实现1024个节点集群,可管理近100PB的海量数据;采用虚拟化和自动精简配置管理,按需部署,随需扩展,实现容量与投资的更佳匹配。

 (3)极高的可靠性与可用性

  XDFS提供副本和纠删码两种数据/集群保护模式,用户可根据应用类型、数据重要性、性能、成本平衡选择配置模式,实现数据高可用保护和存储服务高可用保护。纠删码可在保证数据可靠性和存储可用性的前提下,有效降低容量开销,提升容量利用率,并节约总体成本。

 (4)便捷的共享实现

  XDFS 支持标准POSIX接口,NFS/CIFS接口,FTP接口,可完整支持各类主机跨平台、共享化的数据访问模式;对于特定应用,TaoCloud可通过2次开发提供API级的接口调用。

 (5)易于管理

  XDFS采用Web的图形化管理界面轻松配置、监控以及管理集群,也可以采用命令行的方式进行管理或与其他管理系统相集成。

 

产品配置形态

  软件定义的XDFS存储系统支持灵活的配置模式,用户可根据成本和服务器资源情况灵活选择纯软件(部署于通用X86服务器上)模式和存储节点(预先安装和优化配置XDFS软件)模式:

  1、 XDFS +X86服务器

  2、 XDFS Pro +X86服务器(XDFS Pro为TaoCloud与Redhat合作开发版本)

  3、 TaoCloud Scaler(存储节点,内置XDFS/XDFS Pro)


1