解决方案


联系我们
如果您对我们的产品或方案感兴趣,请通过下面的方式联系我们。
电话:86-10-87120200
传真:86-10-87120006
邮箱:contactus@yoyosys.com
新闻资讯
2012年2月22日
即将改变世界的6大革新技
2012年2月22日
Deltacloud成为Apache顶级
2012年2月22日
Zynga:从Amazon到zCloud
解决方案
问题描述

当今互联网上数据总量的80%以上是视频数据,其应用广布社会交通、公共安防、传媒等领域。受益于宽带网络的飞速发展和更加成熟的视频压缩算法,高清视频的广泛应用已经完全具备了条件。

然而,大部分的企业、组织都面临着:

1、 视频数据总量成指数增长,同时由分散存储逐渐转向集中存储,存储设备需不断升级、更新。

2、 高并发的视频数据处理需求。软硬件设备的处理能力无法满足瞬时突增的数据流量,同时出现的负载高峰,极易出现系统性能严重下降,甚至系统崩溃的状况。而在成本不断攀升的同时,设备在闲时的低负载运行又造成了物理资源浪费。

所以基于宽带网进行高清视频的实时处理还需要解决高并发和高容积两大问题。使用传统的网络文件存储和传输方式,无法满足视频文件的高并发访问量,特别是基于海量高清视频数据的处理在存储和传输成本上的投入很大。我们的企业和数据服务商在享受着高清视频数据带来安全与财富的同时,已经面临着传统的存储服务方法无法满足现阶段需求的现实。采取何种有效方法提升海量高清视频数据的实时处理能力并节约成本成为了当前业界关注的焦点。

解决方案

本方案设计基于友友系统自主研发的核心技术CloudWare中Bitsflow®、DataCell® 、NetVM®三大核心模块进行海量高清视频数据处理方案的实现。

1、云计算方案架构
基于云平台的海量高清视频数据实时处理方案的架构展示是基于规模化视频监控场景的模拟。云平台为海量的视频数据提供高效的存储服务。利用分布式技术,通过云平台有效地黏合网络上众多独立服务器的存储能力和计算能力来解决海量视频信息的存储和管理问题,对降低整体成本、提高系统整体性能和可用性上发挥了突出作用。针对监控视频的特点,能够根据记录日期的先后,按照不同优先级进行保存,将最好的资源留给需求最大的实时监控摄录的系统,并将已完成录制或使用频率小的数据转移到后备服务器。
2、云计算方案简介

本方案通过构建高吞吐分布式云存储平台,利用Bitsflow®消息总线系统,实现服务器及网络资源的统一调度和分配,有效规避瞬时数据猛增带来的传输瓶颈。在存储成本方面,利用DataCell®虚拟化技术,将不同层级、不同性能的硬件设备进行整合,向上层应用提供统一的文件接口,在底层完成智能的数据分配和传输。由NetVM®为云平台提供简单易用的图形化管理平台,实现云到端的管理策略。

(1) 基于Bitsflow®的流控机制,系统能够根据需求级别,智能的调整分配带宽,进行动态的速率调整,有效的提升高并发访问下系统的响应速率和质量。

(2) DataCell® 提供优化的流媒体存储引擎,根据每个客户端实际使用量,动态的分配物理空间,实现网络虚拟存储功能。由于充分利用现有的物理存储资源,硬件设备可以不增加或进行少量增加,存储成本不会出现较大变化。在节约存储成本的同时得益于云平台自身的智能管理手段,在实际系统存储及传输效率上,尤其是面对PB数量级的数据容量和上亿个存储文件的处理需求时,系统能够根据需求级别使数据在平台内进行快速流转,并最大限度地利用通信带宽完成至终端一方的传输。

(3) NetVM®的资源监控能力,方便用户可以通过浏览器了解到系统部署和各节点的运行情况。其自维护系统还可以自动对各个节点的工作状态和可用存储空间进行监控,及时对节点故障等情况做出快速反应。

(4) 在云平台之上,友友系统对用户提供插件扩展机制,可兼容承载不同的业务系统。为原有的视频处理系统提供底层应用接口层。应用接口层提供支持业界标准的log4j、commons-logging、J2SE logging等框架的插件,接口兼容Hadoop DFS、Memcached、FTP、NFS等,因此,建立新的视频管理系统不需要对现有业务系统进行任何修改。

以某政府项目为例,在云存储平台基础上建设特大型、超强综合性的高清视频监控和预警系统。该系统使用超过50万个高清摄像头,每个摄像头产生高清视频数据流为6Mbps,所有采集的视频数据需要保存1个月,总存储量超过1000PB。目前该系统已完成功能和性能验证,测试结果显示,云存储平台在满足数据采集性能的同时,支持高并发的视频分析和多倍速回放,系统性能优异。
 
 
方案价值
高容量
云平台打破了服务器之间的屏障,各个存储节点之内的存储能力被整合起来,共同构成了海量的存储空间,这个空间从理论上看是无限扩展的。
高可靠性
自动数据备份,多节点、多机架容灾备份,安全性能卓越。
高性能
分布式存储,可承受海量数据的瞬时写入;多并发读取,拥有强大的读写能力。
高可用性
分层式设计灵活兼容第三方服务;系统稳定,后续升级简单易操作。
异构存储
支持多种操作系统、多种存储硬件结构。对现有硬件资源实现无缝整合,虚拟成一个统一存储空间。脱离了对硬件的依赖。
低成本
去中心化管理,支持弹性扩容,有效节约物理资源。分级存储、分布存储,可降低初期投资并最大化利用现有资源,减少设备购进成本,提高硬件利用率。
智能的资源调度
可实现集中管理减少人力成本,提高维护速度。