| 联系我们 | ||||||||||||
| 如果您对我们的产品或方案感兴趣,请通过下面的方式联系我们。 | ||||||||||||
| 电话:86-10-87120200 | ||||||||||||
| 传真:86-10-87120006 邮箱:contactus@yoyosys.com |
||||||||||||
| 新闻资讯 | ||||||||||||
|
||||||||||||
| 解决方案 | ||||||||||||
(1) 相对于其他结构化数据,其结构相对简单;
(2) 数据生成速度非常快,每秒生成数万条甚至数十万条;
(3) 数据存量非常大,记录超过数千万条、上亿条,甚至数十亿条;
(4) 数据往往是“一次存储、多次应用”,对数据的读取和查询的实时性要求比较高。
对于这些应用服务,怎样有效地组织管理这些海量数据,从中找到有效的信息,及时监控系统中的重要信息,以及对这些信息进行数据挖掘、支持业务决策,已成为业务系统建设的迫切需求。然而,传统的关系型数据库从数据的存储容量和访问效率上,都难以满足要求,而利用分布式数据库技术则够很好的满足这些信息的存储和高效使用。

上述技术架构中各模块功能分别为:
(1) 数据接口层
数据接口层为应用系统提供数据导入、导出和数据解析的功能。数据接口层可部署在多个节点上,利用多个数据导入通道,避免短时间大规模数据在系统吞吐量方面的瓶颈。
(2) 数据总线系统
友友数据总线系统(BitsFlow®)用于实现整个系统中各个组件及节点间的信息交换,并保证信息的可靠性、实时性和一致性。该总线系统支持队列、发布/订阅、群组通讯等模式,支撑了各服务器、存储器节点以及服务器端和客户端之间高容错、高性能的数据传输,是整个系统进行数据交换的基础架构。数据总线系统的性能对整个分布式数据库系统的性能有着重要影响。
(3) 分布式数据库存储系统
分布式数据库存储系统(DataCell®)是整个存储系统的核心模块,其特点是高性能、高容量、高可靠,利用简洁的数据模型和可不断扩展的分布式存储资源,建立起海量结构化数据的存储和管理平台。DataCell®包含多个存储子节点,各个节点的存储资源(内存和磁盘)统一组织成分布式数据库存储系统。其中内存部分连结成高速缓存系统,从而大大提高并发搜索响应速度;磁盘空间连结成持久化数据库系统,主要用于存储海量数据。
系统中存入的数据是数据接口层通过数据总线,根据预先设定的数据解析规则发送过来的。另外,系统在集群节点间实现了负载均衡机制,可以均匀利用各节点的存储空间和网络带宽,以及将并发的数据查询请求分发到多个响应节点进行处理。
DataCell®是一个完全无中心节点的分布式系统,所有的数据都有多份拷贝,确保没有单点失效和服务器故障导致的数据损失,具有高可用、高可靠的特点。另外,相比以文件形式存储的数据,分布式数据库存储的数据不易窃取和篡改,更加安全可靠。
(4) 系统监控管理
利用智维平台提供一个可视化的系统监控管理界面工具。通过该工具,可以使用浏览器来清楚地了解到整个系统的部署状况、各节点及在其上运行服务的属性及状态,并以图形化的方式把相关的历史信息和实时的性能数据呈现出来。同时,如有异常情况出现,可以根据预先设定的方式及时发出警报。另外,还可以通过该工具随时随地对整个系统或某些节点及其上面的服务进行调整或重新部署,自行设定系统内各部分的关联关系,及时对整个系统进行有效控制,并同时监控整个系统和各个节点的存储容量和I/O速度,从而实现全方位的远程实时作业。
(5) 数据在线查询统计
系统提供一个对于数据进行在线实时查询统计的界面,可以根据业务需求,对数据生成时间、用户、内容等字段进行查询统计,实时返回查询结果。