公有云在线存储支撑解决方案

方案摘要

目前,国内领先的运营商都在探索云计算的服务本质,充分结合自身的传统优势,尤其是强大的网络基础、丰富的带宽能力、成熟的服务模式以及庞大的用户资源,快速部署云计算,推出云服务。而云存储是运营商最先考虑实现的面向公众的云服务类型。

云存储业务主要面向企业客户、中高端商务及家庭客户提供服务。其中企业客户重点是中型企业,其次是小型和大型企业。重点企业客户包括交通运输业、制造业和公共事业等行业的企业,为其提供企业空间租赁服务、企业级远程数据备份和容灾服务、视频监控系统等服务;公众市场上重点为商务人士、年轻人和家庭用户提供网络磁盘在线存储服务。

业务挑战

• 存储容量的挑战:到容量达到一定程度,传统存储的可扩展性较差,性能不能得到线性提升。

• 存储数量的挑战:传统存储方式受限于多级索引管理能力,存储数量有上限。

• 数据生命周期管理面临的挑战:对于历史数据,低成本的归档方式存储在离线设备和介质上,不能以廉价的方式进行在线存储和管理。

• 数据管理的挑战:传统存储不能对海量非结构化数据进行有效和高效的管理:如欠缺多维搜索能力、不能进行快速检索、数据无法按照用户视角进行分类,导致虽能存下,但无法管好,数据价值不能得到有效利用。

• 对硬件架构的依赖:受限于硬件设备类型和存储结构,系统可扩容性较差,成本较高。

方案描述

本方案利用友友系统的SmartFS产品,在企业大量X86存储服务器之上,快速搭建运营商云存储服务,该云存储服务上层可对接多种业务系统,目前已对接云同步和云备份应用。(云同步实现了自己的联系人/图片/视频/文件等,在自己多个电脑和智能手机上协同并同步,云备份实现了自己在电脑、U盘、移动硬盘、存储卡、手机上大量和分散的文件、资料的集中存储、安全保管。)随着业务的发展,上层可接入更多的业务,智存平台能对上层的各种业务实现多租户支持和有效隔离。

本方案充分利用了SmartFS海量数据存储、多维智能分类、灵活权限控制、精准信息搜索能力,基于SmartFS提供的兼容Amazon S3的web service接口上快速在上层云同步和云备份应用服务与底层云存储进行对接,上层云备份和云同步应用不需关心底层存储细节。智存平台有效支撑了来自互联网不同用户对于海量非结构化数据存储和管理的需求,具备高可靠、可平滑扩展、共享协作等特性,而且使用和维护简单。

整体架构图如下:

在SmartFS上搭建云存储服务需要考虑数据存储、数据管理、运营、平台维护四个方面,前三类可以通过调用API进行开发,而最后一类平台维护可以利用智存平台本身提供的工具进行管理维护,也可调用相应API开发出相关功能。

方案价值

海量对象存储

SmartFS将对象存储在容器中,为用户系统中每一个存储对象以键-值的方式存储标识,并据此进行读取访问,用户应用可通过相关接口对对象数据进行存取管理。对象和容器都可通过统一资源标识符查找管理。为提高效率,支持对象的断点续传和分块上下传。

智能数据管理

“存是为了用”,SmartFS丰富的数据管理API使得数据价值得到更大发挥。
o 分类管理:SmartFS提供对存储的数据的多视图管理功能,通过多维度的智能分类,用户可以从不同视角看待存储数据;通过智能的分类关联,完成信息的自动分类和主动推送,提升信息的使用价值和访问效率。
o 多源融合:可对接文件系统、web等多源信息,使信息的综合管理和查询更加方便、快捷和准确。
o 支持基于文档的版本管理。
o 自动标签功能对客户确定的元数据进行识别、分析、挖掘。
o 权限控制:基于访问控制列表的权限机制,以及安全访问(基于Key的认证方式、基于证书的认证方式)等功能,实现安全、位置透明的多业务系统,以及对多用户访问的支持。
o 数据检索:分词系统提供对存储的内容和实际搜索要求进行分词解析服务,为保证整个系统的精确定位提供基础。而基于分布式存储的SmartFS内置搜索引擎,可以提供在海量的文档、网页中进行搜索。支持对中文、英文等内容进行高效、精准的词语解析和搜索,支持基于文档内容进行检索,支持自定义结果的排序干预。

丰富的扩展编程接口

友友智存平台采用对象存储技术,以支持海量的、高可靠的分布式文件系统作为底层支撑。基于智存丰富的API,开发者可以简捷、直接、快速的开发出功能多样化的云存储服务。

强大的管理与维护工具

与平台运营功能开发类似,可以通过系统管理类API开发出功能更加丰富的系统管理和维护工具,此类API包括账户管理、用户组管理、权限控制、系统状态管理、日志管理、计量统计等功能的开发接口。

使用产品