对象存储解决方案
构建高效、灵活、智能的海量存储资源池
证券双录、电子票据、智能安防、医疗PACS、多媒体、直播点播、数字档案、数字图书、卫星测绘等场景产生了大量的非结构化数据,这些数据具有存储容量大、文件数量多、对吞吐要求高、总体存储低成本等多样化特点,对存储提出更大挑战和更高要求。
业务痛点
ü 数据长期保存,硬盘故障风险不可预测,存在隐患
非结构化数据一般是重要的电子档案、图像、文档等等,需要保存的时间长达10年以上,而这期间硬件的老化带来的风险主要是:超过5年的存储设备因为停产等原因配件会越来越难找,尤其是硬盘,坏盘无法及时替换,数据丢失风险日增;另外硬盘是非稳定性硬件,偶发故障多,不可预测,存储长期运行,硬盘故障率攀升,隐患日甚。
ü 新老设备替换,数据迁移困难
存储设备的寿命一般是5年左右,新老设备的业务和数据的迁移是一个较大的难题,尤其是非结构化数据,不仅仅迁移效率低、时间周期长,而且迁移风险未知,没有数据完整性和一致性比对较好的方案。
ü 数据增长快,存储横向扩容能力差
存储阵列的扩容方式是在机头的基础上增加硬盘框,一个机头可以扩展多个硬盘框,然而只有机头能够连接主机提供服务,5年后无论一个机头在规格上支持几个硬盘框,由于机头寿命稳定性减弱都无法再继续扩容,必须购买全新的一套设备,出现扩容的非连续性断层,从而进入到又一轮繁琐的业务和数据迁移周期。
ü 海量小文件,性能下降严重
海量小文件对存储系统带来最大的危害在于它使得文件系统的元数据急剧膨胀,每次进行文件的读写,元数据的访问和操作都耗时耗力,效率低下。尤其是达到千万级的情况下,性能体验下降非常明显。
ü 非结构化数据量大,长期存储TCO高
1,初次采购成本,不同业务系统对性能、稳定可靠性要求不同,甚至有的高性能业务需要单独的全闪才能满足,因此多套存储的采购成本偏高;
2,二次采购成本,阵列存储最贵的是机头;
3,使用成本,阵列存储过保之后,维保费用越来越高,存储匹配的硬盘更加难找,维护成本越来越高。
解决方案架构图
企业级分布式存储海量非结构化数据解决方案,在实现大容量、高性能的基础上,通过AI智能模块,实现了对集群的极简运维、故障自动排查,大大降低了集群管理的复杂度,减少了存储集群的总体投资成本。
核心优势
ü 百亿小文件性能抖动不超过5%
区别于传统存储本地文件系统,企业级对象存储首先基于分布式架构对文件系统进行重构,提升分布式的处理能力,然后对分布式文件系统的元数据和数据进行分离存储,元数据存放于独立研发KV引擎,将传统文件系统千万级提升至百亿级,跨越3个数量级。
ü 小文件合并,写放大接近零
在海量小文件场景,传统文件系统存储的写放大可多达100%以上,而企业级对象存储通过持续的将小文件合并为标准尺寸的大文件,再回写到存储系统中,从根本上杜绝了系统中大量小文件的存在,写放大被降低到仅1%以下。
ü AI人工智能硬盘故障提前15天预测,准确度达到98.5%
采集超过5万块盘,20多个指标,利用深度学习神经网络进行训练,提前15天故障预测,准确率达到98.5%,效率是扫描检测手段的50倍。
广泛兼容国内软硬件生态
已经与国内主流CPU服务商海光、飞腾、兆芯、鲲鹏等完成深度适配。