美国主机侦探-青云QingCloud 非结构化数据存储 U10000 在海量小文件场景的应用
青云科技(qingcloud.com)QingStor U10000作为一款分布式存储,在支撑线性扩展上体现不俗。U10000最低3节点起步,随着节点数量的增加,存储容量和存储集群的功能都会线性增加。
U10000的存储功率比较高。通过可灵活配置的EC纠删码,能让整个集群的物理磁盘可用空间达到90%以上,存储功率关于U10000这种超大容量存储来说,经济含义特别大。
U10000在支撑线性扩展和EC纠删码技术的基础上,能为海量小文件供给高功能读写,单桶单目录能支撑百亿级小文件存储,并且能做到功能不衰减。
海量小文件的功能体现遭到越来越多重视,比方,在机器学习场景中,就需求很多小文件,一些练习需求几亿乃至十几亿的文件,存储功能问题会严重影响练习功率。U10000根据Rust言语编写,在功能和安全性上有较大提高。
(美国主机侦探)在数据安全性机制方面,数据层面选用的是多副本技术,而元数据则进行了强一致性处理,元数据和存储数据进行了分层规划。此外,U10000还有多重访问安全机制、智能预警机制。
在运维办理方面,供给了友好的可视化办理界面,能够更好地对存储集群进行各种配置、操作和监控。
U10000 其实已经在非结构数据存储场景上有不少立异实践。
慈铭体检医疗集团的体检服务从预定阶段到报告获取都转到了线上,体检报告除了能够查看体检数据,还能够查看健康态势,背后依托的是一套数据分析平台。
青云帮助该医疗集团构建了事务承载平台,使用了青云云易捷超交融平台,存储部分则是将数据与U10000目标存储做对接后,完成了对PACS体系的印象数据进行实时调取和长期存储,其间就用到了U10000协议互通的特性,完成了目标和文件互通,为AI医疗相关的立异使用供给了便当。
某智能驾驶科技公司,其自动驾驶研讨事务的开展离不开高精度地图,高精度地图需求收集很多图片和视频数据,收集而来的数据需求经过多重处理,需求与各种数据分析和数据存储平台交互,在这种场景下,U10000协议互通的优势也能得到充分发挥。
在前期,其所有事务都运行在公有云上,处于安全方面的考虑,开端构建私有化的集群,因为该公司的规划比较大,关于服务供给商的才能要求也很高,青云的计划基本解决其高精度地图从数据收集、生产、练习整个生命周期的存储和算力需求。
姑苏华兴源创是一家工业自动测试设备与整线体系解决计划供给商,主要测试产品用于LCD、柔性OLED、半导体、新能源汽车电子等行业的生产厂家,以及为行业供给定制化的数据交融软件平台。
华兴源创的数据应战来自自有数据中心的中台、上层工厂流程再造、供应链优化以及安全保障四个方面,涉及到上百套事务体系,有各种各样类型的数据,事务平台对存储的需求也各不相同。
比方,要害事务数据需求有更多副本的存储,对功能要求高的使用需求全闪存的存储配置,数据增加快的使用需求扩展才能更强的存储,而这些需求,绝大部分都由QingStor U10000来满足,其他需求由NeonSAN块存储体系来满足。
清华大学天津电子信息研讨院是清华大学电子信息学科的 “产学研一体化”的成果转化基地,其间的高端光电子芯片立异中心,从事芯片规划和开发方面作业,有许多EDA(电子规划自动化)规划需求,需求反复运算、验证,所以,他们关于数据存储体系的要求也很高。
EDA的前端规划阶段会呈现很多的随机读写操作,后端规划阶段需求很多次序读写操作,这对存储体系的综合才能要求很高,非常检测分布式存储架构的规划才能,实际上,U10000也能很好地满足其需求。