中国科研,存力全开!
分类:行业动态 发布时间:2024-04-18 16:17:46
帮助高校实现科研效率的飞跃!

      清华大学智能产业研究院里研究员正在标注用于AI训练的图像数据集,处理着成千上万张图片;

      某高校超精密光电仪器工程研究所里研究员正忙碌于解析刚刚收集的海量数据。

      ......

      科研探索的步伐加快,研究数据量也在激增。随之而来的是,存储的扩容、性能、安全等问题。

      从用户的真需求中提炼大创新,我们希望用一套存储方案,帮助高校实现科研效率的飞跃,助力提升中国科研创新实力!

科研烦恼1

      实验数据多,扩容难:科研工作处理的数据不断积累,从TB级增长到PB级、甚至也在从PB级不断跃升,甚至像大型基因测序科研每日会产生10TB到100TB的下机数据

1.png

      对于存储系统来说,这不仅是容量的挑战,更是性能提升的考验。

科研烦恼2

      I/O瓶颈,进度慢:科研人员运行Llama2、ChatGLM、Baichuan等AI模型训练软件时,经常遇到这些崩溃瞬间:

      AI训练任务频繁中断、需要频繁保存checkpoint文件,训练集小文件数据读取慢...

      运行基因测序仪和软件,FastQ大文件,聚合带宽GB级到几十GB,测序时间从1天到几周越来越久,经历漫长等待...

2.png

      这些烦恼源自于存储的大、小文件性能跟不上,导致大幅了降低工作效率。

科研烦恼3

      数据有丢失风险,不可靠高价值的科研成果,如果被误删遭到勒索软件的加密将不得不重返工,浪费大量时间,耽误科研进度。

3.png

一套存储,扩展灵活

让科研更高效

图片 (47).png 最快60秒完成扩展,性能不受影响

      基于分布式架构,EDS存储支持单存储多硬盘池以及多存储池的灵活扩展,轻松应对数据量的激增。同时,通过数据分层技术,智能分配数据至不同性能的存储介质,确保了存储性能的线性提升

      无论是自动驾驶的卫星图像数据,还是AI模型训练的大规模数据集,EDS都能提供充足的存储空间和高效的数据处理能力

4(1).jpg

图片 (48).png 效率提升30%,加速科研成果输出

      基于EDS存储创新自研凤凰分布式文件系统,为科研打造了全NVMe级高性能大”Tier“层,同时支持科研场景专用客户端、NVME over RDMA、NFS+、GDS、IB等关键能力,数倍提升海量小文件的性能和大文件吞吐率。让众多的科研任务并发访问存储群集节点,明显缩短科研工作周期,加速科研结果输出。

5(1).jpg

图片 (55).png 全面保护!科研不中断,数据0丢失

     EDS存储为科研用户提供了多层次的可靠性保障,确保科研任务的连续性和数据的安全性。

      安全防护:包括内置防勒索模块,支持硬盘故障隔离和端到端数据校验,防止数据安全问题中断科研进程;

      数据恢复:利用元数据矩阵式算法,实现分钟级的性能无损快照,同时通过远程复制、增量备份等能力,确保科研数据的完整性;

      管理优化:还提供文件回收站、WORM和用户行为日志审计等能力,减少人为误操作的风险,降低纠错成本,提升科研工作效率。

6(1).jpg

      在实际应用中,清华大学智能产业研究院某高校超精密光电仪器工程研究所等顶尖高校和科研机构都在使用EDS存储。

       凭借深信服EDS存储高性能、高可靠性的优势,高校科研将不再受限于物理空间的束缚,也不再受限于数据存储的边界,可以自由地探索在科技的最前沿!