- YRCloudFile 軟件
- 高性能分布式文件存儲 YRCloudFile
- 焱融 DataInsight
存儲挑戰(zhàn)
大規(guī)模數(shù)據(jù)存儲壓力
AI 大模型邁向萬億級參數(shù)規(guī)模，多模態(tài)發(fā)展加速，數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長。訓練和推理都需海量數(shù)據(jù)與超大規(guī)模參數(shù)存儲。同時，多模態(tài)數(shù)據(jù)的格式和結構更復雜，加劇存儲負擔。
多模態(tài)數(shù)據(jù)洪流加劇傳輸難題
圖像、語音、視頻等多模態(tài)數(shù)據(jù)混合處理，對傳輸帶寬、延遲和吞吐量提出更高要求。一是數(shù)據(jù)量激增致使網(wǎng)絡帶寬承壓，傳輸速度受限；二是多模態(tài)異構數(shù)據(jù)增加傳輸復雜度，需進行語義對齊確保信息準確傳達。
讀寫低效制約模型迭代效率
模型訓練涉及海量數(shù)據(jù)集讀取與頻繁 Checkpoint 寫入。存儲 I/O 性能不足數(shù)據(jù)加載慢會導致 GPU 空轉；而存儲帶寬受限會導致 Checkpoint 讀取延遲，進而增加訓練中斷和恢復時間，影響訓練效率。
元數(shù)據(jù)風暴拖累海量小文件處理
AI 訓練和推理過程中會生成并訪問大量小文件，如模型參數(shù)、日志等，這會導致元數(shù)據(jù)操作極為頻繁。元數(shù)據(jù)查詢與檢索延遲會影響數(shù)據(jù)加載和任務調(diào)度效率。
存算資源錯配引發(fā)系統(tǒng)性損耗
智算中心存儲集群讀寫速度和并發(fā)處理能力若跟不上高算力需求，模型訓練會因數(shù)據(jù)等待造成 GPU 利用率不足，浪費算力和電力資源，嚴重削弱投入產(chǎn)出比。
數(shù)據(jù)治理缺失推高成本
業(yè)務發(fā)展使跨數(shù)據(jù)中心、云邊協(xié)同的數(shù)據(jù)流動需求增加，但跨域數(shù)據(jù)復制流程復雜。此外，AI 訓練數(shù)據(jù)具有階段性熱點訪問特征，缺乏智能調(diào)度會導致冷數(shù)據(jù)長期占用高性能存儲資源，推高存儲成本。
解決方案
焱融科技面向國產(chǎn)化智算中心的需求，推出了基于 F9000X 全閃存儲一體機的高速數(shù)據(jù)處理解決方案，以實現(xiàn)超高性能和可擴展性。該方案采用了先進的高性能分布式并行文件系統(tǒng) YRCloudFile，優(yōu)化了 NVMe SSD 以及高速無損網(wǎng)絡的數(shù)據(jù)訪問和效率，不僅確保了對大文件的高帶寬傳輸，同時還優(yōu)化了對海量小文件的處理能力。該解決方案以高帶寬、高吞吐、低時延和高 IOPS 的卓越存儲性能，為智算中心提供了強大的支持，使其能夠充分發(fā)揮 GPU 算力集群的最大效能。
方案優(yōu)勢
EB 級彈性擴展
穩(wěn)健支撐智算業(yè)務發(fā)展采用全分布式架構與獨立可擴展的元數(shù)據(jù)服務，實現(xiàn)業(yè)務無感知的橫向擴展與容量性能線性增長，保障智算業(yè)務持續(xù)增長下的服務穩(wěn)定性與成本可控性。
獨有 DataLoad 功能
打通數(shù)據(jù)流動鴻溝焱融 DataLoad 功能支持直接通過文件接口訪問對象存儲中的數(shù)據(jù)，實現(xiàn)了對象存儲與文件系統(tǒng)的無縫對接，滿足混合云存儲業(yè)務架構部署要求，實現(xiàn)靈活、按需的數(shù)據(jù)互通和流轉。
分布式元數(shù)據(jù)架構
輕松駕馭千億級文件存儲通過擴展元數(shù)據(jù)節(jié)點實現(xiàn)元數(shù)據(jù)的分布存儲和負載均衡，提供千萬級 IOPS 和高吞吐能力，支持千億級文件數(shù)量。同時，結合高效元數(shù)據(jù)管理技術，減少跨網(wǎng)絡和磁盤訪問開銷，海量小文件處理性能無衰減。
冷熱數(shù)據(jù)智能分層
有效降低智算建設 TCO用戶可根據(jù)策略自定義冷熱數(shù)據(jù)層，冷數(shù)據(jù)自動流動至本地或公有云對象存儲中，向上仍然為業(yè)務提供標準的文件訪問接口。在保證熱層數(shù)據(jù)高訪問性能的同時，降低數(shù)據(jù)存儲的整體成本。
全棧技術架構適配
賦能多場景智能計算支持 x86、ARM、虛擬機等多種架構環(huán)境部署，結合智能數(shù)據(jù)加載等功能實現(xiàn)混合云環(huán)境下的高效存儲與調(diào)度。上層可支持 AI 訓推、金融量化、自動駕駛、科研教育、智能辦公等多種場景。
全面支持國產(chǎn)化生態(tài)
深度適配海光、鯤鵬、飛騰等主流硬件平臺及銀河麒麟、統(tǒng)信、歐拉等國產(chǎn)操作系統(tǒng)，助力用戶打造安全可控的高性能存儲基礎設施。