8月5日,全球权威AI性能评测组织公布最新的MLPerf® Storage v2.0基准测试结果。作为人工智能领域公认的存储性能“全球标杆”测试,MLPerf® Storage由国际MLCommons组织制定,其结果被全球顶尖超算中心、云计算厂商和AI实验室广泛采用并认可。此次评测中,由国家超级计算济南中心(以下简称“济南超算”)与华为技术有限公司(以下简称“华为公司”)协同研发优化的高性能存储系统,在三项核心性能指标上刷新世界纪录,位列全球第一。这意味着,在人工智能时代最核心的数据存储与传输能力上,我国自主研发的技术已经走在了世界最前列。
简单来说,这套系统就像是AI“超级大脑”的“数据高速公路”,负责把海量训练数据不间断地输送到成百上千张“计算显卡”中进行学习。它因速度之快、通道之多、单通道的承载能力之强创下多项新世界纪录——在3D U-Net训练测试中,单台存储设备的数据传输速度高达每秒698GiB/s,相当于1秒钟传完近700部高清电影;单位机架空间的传输能力达到每秒108GiB/s,也就是说同一个机架上的所有计算单元可以同时满速获取所需数据,不需排队等待数据;单个客户端的传输速度突破每秒104GiB/s,即便是一台计算设备单独工作,也能享受到全球最快的数据供应速度。三项核心指标全部位列世界第一,使我国在大规模AI训练的数据吞吐领域迈入国际领先行列。
展开剩余71%单存储设备带宽达698 GiB/s,全球最快,
较第二名提升4倍以上
单位机架带宽108 GiB/s,空间利用率全球领先,
较第二名高约35%
单客户端带宽104 GiB/s,单机也能满速运行,
比第二名快约30%
除了“跑得快”,更难得的是,这套系统还解决了一个长期困扰大模型训练的“瓶颈”——断点续训,也就是AI学习中途“存档”和“读档”的能力。过去,存档速度慢,就像一场长途旅行中汽车加油,如果加油慢、油枪少,所有车辆都得排长队,浪费大量时间。而在AI大模型训练中,这个过程叫做“Checkpointing”,即随时保存训练进度、以便中断后快速恢复。济南超算与华为团队攻克了这一高并发读写下的性能瓶颈——在Llama3_70B模型训练测试中,单客户端的读写速度分别达到68.8 GiB/s和62.4 GiB/s,比国际同类技术快了6.7倍,相当于让加油站的油枪数量和加油速度实现了跨越式提升,让“加油”几乎不再成为瓶颈,大幅缩短了大模型训练时间,也降低了算力和运维成本。
Checkpointing读写速度全球领先,
快过国际同类技术6.7倍
国家超级计算济南中心主任王英龙介绍,双方的合作始终聚焦于国产化算力基础设施的核心需求,从存储系统的横向扩展,到与GPU算力的高效协同,再到数据安全与韧性保障,均取得了突破性进展。目前,这套领先的高性能存储系统已经具备EB级容量扩展能力,可支持多达4096张算力卡协同工作,并通过多维数据管理技术让数据流动效率提升10倍。同时,它在绿色节能方面也做出了创新,系统将高密度存储介质与低能耗设计相结合,在大幅提升性能的同时,减少了能源消耗和碳排放,为可持续发展的AI算力中心建设提供了范例。
自2020年合作启动以来,济南超算与华为存储团队坚持“科研攻关+产业应用”双轮驱动,先后发布《数据密集型超算应用白皮书》,共同参与IO500国际排名,多次在全球舞台展示国产存储技术的实力。本次MLPerf测试的佳绩,不仅证明国产存储系统已能从容应对万亿参数级大模型的训练需求,还将在医疗影像分析、气候模拟、遥感数据处理等关系民生与国家安全的重要领域广泛应用。
业内专家评价,这一成绩不仅是一项技术突破,更是中国在全球人工智能基础设施竞争中的一次有力冲刺。未来,济南超算与华为将继续在前沿领域深化合作,让人工智能更快、更稳、更绿色地赋能千行百业。
来源:大众日报
编辑:王正君
校对:刘俊麟
审核:李 卓
发布于:北京市创通网配资提示:文章来自网络,不代表本站观点。