摩尔线程在一天内完成了高性能分布式文件系统3FS的搭建黄金价格走势新浪遵循疾科技的音书称,日前摩尔线程告示,跟着DeepSeek开源周收官,摩尔线程正在短岁月内,告成杀青对DeepSeek各个开源项方针全部援手,涵盖FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer文献体例(3FS)。

  摩尔线程默示,这一劳绩充溢验证了MUSA架构和全功用GPU正在生态兼容与疾捷适配方面的巨大上风!

  DeepEP是一个用于MoE(羼杂专家)模子锻练和推理的开源EP(expert parallelism,专家并行)通讯库,首要合用于大模子锻练,尤其是必要EP的集群锻练。

  它通过优化通讯信道的运用率,明显晋升了锻练效用。摩尔线程基于MUSA Compute Capability 3.1全功用GPU,第偶然间适配了DeepEP。

  DeepGEMM是一个援手蚁集矩阵与羼杂专家(MoE)矩阵乘法的FP8 GEMM库,为V3/R1的锻练与推理供应巨大动力。

  这个开源堆栈基于高本能通用矩阵乘法(GEMM)的C++模板库举办开拓,摩尔线程基于MUTLASS正在全新GPU架构上优化杀青了FP8矩阵乘法,援手DeepGEMM的相应功用。

  DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过前向盘算与后向盘算阶段的盘算与通讯齐备重叠,明显削减了“流水线气泡”(兴办空闲等候)。

  与守旧流水线并行比拟,DualPipe 采用双向数据流策画,使数据从两头相向收拾,大幅晋升了资源诈骗率与锻练效用。

  摩尔线程依托深度进修框架Torch-MUSA(已开源)和MUSA软件栈全方位的兼容性,杀青了对DualPipe这一算法的高效援手。

  Fire-Flyer文献体例(3FS)是一种诈骗新颖SSD和RDMA收集的一概带宽的并行文献体例,可能把固态硬盘的带宽本能诈骗到极致。

  摩尔线程正在一天内完结了高本能漫衍式文献体例3FS的搭筑,并高效开拓了存储插件,告成杀青与夸娥智算集群的无缝集成,为AI锻练、AI推理、科学盘算等场景供应全栈存储加快计划。