寒武纪官宣,已完成商汤新模型日日新SenseNova Loop-9B的Day 0适配。
该模型依靠Loop结构复用参数,搭配流形约束超连接(mHC),能用有限参数量拓展计算深度,针对复杂推理、代码、工具调用、多模态任务,提升在智能体、代码、数据分析任务上的效果,挖掘循环计算潜力。
寒武纪依托vllm_mlu完成本次适配,打通该模型在MLU平台的推理链路,适配工作重点围绕Loop循环结构、MLU算子适配、mHC路由优化这三方面推进。
1、Loop 循环层展开:这是SenseNova Loop-9B适配的核心,该模型以9B参数把32个物理解码层扩展为56次层计算。寒武纪采用静态展开方案,让它适配vLLM调度,共享权重,显存压力控制在32层模型水平。
2、MLU 算子适配:依托vllm_mlu里成熟算子,替换Attention、MLP等核心模块。多模态方面复用视觉相关组件,完成图像特征提取,打通图文输入场景的推理链路。
3、mHC 路由性能优化:针对mHC双流路由做专项调优,借助TMO融合归一化,搭配自动生成的Triton融合算子,精简调度流程,有效减少Kernel Launch带来的额外开销。

