当前位置: 首页 - 学院 - 资讯 - 其他资讯 - 正文

寒武纪Day 0完成商汤SenseNova Loop-9B适配,实现新型循环计算架构推理链路打通

2026-11-19 17:32:19 来源:互联网 作者:dingding

      寒武纪官宣,已完成商汤新模型日日新SenseNova Loop-9B的Day 0适配。

      该模型依靠Loop结构复用参数,搭配流形约束超连接(mHC),能用有限参数量拓展计算深度,针对复杂推理、代码、工具调用、多模态任务,提升在智能体、代码、数据分析任务上的效果,挖掘循环计算潜力。

寒武纪Day 0完成商汤SenseNova Loop-9B适配,实现新型循环计算架构推理链路打通

      寒武纪依托vllm_mlu完成本次适配,打通该模型在MLU平台的推理链路,适配工作重点围绕Loop循环结构、MLU算子适配、mHC路由优化这三方面推进。

      1、Loop 循环层展开:这是SenseNova Loop-9B适配的核心,该模型以9B参数把32个物理解码层扩展为56次层计算。寒武纪采用静态展开方案,让它适配vLLM调度,共享权重,显存压力控制在32层模型水平。

      2、MLU 算子适配:依托vllm_mlu里成熟算子,替换Attention、MLP等核心模块。多模态方面复用视觉相关组件,完成图像特征提取,打通图文输入场景的推理链路。

      3、mHC 路由性能优化:针对mHC双流路由做专项调优,借助TMO融合归一化,搭配自动生成的Triton融合算子,精简调度流程,有效减少Kernel Launch带来的额外开销。