一、Looped MMDiT 是什么?谁在什么时候发布的?
2026 年 9 月 8 日,商汤科技在其官方新闻中心发布了一篇技术博客,介绍了一个叫 Looped MMDiT 的图像生成模型架构。它由商汤科技开发,属于文生图方向的研究成果,官方称研究成果将在 9 月底开源,但具体开源许可证和代码仓库地址官方未说明。简单说,它想让 AI 画图时“想得更深”,而不是单纯把模型做得更大。
打个比方:普通做法是请更多厨师、买更多锅;Looped MMDiT 是让同一口锅反复炒几遍,把味道做得更足。它主要能提升文生图在组合推理、空间关系等任务上的表现。
二、为什么要从“更大”转向“更深”?
过去几年,AI 模型变强最直接的办法是增加参数:更宽的隐藏维度、更多的 Transformer 层。但模型越大,存储、显存、训练通信和部署成本也越高。商汤这篇博客提出一个问题:模型能不能不只是“做大”,还可以“做深”?
Looped Transformer 给出了一种可能:复用一组中间模块,通过增加循环深度,让隐藏状态经历更多轮计算。这样,参数规模与计算深度就不一定非要同步增长。
三、循环深度和去噪步数有什么不同?
文生图模型本来就有迭代:Diffusion 或 Flow 模型通过多个去噪步数,从噪声逐渐得到图像。Looped MMDiT 的做法,是把循环放到单次去噪步数内部。这样一来,模型就有了两个可独立调节的计算维度:外部是去噪步数,内部是循环深度。
博客称,在相同推理计算预算下,把更多计算投入循环深度,比增加去噪步数带来更高的性能收益。也就是说,一部分迭代计算可以从模型外部搬到模型内部,变成可端到端学习的计算。
四、直接循环为什么不行?
最直接的方案,是把 MMDiT 中间的一组模块重复运行 N 次。但实验发现,循环并不是越深越好:推理循环深度较浅时,朴素循环往往不如原始 MMDiT;随着深度增加,性能上升但很快饱和;超过训练时采用的深度后,性能普遍下降。
商汤把问题归结为两点:中间循环输出缺少有效监督;反复更新隐藏状态会逐渐侵蚀 Token 的局部信息。博客用一个探针实验说明,随着循环次数增加,从隐藏状态预测 Token 位置的能力持续下降,也就是模型可能越来越不知道“东西在哪里”。
五、三个关键设计:让每一轮循环都有效
为了解决上述问题,商汤引入了三个关键环节。第一是 Deep Supervision:给每一轮循环的中间预测施加与最终输出相同的 Flow Loss,让中间状态不再只是过渡层,而是每一轮都直接朝生成目标优化。第二是 Loop Distillation:把最终循环的预测作为教师信号,约束前面各轮预测向最终结果对齐,让“少想几轮的自己”学习“多想几轮后的自己”。
第三是 Self-Modulating Attention(SMA):普通 Attention 关心“其他 Token 告诉了我什么,我该怎么更新”;SMA 还多问一句“这一轮我到底需要更新多少”,让更新幅度可以随 Token 和当前状态动态变化,从而缓解深循环下的局部表征退化。
六、实验结果:小参数也能有深计算
博客称,Looped MMDiT Backbone 只有 260M 参数,但在 GenEval、DPG Bench、PRISM、CoRe、Spatial 等评测基准上,有多项指标超过了实验中参数规模约为其 4 倍的大模型基线。商汤强调,重点不是“小模型打赢大模型”,而是验证了一个判断:模型拥有多少参数,与模型能够执行多深的计算,不一定要同比增长。
此外,博客还展示了循环带来的隐空间推理能力:不额外生成推理 Token,而是通过视觉隐藏状态的多轮迭代增加内部计算深度,在组合推理、空间关系等任务上取得提升。
七、它能用在哪里?有什么限制?
从博客描述看,Looped MMDiT 面向文生图场景,未来可能接入 SenseNova U 系列的统一生成理解框架,并有望成为 SenseNova 日日新模型系列的架构基础。它适合需要复杂组合、属性绑定、空间关系推理的图像生成任务。
但限制也很明显:目前只是小规模实验验证,博客没有给出完整评测数值、训练数据规模和来源,也没有说明具体开源许可证、代码仓库地址和模型权重是否开放。与 GPT-6 的具体架构比较,官方也表示公开信息不足,不做更细的结构比较。
八、适合谁关注?下一步看什么?
这篇技术博客适合 AI 研究者、文生图开发者、对模型架构感兴趣的学生和工程师阅读。它提出的核心问题是:同一组参数,到底还能算多深?如果循环深度能成为参数规模和推理 Token 预算之外的第三条 Scaling 轴,未来生成模型的设计思路可能会发生变化。
下一步值得关注的是:9 月底开源的具体内容、接入 SenseNova U 系列的进展,以及循环深度能否在更大规模上持续有效。官方未说明这些事项的具体时间表和细节,需要等待后续官方信息。
本文由 AIGCWHY 自动监测系统发现,经结构化处理后发布。重要决策请打开原文核验。