SenseNova U1.5 技术报告：迈向原生统一视觉智能

一、SenseNova U1.5 是什么？谁在什么时候发布的？

2026年9月17日，商汤科技在官方新闻中心发布了 SenseNova U1.5。它是一个采用 8B-MoT 架构的原生统一多模态模型，能够理解、推理和生成视觉内容。所谓“原生统一”，是指它不需要外部的视觉编码器和变分自编码器（VAE），直接从像素和文本中学习。

官方宣布将开源包括监督微调、强化学习和同策略蒸馏在内的训练代码，但模型权重的具体开放方式官方未说明。你可以把它想象成一个既能看懂图画、又能自己画画的“全能小画家”，不用先请翻译再画画，自己就能边看边画。

二、它和上一代 SenseNova U1 有什么不同？

SenseNova U1 已经验证了不依赖外部编码器和 VAE 的 NEO-unify 架构，但它把每个视觉 token 独立重建为 RGB 图像块，导致高分辨率下容易出现接缝、纹理不连续和几何不一致。SenseNova U1.5 把独立图像块预测改成了空间联合重建，让相邻区域在像素最终确定前交换信息。

具体做法是：把 token 投影到二维特征场，通过空间卷积和 Pixel Shuffle 上采样逐步重建图像。这样既保留了紧凑视觉序列的效率，又显著改善了空间一致性，并支持最高 4K 分辨率的原生生成。就像拼图时不再一块一块单独拼，而是让相邻拼图块先商量好颜色和形状再拼上去。

三、它的核心架构是怎么工作的？

SenseNova U1.5 保留了原生 Mixture-of-Transformers（MoT）设计，在同一个 Transformer 主干网络中整合理解与生成。干净的图文上下文与噪声条件化视觉状态在统一序列中交错排列，通过共享自注意力直接交互。文本 token 只关注此前上下文，每个干净图像块内部的 token 进行双向注意，噪声条件化的生成 token 也进行双向交互并关注此前全部干净上下文。

架构统一并不意味着所有位置共享参数。理解与生成保留独立的注意力投影、归一化层和前馈模块，并在每一层按 token 类型动态路由。共享注意力充当跨流通信的接口，流特定参数保留感知与合成所需的不同计算。这就像同一个教室里，语文和数学共用一张课表，但两门课各有自己的老师和课本。

四、训练过程分几步？后训练有什么特别之处？

训练流程分为五个阶段：生成预训练、统一中期训练、统一监督微调、多专家强化学习、多专家同策略蒸馏。前三个阶段逐步构建原生多模态能力，第四阶段分别训练美学、文字渲染、信息图生成和图像编辑四个专家，每个专家采用任务特定的数据、奖励、采样与正则化设置。

第五阶段通过多专家同策略蒸馏，让学生模型在自身生成的轨迹上接受教师的密集监督，把四个专家的互补优势整合到一个统一策略中。这就像先让四位专科医生分别精通眼科、骨科、皮肤科和内科，再让他们把各自的本领教给同一位全科医生，而不是一开始就让全科医生同时学四科。

五、它能做什么？效果怎么样？

根据官方评测，SenseNova U1.5 在图像保真度、文字渲染、复杂构图、多参考图编辑和交错生成方面均取得显著进展，同时提升指令遵循能力，保持主体身份特征、几何结构与非编辑区域的一致性。它支持最高 4K 原生分辨率生成，能处理双语文字排版、信息图生成和图像编辑等任务。

尽管生成训练数据对结构化格式的覆盖有限，模型仍能有效泛化到长而复杂的结构化视觉指令，证明多模态理解能力能够迁移至视觉规划与创作。就像一个学生虽然只做过简单的手抄报，但理解了排版原理后，也能自己设计出复杂的信息图。

六、谁适合使用它？有哪些限制？

SenseNova U1.5 适合需要图像生成、文字渲染、信息图设计和图像编辑的研究人员、开发者和创作者。官方开源了训练代码，社区可以关注其技术报告和 GitHub 仓库。商汤小浣熊提供了在线体验入口，普通用户也可以尝试。

限制方面，官方未说明模型权重的具体开放方式、许可证类型、商用限制和推理成本。此外，生成训练数据对结构化格式的覆盖有限，虽然模型表现出泛化能力，但在极端复杂的结构化视觉指令上可能仍有不足。使用前建议先查看官方文档和许可证说明，确认是否符合自己的使用场景。