Puffin-World：统一多模态模型有了原生 3D 世界状态

先认识它：谁做的、何时发布、是否开源

2026年9月初，南洋理工大学 S-Lab、密歇根大学、北京交通大学和 ACE Robotics 的研究团队发布了 Puffin-World，并公开代码、模型和数据，但采用 NTU S-Lab License 1.0、并非可以随意商用；把它想成给 AI 装上一双会认方向、距离和空间的眼睛——它看一张照片，就能猜出相机朝哪、物体多远，再从其他角度补出较一致的 3D 静态世界。

再说得更简单一点：普通看图 AI 像一个只会认照片内容的小朋友；Puffin-World 还会判断“摄影师站在哪里、镜头朝哪里、桌子离镜头多远”，再尝试画出没有拍到的另一面。不过它现在主要研究静止不动的场景，还不能把复杂、会运动的真实世界完全模拟出来。

为什么只看外观不够？

以前的 AI 模型很会“看图说话”，也能生成逼真的图片。但它们大多只懂得“颜色和形状”这一层，就像只看一张照片的纸面，不知道拍摄者站在山坡上还是平地上，也不知道镜头是歪的还是正的。当相机做大幅度旋转或者走很远的路时，模型就会“迷路”，画面里的天空可能倒过来，地面可能斜着。Puffin-World 认为，真正的世界模型必须知道三件事：物理（哪里是上下）、几何（东西有多远）、外观（看起来什么样）。

三种“世界状态”：像搭乐高一样搭世界

Puffin-World 把世界拆成三大块：
物理状态：好比指南针和水平仪，告诉 AI 每张画面里“上”在哪儿，镜头和水平面有多少度夹角。
几何状态：就是深度图，像给每一幅画加上“标尺”，算出物体离你几米远。
外观状态：就是大家熟悉的彩色图片和视频。
这三种状态不是分开的，而是像拼乐高一样互相咬合，AI 可以同时生成画面和深度，最后拼出一个完整 3D 模型。

Omni-Camera：一个能定方向又能动起来的“摄像机”

以前做相机控制有两种思路：一种只描述“相对运动”，比如“向右转 30 度”，但它不知道哪儿是真正的“上”；另一种能固定“绝对方向”，却不好处理连续移动。Puffin-World 发明的 Omni-Camera 把两种好处结合起来，就像你手里有一台既能用指南针定位，又能自由走动拍摄的相机。每个像素点都包含 9 组数据：向上的方向、纬度、镜头出发位置和视线方向。这样一来，AI 既能理解“这张照片是在竖直地面拍的”，也能平稳地从一个视角滑到另一个视角。

一个模型，做三件大事

Puffin-World 就像一个瑞士军刀，把三种能力合一：
1. 理解层面：图片和深度共用同一个“语言”空间，AI 看完图能说出相机参数。
2. 生成层面：AI 能按你的文字描述和指定角度画出新视角图片，还能同时生成深度图。
3. 任务层面：只需要改变输入条件（是给文字还是给图片，给不给相机角度），同一个模型就能完成从“看”到“画”再到“搭 3D 模型”的多种任务。

物理感知与传播：即使转圈也不迷路

假设 AI 从一张照片里判断出了重力方向（哪边是下），然后相机转动了。它如何保证转过之后的新画面仍然是“正”的？Puffin-World 有一种叫“物理传播”的技巧，先把起始重力方向记录下来，再用相机转动的数学关系，自动算出每一张新画面的“上”是哪边。就好像你身体倾斜转圈时，内耳前庭依然能告诉你头的朝向，不会头晕失重。

用 1600 万数据喂大的“世界博士”

为了训练这种能力，研究团队构建了 Puffin-16M 数据集，其中 1500 万条“图像-文字-相机参数”来自 90 万张全景图，视角上下左右可到 45 度；另外 100 万条是连续轨迹，可以 360 度转圈。他们还用 Puffin-World 给 28 个公开数据集标注了相机绝对角度，大约覆盖 4450 万张图片。这样一来，其他研究者也能分析“AI 是不是偏爱正面平视的照片”，从而做出更不偏科的模型。

它能做什么？三个惊人演示

单张照片估相机：拿着随便一张照片，它就能说出镜头是仰视还是俯视，甚至以照片里的地平线和竖直物为线索猜出相机高度。
自由视角模拟：你说“从窗户左边往右飞”，它就可以沿着这条路线生成一段视频，画面中的物体位置始终不乱。
图片/文字生成 3D 世界：给它一句“一个带壁炉的小木屋”或一张正面图，它能生成多角度视图并直接重建出 3D 模型。

走向“会玩 3D 游戏的 AI”

更酷的是，Puffin-World 能把理解、生成连成一个循环：它先“看”一张歪了的图，自己判断“现在镜头歪了”，然后预测一个纠正动作，再想象纠正后看到的画面。这就是一个“感知-行动-想象”闭环，未来可用于虚拟现实、机器人在房间找路，甚至开发能自己探索 3D 世界的智能体。现在它面向静态场景，接下来团队打算扩展动态物体和更复杂的物理世界。