这是什么:一句话认识 Gemini 的 Agentic 视频理解
2026 年 9 月 1 日,Google DeepMind 发布了一项叫 agentic video understanding 的新功能,中文可以叫“智能体视频理解”。它属于 Gemini 这个多模态大模型家族,目前支持 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 三个模型。它不是单独的新模型,而是给已有 Gemini 模型加上的视频分析能力,通过 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 提供,属于闭源服务。
简单说,以前模型看视频像用固定速度翻书,每秒只看固定张数的画面;现在它像有了一个会自己找重点的小助手,先快速扫一遍,再决定哪些片段要慢放、哪些要听声音、哪些要看字幕。官方说,这样能让 token 消耗最多降低 88%,成本最多降低 66%,准确率最多提升 7%。
为什么需要它:老办法看长视频太费钱
原来的视频分析是“静态处理”:模型按固定帧率把视频一帧一帧读进去,默认每秒 1 帧,开发者可以通过 API 调整。问题是,视频越长,读进去的画面就越多,消耗的 token 和费用也越高。比如一节 90 分钟的课,如果每一秒都按固定速度读,模型要处理大量重复或无关画面,既慢又贵。
开发者以前也可以自己写代码,先切片段再分别分析,但这需要很多额外开发工作。Agentic video understanding 把这件事交给 Gemini 自己完成:模型会主动判断该看哪里、用什么速度看、用画面还是声音或字幕来理解,只取真正需要的信息。
它是怎么工作的:像侦探一样按需查看
这个功能把 Gemini 的推理能力和原生视频工具结合起来。模型不是一次性吞下整段视频,而是进入一个“智能体循环”:先理解问题,再调用内部工具加载视频的相关部分,然后检查画面、音频或转录文本,必要时再回看某个时间窗口。官方把它比作类似 agentic vision 的思路,只不过这次处理的是视频。
因为可以动态调整帧率,它能在需要时把某个片段用更高帧率重新采样,看清快速动作或细微变化;不需要的地方就少看甚至不看。这样既减少了 token 消耗,又避免因为固定低帧率而漏掉关键细节。
能做什么:四个典型用途
官方列出了几类能力。第一是“亚秒级时刻检索”:能抓住不到一秒的状态变化和紧凑的剪辑边界,这在每秒 1 帧的静态处理下很容易漏掉,适合做精确的自动视频编辑。第二是“长视频大海捞针”:在几小时的视频里回答复杂问题,而不用消耗数百万 token。
第三是“异常检测”:对感兴趣的时间窗口用更高帧率重新采样,检查快速运动和细微画面异常。第四是“动作与物体计数”:准确追踪重复的物理动作和不同物体。官方还展示了在 LongVideoBench 等长视频基准上的效果,以及动态帧率下数快速动作、低 token 做大海捞针搜索的示例。
怎么用:开发者设置一个参数就行
这个功能今天就可以用。开发者通过 Gemini API 在 Google AI Studio 或 Gemini Enterprise Agent Platform 调用,把 API 配置里的 processing 设为 “agentic” 即可。官方示例代码显示,可以在输入里给视频指定 processing: “agentic”,然后正常提问,比如问“这场发布会最重要的三个公告是什么”。
它使用标准 Gemini API 的 token 计费方式,官方明确说没有额外功能费。也就是说,你只为实际消耗的 token 付费,而 agentic 模式本身能帮你减少 token 用量。官方还提供了开发者指南,帮助了解细节和上手方式。
效果与限制:省得多,但并非万能
官方称,在标准视频分析基准上,启用 agentic video understanding 后,分析成本最多降低 66%,token 消耗最多降低 88%,准确率最多提升 7%。这些提升在长视频上尤其明显,从 10 分钟教程到 90 分钟讲座再到数小时录像都受益。官方还表示,Gemini 3.7 Flash 配合该功能在测试模型中处于准确率与成本的帕累托前沿,也就是在同等成本下准确率更好,或同等准确率下成本更低。
不过,原文没有说明视频长度上限、支持地区、免费额度或企业定价细节,也没有给出每个模型单独的完整基准数据。它目前是面向开发者的 API 功能,不是普通用户在 Gemini 应用里点一下就能用的按钮。官方提到会把效率和质量提升带给 Google 生态里数十亿用户,但没有说明消费级产品的具体上线时间。
适合谁用:开发者和需要处理长视频的团队
最直接的适用人群是开发者,尤其是做视频编辑、监控分析、教育内容检索、会议记录整理和长视频问答的团队。如果你需要从几小时录像里找一个小片段,或者要数清楚视频里某个动作出现了多少次,这个功能能省下大量 token 和费用。
对普通用户来说,可以把它理解成“以后 Google 产品看视频会更聪明、更省钱”的信号,但现阶段要使用它,需要通过 API 和开发者平台。对于小学生和初中生,可以记住:它就像一个会自己找重点的看视频小助手,不用把整本书每一页都慢慢读完,而是先翻目录再细看关键几页。
本文由 AIGCWHY 自动监测系统发现,经结构化处理后发布。重要决策请打开原文核验。