一、Clef-omni 是什么?谁发布的?

2026年10月9日,Cloudflare 发布了 Clef-omni,这是其开权重决策模型家族的新成员。它由 Cloudflare 开发,能同时处理文本、图像、音频和视频输入,并以开放权重方式在 Hugging Face 发布。你可以把它想象成一位能同时看懂文字、图片、听声音、看视频的“全能裁判”,帮你从多种信息中快速做出选择。

与之前只能处理文本的决策模型不同,Clef-omni 把多种信息形式整合到一个模型里,不需要再分别调用多个模型来转写语音或拆分视频。官方未说明该模型的具体参数量细节和训练数据来源。

二、它怎么做到“多模态”?

Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 混合专家架构,保留了核心理解部分,去掉了文本转语音输出组件。它采用两阶段注意力路由,让每个候选选项从输入中收集关键证据,再计算置信度分数。这就像一位裁判同时看文字记录、听录音、看视频画面,然后综合判断。

因为 Clef 模型不是大型语言模型,它跳过输出 token 生成,直接对输入进行评分,所以速度很快。文本决策中位数约 130 毫秒,图像约 150 毫秒,音频几百毫秒,21 秒带声音的视频约 1.5 秒。

三、Clef-flash 为什么变便宜了?

Cloudflare 对 Clef-flash 进行了优化,价格从每百万输入 token 0.09 美元降至 0.038 美元,比 Jev 更便宜。但代价是托管版本的上下文窗口从 64k 缩减到 24k。官方数据显示,只有 0.24% 的请求超过 24k 输入 token,因此他们决定降低窗口以提供更低的入门价格。

如果你需要更大的上下文,可以改用 Clef 模型,它保持 64k 上下文窗口。Hugging Face 上的模型权重未受影响,仍支持 256k 上下文窗口,适合自托管。

四、Clef 模型为什么变快了?

Cloudflare 对托管在 Workers AI 上的 Clef 模型进行了服务层优化,没有发布新的模型权重。他们迁移到 SGLang 进行服务,并与 SGLang 团队合作提交了 PR,将在 SGLang 0.5.22 中发布。优化后,约 800 token 输入的中位延迟从 262 毫秒降至 152 毫秒,约 3400 token 从 616 毫秒降至 305 毫秒,约 16000 token 从 2721 毫秒降至 1635 毫秒。

这些优化主要发生在服务基础设施层,不影响模型权重或架构。你也可以自托管 Clef,新的 SGLang 启动命令已更新在 Hugging Face 仓库和 SGLang 烹饪书中。

五、性能表现如何?

官方基准测试显示,Clef-omni 在多个任务上表现良好。例如 BFCL 案例精确度 98.2%,API-Bank 准确率 92.7%,BANKING77 宏 F1 94.8%,CLINC150+OOS 宏 F1 97.7%。在 TypeSafe 评估中,发票处理精确动作 60.2%,主要动作 82.0%;客户服务精确动作 71.6%;安全事件精确动作 61.7%。

不过,在某些任务上 Clef-omni 不如 Clef 或 Clef-flash,比如家电案例精确度 69.3%,低于 Clef 的 82.9% 和 Clef-flash 的 97.7%。这说明多模态能力并非在所有场景都占优,选择时需根据具体任务权衡。

六、价格与适用人群

Clef-omni 定价为每百万输入 token 0.15 美元,Clef 保持 0.24 美元,Clef-flash 降至 0.038 美元。Clef-omni 适合需要同时处理文本、图像、音频和视频的复杂决策场景,比如检查设备安装、审核多媒体内容。Clef-flash 适合预算有限、上下文需求不大的简单分类任务。Clef 适合需要更大上下文窗口的通用决策。

所有模型都可通过 Cloudflare Workers AI 调用,Clef-omni 和 Clef 的权重已在 Hugging Face 开放,可自托管。官方未说明是否提供微调支持或具体的企业级服务等级。

七、限制与注意事项

Clef-flash 托管版本上下文窗口缩减至 24k,可能影响长文档处理。Clef-omni 虽然支持多模态,但在某些基准上不如纯文本模型,且官方未公布所有模态的详细性能数据。此外,模型基于 Qwen3 架构,可能继承其固有偏差。

使用前建议查看官方开发者文档获取最新定价和输入 token 转换细节。自托管时需注意硬件要求,官方未说明最低配置。对于需要高准确率的任务,建议先进行小规模测试。

官方来源

本文由 AIGCWHY 自动监测系统发现,经结构化处理后发布。重要决策请打开原文核验。

查看原始发布信息 ↗