Mistral AI 发布 Voxtral 语音理解模型：开源、多语言、支持函数调用

Voxtral 是什么？

2025年7月15日，Mistral AI 发布了名为 Voxtral 的语音理解模型。它有两个版本：一个大的 24B 版本，适合大规模生产使用；一个小的 3B 版本，适合在本地电脑或小型设备上运行。两个版本都采用 Apache 2.0 开源许可证，这意味着任何人都可以免费下载、使用和修改它们。同时，Mistral AI 也提供了 API 服务，方便开发者直接调用。

Voxtral 能做什么呢？它可以转录长达 30 分钟的音频，或者理解长达 40 分钟的音频内容。它还能回答关于音频的问题、生成摘要、自动识别多种语言，甚至能根据你说话的内容直接触发后台功能。就像给电脑装上了一双“顺风耳”，不仅能听懂你说话，还能帮你做事。

为什么需要 Voxtral？

以前，如果想要在真实场景中使用语音智能，通常只有两个选择：要么用开源但识别准确率不高的系统，要么用闭源但价格昂贵的 API。开源系统虽然免费，但经常听错，而且不太理解语义；闭源 API 虽然准确，但费用高，而且不能自己控制部署。

Voxtral 试图解决这个两难问题。它在开源的基础上，提供了最先进的准确率和语义理解能力，而且价格不到同类 API 的一半。这样，高质量的语音智能就能被更多人用得起、控制得住。

Voxtral 有哪些核心功能？

Voxtral 的核心功能包括：长音频处理，支持 32k token 上下文，可以转录 30 分钟或理解 40 分钟的音频；内置问答和摘要，可以直接对音频内容提问或生成结构化摘要，不需要额外串联其他模型；多语言支持，能自动检测语言，并在英语、西班牙语、法语、葡萄牙语、印地语、德语、荷兰语、意大利语等语言上表现优异；函数调用，可以根据说话意图直接触发后台函数、工作流或 API 调用；文本理解，保留了其语言模型骨干 Mistral Small 3.1 的文本能力。

这些功能让 Voxtral 非常适合实际交互和后续操作，比如生成摘要、回答问题、分析洞察等。对于成本敏感的场景，Voxtral Mini Transcribe 比 OpenAI Whisper 表现更好，价格却不到一半；对于高端场景，Voxtral Small 的性能与 ElevenLabs Scribe 相当，价格同样不到一半。

Voxtral 的性能如何？

在语音转录方面，Voxtral 在英语和多语言基准测试中全面超越了 Whisper large-v3，并在英语短音频和 Mozilla Common Voice 上达到了最先进水平，超过了 ElevenLabs Scribe。在多语言 FLEURS 测试中，Voxtral Small 在每个任务上都优于 Whisper，并在多种欧洲语言上达到最先进水平。

在音频理解方面，Voxtral Small 在语音翻译任务上达到了最先进水平，与 GPT-4o-mini 和 Gemini 2.5 Flash 相比具有竞争力。在文本任务上，Voxtral 保留了其语言模型骨干的能力，可以作为 Ministral 和 Mistral Small 3.1 的替代品。

如何使用 Voxtral？

你可以从 Hugging Face 下载 Voxtral 24B 和 Voxtral Mini 3B 模型，在本地运行。也可以通过 API 调用，价格从每分钟 0.001 美元起。此外，你还可以在 Le Chat 的语音模式中试用 Voxtral，该功能将在未来几周内向所有用户推出。在网页或手机上录制或上传音频，就能获得转录、提问或生成摘要。

对于企业用户，Mistral AI 还提供高级功能，包括私有部署和领域微调。私有部署可以帮助你在自己的基础设施内运行 Voxtral，适合有严格数据隐私要求的行业。领域微调则可以让 Voxtral 适应特定领域的需求。

Voxtral 适合谁？

Voxtral 适合各种规模的开发者和企业。如果你是个体开发者，想在笔记本电脑上做原型，或者想在自己的服务器上运行私有工作负载，Voxtral 的 3B 版本非常适合。如果你需要大规模生产部署，24B 版本和 API 服务可以满足需求。

对于企业来说，如果对数据隐私、安全或领域特定需求有更高要求，可以联系 Mistral AI 获取私有部署和微调服务。Voxtral 的多语言能力和函数调用功能，也让它适合服务全球用户或构建语音交互应用。

Voxtral 的局限与未说明事项

官方原文没有说明 Voxtral 模型的具体训练数据来源、训练成本和能耗信息。API 服务的具体可用区域和速率限制也没有提及。Le Chat 语音模式在所有平台的上线时间尚未明确。企业私有部署的具体定价也未公布。

此外，虽然 Voxtral 在基准测试中表现优异，但实际应用中的表现可能因音频质量、口音、背景噪音等因素而有所不同。用户在实际部署前，建议针对自己的场景进行测试和评估。