Mistral AI 发布 Ministral 3B 与 8B 边缘模型

一、这次发布的是什么？

2024年10月16日，Mistral AI 发布了两个新的小模型，名字叫 Ministral 3B 和 Ministral 8B。它们专门为手机、机器人等小设备设计，可以不用联网就在本地运行。就像给这些设备装了一个聪明的小脑瓜，能帮它们翻译、回答问题、指挥其他大模型干活。

这两个模型都是开源的，但开放方式有点不同：8B 的 Instruct 版本权重可以用于研究，商业使用需要联系 Mistral AI 获取许可；3B 则提供商业许可。官方未说明具体的开源协议细节。

二、它们能做什么？

Ministral 3B 和 8B 可以用于设备上的翻译、没有网络的智能助手、本地数据分析和自主机器人等场景。它们还能和更大的模型（比如 Mistral Large）配合，在复杂的多步骤任务中充当“调度员”，负责理解用户意图、分配任务和调用接口。

官方说，从独立爱好者到全球制造团队，都可以用这两个模型。它们支持最多 128k 的上下文长度，也就是说一次能记住很长的对话或文档内容。不过目前在使用 vLLM 推理时只支持 32k。

三、它们有多厉害？

Mistral AI 用内部框架重新评估了所有模型，确保比较公平。在多个测试中，Ministral 3B 和 8B 都超过了同级别的其他小模型，比如 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 等。特别是 Ministral 3B，在很多任务上甚至比一年前发布的 Mistral 7B 还要好。

Ministral 8B 还使用了一种特殊的“交错滑动窗口注意力”技术，能让推理速度更快、更省内存。官方未说明这种技术的具体实现细节。

四、怎么用？价格如何？

两个模型从发布当天就可以通过 Mistral AI 的 API 平台使用。Ministral 8B 的价格是每百万 token 0.1 美元（输入和输出一样），Ministral 3B 是每百万 token 0.04 美元。如果想自己部署，需要联系 Mistral AI 获取商业许可，他们还会帮助做无损量化，让模型在你的设备上跑得更好。

官方未说明云合作伙伴的具体名单和上线时间，只说“很快”会提供。另外，8B Instruct 的模型权重可以用于研究，但商业使用需要额外许可。

五、适合哪些人用？

如果你是一个喜欢捣鼓小设备的爱好者，或者你在工厂、医院等需要保护隐私的地方工作，这两个模型很适合你。它们可以在本地运行，数据不用上传到云端，更安全。对于开发者来说，它们可以帮你快速搭建智能助手、翻译工具或机器人控制程序。

但如果你需要处理非常复杂的任务，比如写长篇文章或进行深度推理，可能还是需要更大的模型。Ministral 系列更适合对速度、成本和隐私要求高的场景。

六、有什么限制和不确定的地方？

官方没有说明模型的具体训练数据、训练算力和碳排放信息。也没有说明除了 vLLM 之外，还支持哪些推理框架。云合作伙伴的具体名单和上线时间也未公布。此外，量化工具的具体细节、模型在不同硬件上的表现等，都需要进一步测试。

另外，虽然模型支持 128k 上下文，但在 vLLM 上目前只有 32k，使用时需要注意。商业许可的具体条款和费用也需要联系 Mistral AI 获取。

七、怎么核验这些信息？

你可以访问 Mistral AI 的官方网站，查看这篇博客原文。也可以在他们的 API 平台上试用模型，对比价格和性能。如果想自己部署，可以联系他们的销售团队获取商业许可和量化支持。对于研究用途，可以下载 8B Instruct 的权重进行测试。

注意，官方未说明的信息不要猜测，比如训练数据、碳排放等。如果需要这些信息，可以关注 Mistral AI 后续的更新或直接询问他们。