Mistral AI 发布数学模型 MathΣtral：7B 参数，数学推理同尺寸最优

MathΣtral 是什么？

2024年7月16日，Mistral AI 在官方博客上发布了 MathΣtral。这是一个专门用来解决数学问题的 AI 模型，它基于 Mistral 7B 开发，拥有 70 亿个参数。Mistral AI 把它贡献给科学社区，希望帮助解决需要复杂多步逻辑推理的数学难题。

MathΣtral 是一个开放权重的模型，也就是说，任何人都可以下载它的“大脑”文件，自己运行或继续训练。你可以把它想象成一个专门训练来解数学题的小学霸，虽然个子不大，但数学特别厉害。

它为什么叫 MathΣtral？

MathΣtral 的名字由“Math”（数学）和“Mistral”（Mistral AI 的模型系列名）组合而成，中间的“Σ”是希腊字母 Sigma，在数学中常表示求和。这个名字直接点明了它的专长：数学。

Mistral AI 在博客中说，MathΣtral 站在 Mistral 7B 的肩膀上，就像牛顿站在巨人的肩膀上一样。它继承了 Mistral 7B 的基础能力，然后专门针对 STEM 学科（科学、技术、工程、数学）进行了强化训练。

它的数学能力有多强？

在行业标准的 MATH 基准测试中，MathΣtral 取得了 56.6% 的成绩；在 MMLU 基准测试中，取得了 63.47% 的成绩。Mistral AI 表示，在同等大小的模型中，MathΣtral 达到了最先进的推理能力。

更厉害的是，如果给它更多的计算时间，它还能做得更好。比如，用多数投票的方法，MATH 成绩可以提升到 68.37%；如果用 64 个候选答案加上一个强大的奖励模型来挑选，成绩能达到 74.59%。这就像考试时多检查几遍，或者请一个老师帮你从多个答案中选出最好的。

怎么使用 MathΣtral？

MathΣtral 是一个指令模型，也就是说，你可以直接向它提问，它就会给出答案。你也可以用自己的数据对它进行微调，让它更适应你的特定需求。Mistral AI 提供了文档，指导用户如何使用和微调。

模型的权重文件托管在 HuggingFace 上，你可以用 mistral-inference 工具来运行它，也可以用 mistral-finetune 工具来微调它。这些工具都是 Mistral AI 官方提供的，方便开发者快速上手。

它和 Mistral 7B 有什么不同？

MathΣtral 是基于 Mistral 7B 开发的，但专门针对数学和 STEM 学科进行了优化。在 MMLU 测试中，MathΣtral 在不同学科上的表现与 Mistral 7B 有所差异，具体差异可以在官方博客的图表中看到。

简单来说，Mistral 7B 是一个“全科生”，什么都会一点；而 MathΣtral 是一个“数学特长生”，在数学相关科目上更突出。Mistral AI 认为，这种针对特定目的构建模型的做法，能在性能和速度之间取得很好的平衡。

它适合哪些人使用？

MathΣtral 适合数学爱好者、学生、研究人员和开发者。如果你需要解决复杂的数学问题，或者想研究 AI 在数学推理方面的能力，MathΣtral 是一个很好的工具。它也可以被集成到教育软件中，帮助学生一步步理解解题过程。

不过，它并不是万能的。它主要擅长数学和 STEM 学科，在其他领域可能不如通用模型。另外，它需要一定的技术知识才能部署和运行，普通用户可能需要借助开发者提供的接口或应用来使用。

有哪些限制和未知信息？

官方没有说明 MathΣtral 的训练数据具体来自哪里，也没有说明它的许可证类型。这意味着如果你打算商用，需要自己确认许可条款。官方也没有说明它是否提供 API 服务，以及它的最大上下文长度和多语言支持情况。

此外，虽然 MathΣtral 在数学基准上表现很好，但基准测试成绩并不代表它能解决所有数学问题。在实际使用中，它的表现可能因问题类型和难度而异。建议在使用前先进行小规模测试，评估它是否适合你的具体需求。