这次发布到底是什么

2025 年 11 月 19 日,Apple 在官方机器学习研究博客上发布了一篇文章,介绍它的开源数组框架 MLX 如何利用新款 M5 芯片里的 GPU 神经加速器来更快地运行大语言模型。MLX 是 Apple 开发的工具,官方未说明具体开源许可证,但明确说它是开源框架,可以在所有 Apple silicon 设备上使用。

这次更新不是发布一个新模型,而是让已有的 MLX 工具在新硬件 M5 上跑得更快。文章给出了多个模型的测试数据,说明 M5 相比上一代 M4 在生成第一个字的速度上有明显提升。对普通用户来说,这意味着以后在 Mac 上让 AI 回答问题,等待时间会更短。

MLX 是什么,为什么重要

MLX 是一个专门为 Apple silicon 优化的数组框架,可以理解成一套给 Mac 用的数学计算工具箱。它支持神经网络训练和推理,包括文字生成和图片生成。因为 Apple silicon 有统一内存架构,MLX 的运算可以在 CPU 和 GPU 之间切换而不需要搬来搬去数据,就像书桌和书架连在一起,拿书不用走来走去。

MLX 的接口很像 NumPy,熟悉 Python 的人很容易上手。安装只需要一行命令 pip install mlx。它还提供 MLX LM 这个包,可以运行 Hugging Face 上大多数大语言模型,并且支持量化压缩,把模型变小以便在内存有限的 Mac 上运行。

M5 的神经加速器做了什么

M5 芯片里新增了 GPU 神经加速器,专门做矩阵乘法运算,这是很多机器学习任务里最费力的计算。MLX 通过 Metal 4 引入的 Tensor Operations 和 Metal Performance Primitives 来调用这些加速器。要享受这个加速,需要 macOS 26.2 或更高版本。

文章用了一个生活化比喻:生成第一个字就像做一道大题,需要大量计算,神经加速器就是专门解大题的快笔;而生成后面的字更像抄写,受限于内存带宽,也就是抄写速度。M5 的内存带宽从 M4 的 120GB/s 提升到 153GB/s,高了 28%,所以后续生成也快了 19% 到 27%。

实测数据说明了什么

Apple 在 24GB 统一内存的 MacBook Pro M5 和 M4 上测试了多个模型,包括 Qwen 1.7B、8B、14B、30B MoE 以及 GPT OSS 20B。测试用 mlx_lm.generate 进行,提示词长度 4096,生成 128 个新 token。结果显示,M5 在生成第一个字的时间上最高比 M4 快约 4 倍,生成 1024×1024 图片时快 3.8 倍以上。

具体来说,14B 密集模型在 M5 上生成第一个字不到 10 秒,30B MoE 不到 3 秒。24GB 内存可以轻松装下 BF16 精度的 8B 模型或 4-bit 量化的 30B MoE,推理占用都在 18GB 以下。这些数据说明 M5 让本地跑大模型变得更实用。

对开发者和普通用户意味着什么

对开发者来说,MLX 让他们可以在自己的 Mac 上私密地实验新模型和微调技术,不需要把数据传到云端。MLX 支持 Python、Swift、C 和 C++,方便不同背景的人使用。MLX LM 可以一行命令启动聊天,也可以几秒钟把 7B 模型量化成 4-bit。

对普通用户来说,虽然不会直接安装 MLX,但未来基于 Apple silicon 的 AI 应用如果用了 MLX,就会受益于更快的响应速度。比如在 Mac 上让 AI 写文章、翻译或生成图片,等待时间会缩短。不过目前这些加速需要 M5 芯片和 macOS 26.2 以上系统,旧设备无法享受。

限制和需要注意的地方

首先,M5 的神经加速器只在新款 14 英寸 MacBook Pro 上首次搭载,其他设备需要等后续机型。其次,要发挥加速效果必须升级到 macOS 26.2 或更高版本,这个版本在文章发布时还是 beta 状态。第三,生成后续 token 的速度主要受内存带宽限制,M5 的提升幅度在 19% 到 27% 之间,并不是所有环节都快 4 倍。

另外,文章没有说明 MLX 的具体开源许可证,也没有说明 M5 神经加速器的核心数量或频率。基准测试的环境细节如散热和电源模式也没有给出。这些信息需要等待 Apple 后续补充或开发者自行验证。

怎么核验这些信息

想核验的话,可以访问 Apple 机器学习研究官网的这篇文章,查看原始图表和数据表。也可以安装 MLX 和 MLX LM,在自己的 Apple silicon 设备上运行 mlx_lm.generate 做对比测试。MLX 在 GitHub 和 Hugging Face 上都有社区,可以查看其他开发者的实测反馈。

需要注意的是,文章里的性能数据是在特定配置下测得的,实际体验会因模型、提示词长度、系统版本和散热条件而不同。如果你用的是 M4 或更早的芯片,就不会有神经加速器带来的额外提升,但 MLX 本身仍然可以在所有 Apple silicon 上运行。

官方来源

本文由 AIGCWHY 自动监测系统发现,经结构化处理后发布。重要决策请打开原文核验。

查看原始发布信息 ↗