AI Runtime 推出快速容错的 PyTorch 训练功能

这是什么？

2026年8月28日，Databricks 发布了 AI Runtime 的新功能，让 PyTorch 训练更快、更不容易中断。AI Runtime 是 Databricks 开发的一个平台，用来运行机器学习的训练任务。这次更新是开源的，也就是说任何人都可以查看和使用它的代码。

它主要解决两个大问题：一是当训练用的 GPU（图形处理器）出故障时，如何快速恢复；二是如何让 GPU 一直忙碌，不浪费时间等待数据。就像给一个工厂装上了自动修复机器和快速传送带，即使机器坏了也能迅速修好，材料供应也从不间断。

为什么 GPU 故障是常态？

在大型训练任务中，GPU 数量很多，故障是常见的事情。文章提到，一个 256 个 GPU 的任务运行 30 天，有大约 19% 的概率会遇到故障；如果是 1024 个 GPU，概率会升到 57%。这就像很多灯泡串联在一起，一个坏了，整个电路就断了。

所以，训练代码必须设计成能应对故障，否则一旦出错，就要从头再来，浪费大量时间和金钱。

检查点：保存训练进度

检查点就像游戏中的存档。如果游戏中途死机，你可以从存档点重新开始，而不是从头玩。在训练中，检查点会保存模型的当前状态，这样如果 GPU 故障，就能从最近一次保存的地方继续。

传统的保存方法（torch.save）很慢，因为它把所有数据集中到一个地方保存，期间 GPU 只能等待。而新的分布式检查点（DCP）让每个 GPU 自己保存自己的部分，速度更快，而且可以异步保存，不打断训练。

异步保存：让保存几乎免费

异步保存就像一边写作业一边保存文档，不用停下来等保存完成。AI Runtime 的异步保存功能，让保存检查点的时间从几十秒降到几乎为零。文章中的例子显示，对于 20B 参数的模型，异步保存比传统方法快 58 倍。

这样，你就可以更频繁地保存检查点，比如每 30 分钟一次，而不是每 2 小时一次。频繁保存意味着故障后丢失的工作更少，恢复更快。

数据加载：让 GPU 不挨饿

训练时，GPU 需要数据来学习。如果数据供应不上，GPU 就会空闲，就像工厂的机器没有原料一样。传统方法直接从远程存储读取数据，速度慢，而且每次都要重新下载。

AI Runtime 的 UCVolumeDataset 会把数据先缓存到本地快速存储，并提前预取接下来的数据，这样 GPU 就能一直有数据可用，不会挨饿。文章提到，使用这种方法，训练时间可以减少 20% 到 50%。

实际效果和适用人群

这些功能特别适合需要大规模训练模型的团队，比如训练大型语言模型或图像识别模型。通过提高 GPU 利用率和减少故障恢复时间，可以显著降低训练成本和时间。

不过，官方未说明这些功能的具体版本号、是否对所有用户开放，以及详细的定价信息。如果你是小学生，可以想象成：以前训练一个机器人需要很长时间，而且经常出错要重来；现在有了这些新工具，机器人学得更快，出错也能迅速恢复，就像有了超级加速器和自动修复装置。