Replicate 新增 NVIDIA L40S GPU 支持，A40 将逐步退役

这次更新是什么？

2024年11月15日，Replicate 官方博客发布消息，宣布在其平台上新增 NVIDIA L40S GPU 硬件类型。Replicate 是一个云平台，让开发者可以运行和部署 AI 模型，而 GPU 就是运行这些模型的“发动机”。这次更新意味着用户可以选择用更快的 L40S 来跑模型，同时平台计划逐步淘汰旧的 A40 GPU。

打个比方，这就像一家租车公司宣布：我们新进了一批更快的跑车，同时旧款轿车会慢慢退租。你仍然可以租旧车，但过几周后旧车就没了，必须换新车。新车租金贵一点，但跑得快，所以总花费可能差不多甚至更少。

L40S 比 A40 快多少？

根据 Replicate 的基准测试，在目前使用量最高的 A40 模型上，迁移到 L40S 后速度中位数提升约 40%。也就是说，原来需要 10 秒完成的任务，现在大约 6 秒就能完成。这个数据来自 Replicate 的 Observable notebook，里面记录了测试方法和结果。

速度提升对用户来说意味着等待时间更短，尤其是那些需要反复运行模型的任务，比如生成图片或训练小模型。但要注意，速度提升是“中位数”，不同模型可能不一样，有的快得多，有的可能只快一点。

价格会变贵吗？

价格变化分两种情况。如果你用的是私有模型或私有部署，迁移到 L40S 后价格不变，还是按原来的费率收费。因为 L40S 更快，你的账单可能反而下降，最坏也就是持平。这就像你原来租旧车每天 100 元，现在换新车还是 100 元，但新车跑得快，你每天能多跑几趟，平均每趟成本就低了。

如果你用的是公共模型或训练模型，价格会变成每小时 3.51 美元。原来用标准 A40 的话，L40S 每小时贵 70%，但快 40%，所以账单大致持平（1.7 × 0.6 ≈ 1）。原来用大型 A40 的话，L40S 每小时贵 34%，但快 40%，账单反而下降约 20%（1.34 × 0.6 ≈ 0.8）。

迁移时间表是怎样的？

Replicate 给出了明确的迁移计划。2024年12月2日开始迁移所有公共模型，12月4日前完成。2024年12月9日开始迁移所有私有模型和部署，12月11日前完成。之后 A40 GPU 将不再可用。如果你不想等自动迁移，从11月15日起就可以手动把模型和部署切换到 L40S。

这就像学校通知：12月2日先换公共教室的旧电脑，12月9日再换个人电脑，12月11日之后旧电脑全部淘汰。你可以提前自己换，也可以等学校统一换，但最终都得换。

你需要做什么？

如果你有使用 A40 的部署，需要调整最小实例数，避免被多收费。例如，原来部署运行 10 个最小实例在 A40 上，切换到 L40S 后应该改成 6 个，因为 L40S 快约 40%。你可以在网页上编辑部署配置，也可以用 HTTP API 修改。如果不确定怎么配置，可以发邮件到 support@replicate.com 求助。

如果你用的是公共模型或训练，不需要手动操作，平台会自动迁移，但价格会按新标准计算。如果你用的是私有模型或部署，价格不变，但建议检查一下实例数，确保不会因为速度提升而多付钱。

谁适合关注这次更新？

这次更新主要影响在 Replicate 上运行模型和部署的开发者、研究人员和公司。如果你只是偶尔用一下公共模型，可能感觉不到太大变化，但账单可能略有不同。如果你有大量私有部署或训练任务，这次更新可能帮你省钱或提速。

对于刚开始学习 AI 的中小学生，可以这样理解：Replicate 像一个“AI 模型游乐场”，你付钱就能玩各种模型。现在游乐场换了更快的设备，虽然门票可能贵一点，但排队时间短了，玩的项目更多了。你不需要自己买设备，只要按需付费就行。

还有哪些不确定的地方？

官方没有说明 L40S 的具体硬件规格，比如显存多大、核心多少。也没有说迁移过程中会不会导致服务短暂中断。另外，A40 退役后是否还能手动选择其他 GPU 类型，以及 L40S 是否支持所有模型框架，原文都没有提及。价格调整是否影响免费额度或企业合同用户，也没有说明。

如果你依赖 Replicate 跑重要任务，建议提前测试 L40S 上的模型表现，并关注官方文档更新。遇到问题可以联系 support@replicate.com。这次更新是平台硬件升级的一部分，目的是提升性价比，但具体影响因人而异。