Databricks 为开源模型推出提示缓存，推理吞吐量提升 2.5 倍

这是什么功能？谁发布的？

2026年5月22日，Databricks 在官方博客宣布，为其平台上的开源模型（如 GPT-OSS、Gemma 3、Llama 3.1/3.3 等）推出自动提示缓存功能。该功能默认开启，用户无需任何配置，就能让大语言模型在推理时跑得更快、更省钱。

打个比方：你每天上学都走同一条路，走熟了闭着眼也能到。提示缓存就是让 AI 记住重复的开头部分（比如系统指令），下次直接跳过，不用每次都从头算一遍。

为什么需要提示缓存？

大语言模型在回答问题时，常常会收到大量重复的提示，比如相同的系统指令或背景信息。如果每次都重新处理这些相同的开头，就会浪费计算资源，导致延迟增加、成本上升。

提示缓存通过复用已经计算过的部分，避免了重复劳动。当相同的提示再次出现时，系统可以直接使用缓存结果，从而降低延迟、提高吞吐量。这就像你做饭时提前切好菜，下次直接下锅，省去了重复切菜的时间。

支持哪些模型和工作场景？

目前，Databricks 的提示缓存支持以下开源模型：GPT-OSS 20B 和 120B、Gemma 3 12B、微调后的 Llama 3.1 8B（通过 PEFT 服务）、Llama 3.1 8B 以及 Llama 3.3 70B。该功能适用于批处理推理、按 token 付费和预置吞吐量等工作负载，也适用于基于基础模型构建的高级服务，如 Agent Bricks、Genie 和 AI Functions。

官方表示，未来会将该功能扩展到更多模型。对于使用这些模型进行实时聊天、批量处理文档或构建 AI 代理的用户来说，提示缓存可以显著提升效率。

实际效果如何？

Databricks 首先在 GPT-OSS 模型上部署了提示缓存，并在一个大规模生产批处理管道中观察到了明显收益：每个副本的输入 token 吞吐量提升了 2.5 倍，P50 延迟降低了 3 倍。值得注意的是，这一提升是在缓存命中率仅为 30% 的情况下实现的。

这意味着，即使只有部分请求命中了缓存，也能带来可观的性能改进。对于缓存命中率更高的场景，效果可能会更明显。

安全性和隐私如何保障？

Databricks 强调安全是首要考虑。提示缓存是隔离的，只存在于易失性内存中，不会被持久化存储。缓存是隐式的，客户无需进行任何配置，系统会自动运行提示缓存和复用。

这就像你使用一个临时记事本，用完就擦掉，不会留下永久记录。因此，用户不必担心敏感提示内容被长期存储或泄露。

适合哪些人使用？

该功能适合所有在 Databricks 平台上使用上述开源模型进行推理的用户，尤其是那些需要处理大量重复提示的场景，例如客服聊天机器人、文档批量分析、AI 代理等。对于希望降低延迟、提高吞吐量并节省成本的团队来说，提示缓存是一个无需额外配置就能获得的性能提升。

不过，目前该功能仅支持列出的模型，其他模型的支持时间官方未说明。此外，缓存命中率取决于提示的重复程度，如果提示变化很大，效果可能有限。

如何开始使用？

用户无需任何操作，提示缓存已自动启用。只需像往常一样部署和使用支持的模型，系统就会自动利用缓存来加速推理。官方建议用户在自己的下一个开源模型部署中尝试，并观察性能指标的变化。

如果想了解更详细的技术细节或最新支持列表，可以查阅 Databricks 的官方文档和博客。