这次发布的是什么
2024 年 8 月 2 日，DeepSeek 在官方 API 文档中宣布，DeepSeek API 正式上线“磁盘上下文缓存”功能。它由 DeepSeek 自己开发，属于闭源 API 服务的新能力，不是单独的新模型，也不是开源项目。这个功能会自动运行，用户不需要改代码或换接口，只要请求里有重复内容，就可能被缓存命中并享受更低价格。
简单说，它像给 API 加了一个“常用内容小抽屉”：以前每次都要重新算一遍的内容，现在可以提前放进去，下次直接拿出来用。
它解决什么问题
在大语言模型 API 使用中，很多输入是重复的。比如多轮对话里，上一轮内容经常被重新发一遍；又比如数据分析时，同一份文件或同一段提示词会被反复使用。原文说，DeepSeek 把这些预计会重复使用的内容缓存在分布式磁盘阵列上，检测到重复输入时，重复部分直接从缓存读取，不再重新计算。
这样做有两个好处：一是减少服务延迟，二是显著降低使用成本。对经常用长提示词、长文档、长代码仓库的用户来说，省下的时间和费用都很明显。
价格怎么变
原文明确写到，缓存命中的部分按每百万 tokens 收费 0.014 美元，API 成本最高可降低 90%。没有命中缓存的部分按每百万 tokens 0.14 美元计费。缓存存储本身不额外收费，除了缓存命中的 0.014 美元之外没有其他附加费用。
官方还提到，即使不做任何优化，历史数据显示用户平均也能节省超过 50%。这说明缓存不是只对少数极端场景有用，而是对普通重复输入也有帮助。
怎么使用和怎么算命中
磁盘缓存服务现在对所有用户开放，不需要改代码或接口，服务自动运行，按实际缓存命中计费。但要注意，只有从第 0 个 token 开始完全相同的“前缀”才会被当作重复；如果只是输入中间某一段相同，不会触发缓存命中。
原文给了两个经典场景：一是多轮对话，下一轮可以命中上一轮生成的上下文缓存；二是数据分析，后续请求如果前缀相同，也能命中缓存。适合的场景包括长预设提示词的问答助手、角色设定很长的角色扮演、对同一批文件反复查询的数据分析、反复引用同一代码仓库的代码分析与调试，以及通过 Few-shot 学习提升模型输出表现。
怎么查看缓存效果
API 响应的 usage 部分新增了两个字段，帮助用户监控缓存表现：prompt_cache_hit_tokens 表示输入中由缓存提供的 token 数量，按每百万 tokens 0.014 美元计费；prompt_cache_miss_tokens 表示输入中未由缓存提供的 token 数量，按每百万 tokens 0.14 美元计费。
用户可以通过这两个数字判断自己的请求有多少被缓存接住，从而调整提示词结构，让更多重复内容落在相同前缀里。
延迟和成本能改善多少
原文给出一个具体例子：对于 128K 长提示词且重复引用较多的情况，首 token 延迟从 13 秒降到约 500 毫秒。这个变化对需要快速响应的应用很关键，比如客服助手、代码补全和实时问答。
成本方面，用户通过针对缓存特点做优化，最高可节省 90%；即使不优化，历史数据也显示平均节省超过 50%。缓存系统以 64 个 token 为存储单位，少于 64 个 token 的内容不会被缓存，也不保证 100% 命中。
安全和隐私怎么处理
原文强调，缓存系统采用安全策略：每个用户的缓存相互隔离，对其他用户逻辑上不可见，保证数据隐私和安全。未使用的缓存条目会在一定时间后自动清除，不会被保留或另作他用。
不过原文没有说明缓存条目的具体保留时长上限，只说通常几小时到几天；也没有说明缓存容量上限和不同地区或账户类型是否有差异。这些信息需要以官方后续说明为准。
为什么 DeepSeek 能做磁盘缓存
原文称，根据公开信息，DeepSeek 似乎是全球首个在 API 服务中实现大规模磁盘缓存的大语言模型提供商。这得益于 DeepSeek V2 中的 MLA 架构，它在提升模型表现的同时显著减小上下文 KV 缓存的大小，使缓存可以高效存储在低成本磁盘上。
DeepSeek API 设计为每天可处理最多 1 万亿 tokens，不限制并发或速率，用户可以提高并行度。缓存系统不保证 100% 命中，未使用的缓存条目会自动清除，通常几小时到几天内完成。
适合谁用
这项功能适合所有使用 DeepSeek API 的开发者，尤其是需要反复发送长提示词、长文档、长代码仓库或多轮对话的应用。对预算敏感、希望降低 token 成本的团队，缓存命中价格大幅下降会直接减少账单。
对小学生和初中生来说，可以把它理解成：你每次做同一类题都要翻同一本参考书，现在这本书被放在手边，翻起来更快，也不用每次重新买一本。官方未说明缓存条目的具体保留时长上限，使用前最好关注官方文档更新。
本文由 AIGCWHY 自动监测系统发现，经结构化处理后发布。重要决策请打开原文核验。