Cerebras 与 AWS 合作推出分离式推理架构：GPU 被一分为二

这篇文章到底在讲什么

2026年3月26日，Cerebras 在其官方博客发布了一篇题为《The GPU Is Being Split in Half》的文章，介绍了一种叫“分离式推理”的新架构。简单说，就是以前一块 GPU 要同时干两件完全不同的事，现在把这两件事拆开，交给两种不同的硬件分别去做。

文章的核心事件是：2026年3月13日，AWS 和 Cerebras 宣布建立分离式推理合作伙伴关系。在这个合作中，AWS 的 Trainium 芯片负责推理的第一阶段（prefill），Cerebras 的 CS-3 系统负责第二阶段（decode），两者通过 Amazon 的 EFA 网络连接，并可以通过 Amazon Bedrock 使用。官方未说明具体的商业条款和全面上线时间。

为什么要把 GPU 一分为二

当你向一个大语言模型发送问题时，模型并不是简单地“想一下”就给出答案。它实际上要连续完成两个完全不同的操作。第一个阶段叫 prefill，模型把你的整段输入同时处理，建立所谓的 KV 缓存，也就是它的“工作记忆”。这个阶段计算量很大，GPU 的核心会被矩阵乘法占满。

第二个阶段叫 decode，模型一个词一个词地生成回答。因为每个新词都依赖前一个词，这个过程没法并行处理。这个阶段的瓶颈不是计算能力，而是内存带宽——也就是从内存里读取数据的速度。就像做菜时，备菜需要很多人同时切，但出餐只能一道一道来，两个环节对厨房的要求完全不同。

分离式推理到底怎么运作

分离式推理的做法很直接：不再让同一块芯片同时干这两件事，而是把 prefill 和 decode 拆到不同的机器上。一组机器专门负责 prefill 的大量并行计算，另一组专门负责 decode 的快速顺序内存读取。即使两组用同一种硬件，光是分开就能减少两个阶段之间的互相干扰，降低延迟。

更进一步的做法叫“异构分离”，就是给每个阶段配上最适合它的硬件。计算密集的 prefill 用计算优化的系统，内存带宽密集的 decode 用内存带宽优化的系统。文章用餐厅厨房打比方：以前一个厨师又备菜又出餐，来了大订单备菜时所有正在做的菜都得等着；现在分成备菜组和出餐组，两组并行工作，备好的食材（KV 缓存）从一组传到下一组，出餐再也不会被备菜打断。

Cerebras 的硬件有什么特别之处

在这个合作中，Cerebras 的 CS-3 系统负责 decode 阶段。CS-3 里面装着 WSE-3 芯片，文章称它是世界上最大的芯片：4 万亿个晶体管、90 万个 AI 优化核心集成在单个处理器上。和 GPU 不同，WSE-3 把 SRAM 直接放在芯片上，而不是像 GPU 那样依赖芯片外的 HBM 内存。

具体数据方面，WSE-3 有 44GB 的片上 SRAM，内存带宽达到每秒 21 PB（拍字节）。文章称这大约是 NVIDIA B200 有效内存带宽的 1000 到 2000 倍，因为 B200 仍然依赖芯片外的 HBM。整个芯片是一整块大晶圆，消除了其他架构中常见的封装和互连瓶颈。这些数字来自 Cerebras 官方文章，属于厂商自述数据。

对开发者来说意味着什么

文章给出了几个对开发者直接相关的数字。一个 10 步的智能体链，如果每秒生成 50 个词，需要 30 多秒才能完成；而在每秒 1200 个词的速度下，同样的链不到 3 秒就能跑完。文章还预计，分离式 Trainium-Cerebras 方案相比不分离的方案，词元吞吐量能提升 5 倍。

延迟的“长尾”问题也会得到改善。文章举例说，如果你的中位延迟是 500 毫秒，但 P95 延迟是 3 秒，那说明 prefill 阶段在“堵车”。分离之后，prefill 不再打断 decode，研究显示智能体工作负载的 P95 延迟最多能改善 4.5 倍。对开发者来说，这意味着产品响应更快、能服务更多用户、能跑更复杂的智能体流程。

行业格局正在发生什么变化

文章指出，这不是 Cerebras 一家在做的事。AWS 和 Cerebras、NVIDIA 收购 Groq、Oracle、Azure，各大云厂商都在往这个方向走。主流的 LLM 服务框架如 Dynamo、SGLang、vLLM、llm-d 都已经支持分离式推理。文章还提到 NVIDIA 在 GTC 2026 上，黄仁勋的发言实际上验证了通用 GPU 在大规模推理场景下不够用的观点。

文章认为，这种异构分离架构正在改变竞争格局。以前是一个厂商控制整个技术栈，现在不同芯片可以在推理的不同阶段各自竞争。这开始削弱 NVIDIA 端到端的统治地位，也给更专业的硬件打开了在各自最强领域胜出的机会。对开发者来说，更多竞争者意味着更快的迭代和更高的性能。

哪些人应该关注这件事

如果你是在大语言模型之上构建产品的开发者，这篇文章值得关注。它直接影响你的产品响应速度、运行成本和能实现的功能范围。文章的核心判断是：未来 18 个月内，词元生成速度会显著提升，开发者应该为这个趋势做准备。两年前大家关心的是训练和谁有最多的 H100，但模型训练一次、被查询数十亿次，经济账已经翻转了。

不过需要注意，文章中的性能对比数据来自第三方基准测试或内部测试，实际推理速度提升会因工作负载、配置、日期和测试模型不同而变化。对于普通用户来说，这件事的直接影响是：你使用的 AI 产品可能会变得更快、更便宜、能处理更复杂的任务。但具体什么时候能体验到、哪些产品会先受益，官方未说明。