Cerebras 上线分离式推理:GPU 处理提示,CS-3 生成响应
Cerebras 表示,GPU 与 CS-3 分工的推理方案已投入生产;基础设施伙伴可选择完整软件栈,或通过仅解码 SDK 接入自有框架。
资讯整理 · www.cerebras.ai · 原文日期 2026-11-18
生产部署按推理阶段分工
Cerebras 表示,其推理云已部署分离式推理:AMD Instinct GPU 负责处理输入提示,Cerebras CS-3 系统负责生成响应。把提示处理迁移至 GPU 后,Cerebras 系统的服务容量便可集中用于输出生成。这是公司披露的生产部署方式。
解码阶段为何强调内存带宽
文中解释,解码按自回归方式逐个生成 token,每次都将已生成内容作为下一步输入,并再次从内存读取模型数据,因此内存带宽会影响生成速度。Cerebras 据此强调以 SRAM 为中心的芯片设计:将数据保留在芯片上,以缩短读取时间。这是公司对硬件分工的技术解释。
参考架构与完整软件栈
伙伴可从 Cerebras 提供的参考架构起步,将自选提示处理加速器与 Cerebras 系统部署在统一网络中。完整软件栈负责请求路由、副本容量和健康状态管理;提示处理引擎可使用 vLLM 或 SGLang,KV Portal 则通过 RDMA 在两个阶段之间传输键值缓存等中间模型状态。
仅解码 SDK 保留自有框架
另一条可选接入路径是仅解码 SDK,允许伙伴使用自己的推理框架和提示处理引擎,连接 Cerebras 解码引擎及 KV Portal。配套开发辅助包括模拟 Cerebras 解码副本,以及连接开源分离式推理框架和提示处理引擎的参考集成。公司将其定位于希望保留更多控制权的伙伴。
原始标题:Cerebras launches disaggregated inference
来源:www.cerebras.ai