> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# Cerebras 上线分离式推理：GPU 处理提示，CS-3 生成响应
- URL: https://binnn.top/cerebras-disaggregated-inference/
- Published: 2026-11-18T12:19:45.000Z
- Updated: 2026-11-20T11:09:27.000Z
- Description: Cerebras 表示，GPU 与 CS-3 分工的推理方案已投入生产；基础设施伙伴可选择完整软件栈，或通过仅解码 SDK 接入自有框架。
- Author: Sunbin 编辑部
- Tags: AI 新闻, 模型与产品, #sunbin-auto, #sunbin-newsroom

资讯整理 · www.cerebras.ai · 原文日期 2026-11-18

## 生产部署按推理阶段分工

Cerebras 表示，其推理云已部署分离式推理：AMD Instinct GPU 负责处理输入提示，Cerebras CS-3 系统负责生成响应。把提示处理迁移至 GPU 后，Cerebras 系统的服务容量便可集中用于输出生成。这是公司披露的生产部署方式。

## 解码阶段为何强调内存带宽

文中解释，解码按自回归方式逐个生成 token，每次都将已生成内容作为下一步输入，并再次从内存读取模型数据，因此内存带宽会影响生成速度。Cerebras 据此强调以 SRAM 为中心的芯片设计：将数据保留在芯片上，以缩短读取时间。这是公司对硬件分工的技术解释。

## 参考架构与完整软件栈

伙伴可从 Cerebras 提供的参考架构起步，将自选提示处理加速器与 Cerebras 系统部署在统一网络中。完整软件栈负责请求路由、副本容量和健康状态管理；提示处理引擎可使用 vLLM 或 SGLang，KV Portal 则通过 RDMA 在两个阶段之间传输键值缓存等中间模型状态。

## 仅解码 SDK 保留自有框架

另一条可选接入路径是仅解码 SDK，允许伙伴使用自己的推理框架和提示处理引擎，连接 Cerebras 解码引擎及 KV Portal。配套开发辅助包括模拟 Cerebras 解码副本，以及连接开源分离式推理框架和提示处理引擎的参考集成。公司将其定位于希望保留更多控制权的伙伴。

原始标题：Cerebras launches disaggregated inference  
[来源：www.cerebras.ai](https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference?ref=binnn.top)