用编码智能体实现FPGA推理:逐位一致约束与验证流程调整

作者记录了在AWS F2上运行三值权重模型的过程,报告对话基准结果,并讨论数值约束、迭代方法及未经证实的验证风险。

Share
用编码智能体实现FPGA推理:逐位一致约束与验证流程调整
原文配图 · 图片出处

项目实践 · ankitg.me · 原文日期 2026-11-20

从云端FPGA与三值权重开始

作者选择AWS F2云实例开展实验,使用配有16 GB高带宽内存的FPGA。他当时正在接触DeepGrove的三值权重架构,认为它适合内存受限场景,于是尝试把模型搬到FPGA上,目标是让推理速度达到可用水平。

逐位一致约束排除五项数值捷径

这次实验要求结果逐位一致。按智能体的事后复盘,它拒绝了低精度激活、延后归一化、8位KV缓存、在线softmax和16位概率五项建议,因为这些方法会改变输出比特。外部设计经验因此只能作为候选方案,不能直接套用。

缩短验证循环的可能代价尚未证实

复盘称,智能体停止了长时间仿真和两次构建,改用C测试、综合及逻辑深度检查,每次集成再做一次布局布线。它推测,减少仿真可能让两次卡死延至板上测试才暴露,并造成38小时集成损失,但明确表示无法证明这一因果关系。

八组对话中的速度与输出一致性

作者报告,在AWS上回放同一套8组对话、每组3轮的基准时,最终r9达到每秒213.13个token,24轮输出全部匹配固定CPU参考实现。“精确轮数”统计匹配参考的输出轮数,不能据此推断其他任务也能保持一致。

作者未将实验方案推荐用于生产

对于后续用途,作者仍有保留:他不确定自己是否会继续以这种方式使用这套芯片架构,也明确表示,没有推荐把这个8192 token上下文模型运行在FPGA上作为生产方案。实验跑通与生产选型之间,原文保留了距离。

原始标题:Vibecoding an inference chip
来源:ankitg.me