> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# BotPsy：八亿参数端侧助手的四阶段训练方法
- URL: https://binnn.top/botpsy-on-device-agent-training/
- Published: 2026-11-15T00:56:55.000Z
- Updated: 2026-11-16T07:27:01.000Z
- Description: 作者介绍了从工具调用示范、多教师蒸馏到两轮强化学习的训练流程，并明确其研究与教育定位，以及任务难度、语言和敏感用途边界。
- Author: Sunbin 编辑部
- Tags: AI 技术实践, 训练与微调, #sunbin-auto, #sunbin-newsroom

项目实践 · huggingface.co · 原文日期 2026-11-11

## 八亿参数模型的任务定位

Tether AI Research 介绍的 BotPsy 是一款八亿参数模型，基于 Qwen3.5-0.8B，面向函数调用与智能体工作流，适合端侧部署。作者将其定位为处理低至中等难度任务的个人助手，列举的场景包括文件处理、日历、邮件及设备控制。

## 从工具调用示范开始训练

训练依次经过监督微调、多教师在策略蒸馏和两轮强化学习，每阶段从上一阶段的最佳检查点开始。监督微调采用全参数训练，数据包含模拟环境中的多轮轨迹、单次与并行调用、多步调用，以及不应调用工具的情形。

## 三名教师提供逐词元反馈

蒸馏阶段由学生生成自己的回答，再由专长教师提供逐词元反馈，以反向 KL 散度作为训练信号。作者先用强化学习训练三个四十亿参数教师，分别专攻工具使用、通用推理和指令遵循，每条提示交给其中一个。此阶段主要用于恢复监督微调期间退化的知识与指令遵循能力。

## 按工具名与参数给予部分奖励

两轮强化学习采用 DAPO，奖励仅来自规则与验证器。首轮偏重工具调用，先检查推理和调用格式，再按工具名、参数名及参数值与标准答案的匹配程度给予部分奖励。第二轮扩展到数学、代码、知识、结构化输出及模拟工作环境中的多步工具任务，训练混合中不含多轮对话。

## 研究教育定位与敏感用途边界

作者说明，BotPsy 的开发旨在支持研究和教育用途。模型主要以英语训练和测试，因此推荐使用英语；额外语言评估中，印地语和俄语表现较弱。模型仍会犯错，不用于安全关键或高风险自动决策，也不面向涉及金钱、个人信息、健康等敏感主题的应用。

原始标题：BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model  
[来源：huggingface.co](https://huggingface.co/blog/qvac/botpsy?ref=binnn.top)