BotPsy:八亿参数端侧助手的四阶段训练方法
作者介绍了从工具调用示范、多教师蒸馏到两轮强化学习的训练流程,并明确其研究与教育定位,以及任务难度、语言和敏感用途边界。
项目实践 · huggingface.co · 原文日期 2026-11-11
八亿参数模型的任务定位
Tether AI Research 介绍的 BotPsy 是一款八亿参数模型,基于 Qwen3.5-0.8B,面向函数调用与智能体工作流,适合端侧部署。作者将其定位为处理低至中等难度任务的个人助手,列举的场景包括文件处理、日历、邮件及设备控制。
从工具调用示范开始训练
训练依次经过监督微调、多教师在策略蒸馏和两轮强化学习,每阶段从上一阶段的最佳检查点开始。监督微调采用全参数训练,数据包含模拟环境中的多轮轨迹、单次与并行调用、多步调用,以及不应调用工具的情形。
三名教师提供逐词元反馈
蒸馏阶段由学生生成自己的回答,再由专长教师提供逐词元反馈,以反向 KL 散度作为训练信号。作者先用强化学习训练三个四十亿参数教师,分别专攻工具使用、通用推理和指令遵循,每条提示交给其中一个。此阶段主要用于恢复监督微调期间退化的知识与指令遵循能力。
按工具名与参数给予部分奖励
两轮强化学习采用 DAPO,奖励仅来自规则与验证器。首轮偏重工具调用,先检查推理和调用格式,再按工具名、参数名及参数值与标准答案的匹配程度给予部分奖励。第二轮扩展到数学、代码、知识、结构化输出及模拟工作环境中的多步工具任务,训练混合中不含多轮对话。
研究教育定位与敏感用途边界
作者说明,BotPsy 的开发旨在支持研究和教育用途。模型主要以英语训练和测试,因此推荐使用英语;额外语言评估中,印地语和俄语表现较弱。模型仍会犯错,不用于安全关键或高风险自动决策,也不面向涉及金钱、个人信息、健康等敏感主题的应用。
原始标题:BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model
来源:huggingface.co