K2-Horizon:开放六款模型的训练数据与阶段检查点
报告披露六款语言模型的训练材料,介绍共享预训练语料、提前引入智能体轨迹、领域专家合并,以及针对3.7B和7B模型重复循环的处理步骤。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-16
六款模型披露全流程材料
报告称,六款 K2-Horizon 模型均开放最终权重、各训练阶段的中间检查点、量化版本、训练日志,以及训练数据和全流程代码。披露范围覆盖训练与评估过程,为研究者追查模型在不同阶段的变化提供材料。
四款模型共享预训练语料
其中,3.7B、7B、32B 和 36B-A4B 四款模型使用相同的二十二万亿词元语料与预训练配方,包含两组按完全相同数据批次训练的模型。作者将这一安排用于支持不同规模模型及稠密、稀疏架构之间的受控比较。
上下文扩展时加入智能体轨迹
在中期训练中,数据逐步转向长文档、推理、编程和指令遵循,并加入采用团队聊天模板的智能体轨迹。作者从上下文扩展开始时便引入这类数据,使智能体交互成为中期训练的一部分,后续再通过后训练加强特定领域能力。
375B旗舰先训练专家再合并
对375B旗舰模型,团队从最终中期训练检查点出发,分别训练搜索、知识工作、工具使用、科学推理,以及带弃答能力的指令遵循专家,再通过权重合并形成单一模型。合并后继续评估,针对不熟悉的智能体运行框架格式等缺口,用示范数据做监督微调。
3.7B与7B从循环输出中提取偏好对
报告在3.7B和7B的训练流程中指出,大量长程任务训练容易使小模型出现重复循环。针对这两款模型,团队在监督微调后追加短暂的最终词元偏好优化(FTPO),所用偏好对从模型自身的循环输出中提取。这是作者记录的处理步骤,材料未在此给出消除循环的量化结果。
原始标题:K2-Horizon: A Frontier Fleet of Open Source Language Models
来源:arxiv.org