> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# K2-Horizon：开放六款模型的训练数据与阶段检查点
- URL: https://binnn.top/k2-horizon-training-data-checkpoints/
- Published: 2026-11-17T06:50:33.000Z
- Updated: 2026-11-20T18:59:23.000Z
- Description: 报告披露六款语言模型的训练材料，介绍共享预训练语料、提前引入智能体轨迹、领域专家合并，以及针对3.7B和7B模型重复循环的处理步骤。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 语言模型, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-16

## 六款模型披露全流程材料

报告称，六款 K2-Horizon 模型均开放最终权重、各训练阶段的中间检查点、量化版本、训练日志，以及训练数据和全流程代码。披露范围覆盖训练与评估过程，为研究者追查模型在不同阶段的变化提供材料。

## 四款模型共享预训练语料

其中，3.7B、7B、32B 和 36B-A4B 四款模型使用相同的二十二万亿词元语料与预训练配方，包含两组按完全相同数据批次训练的模型。作者将这一安排用于支持不同规模模型及稠密、稀疏架构之间的受控比较。

## 上下文扩展时加入智能体轨迹

在中期训练中，数据逐步转向长文档、推理、编程和指令遵循，并加入采用团队聊天模板的智能体轨迹。作者从上下文扩展开始时便引入这类数据，使智能体交互成为中期训练的一部分，后续再通过后训练加强特定领域能力。

## 375B旗舰先训练专家再合并

对375B旗舰模型，团队从最终中期训练检查点出发，分别训练搜索、知识工作、工具使用、科学推理，以及带弃答能力的指令遵循专家，再通过权重合并形成单一模型。合并后继续评估，针对不熟悉的智能体运行框架格式等缺口，用示范数据做监督微调。

## 3.7B与7B从循环输出中提取偏好对

报告在3.7B和7B的训练流程中指出，大量长程任务训练容易使小模型出现重复循环。针对这两款模型，团队在监督微调后追加短暂的最终词元偏好优化（FTPO），所用偏好对从模型自身的循环输出中提取。这是作者记录的处理步骤，材料未在此给出消除循环的量化结果。

原始标题：K2-Horizon: A Frontier Fleet of Open Source Language Models  
[来源：arxiv.org](https://arxiv.org/abs/2611.21003?ref=binnn.top)