Drex:直接输出选项概率的决策模型

Drex 将选择、判断与评分统一为选项概率输出。报告介绍了训练方法,也说明了共享预填充的部署条件、比较结果的解释边界与许可差异。

Share
Drex:直接输出选项概率的决策模型
原文配图 · 图片出处

论文阅读笔记 · arxiv.org · 原文日期 2026-11-05

候选答案随请求指定

Drex 面向候选答案随输入变化的决策任务。用户提供状态、问题和选项,模型直接返回各选项的概率,无需自回归生成答案文本。报告介绍的请求状态可以是文档、记录或智能体上下文,也可附带图像;问题支持多选一、是否判断和有序量表评分。

v2.0 何时共享预填充

v2.0 的实际部署并非始终复用状态:通用推理引擎将每道题及完整状态作为独立序列处理。只有问题多于一道、状态至少为1,024个词元时,才启用共享预填充;作者报告,短状态下共享反而更慢,还会轻微改变输出概率。

三阶段训练约束输出变化

Max 先做监督微调,再进行调整反馈强化学习,最后训练图像编码器及其投影。监督阶段用两项一致性损失约束选项重排、状态句子或字段打乱后的输出变化。强化学习奖励结合已验证答案与评判模型的选项概率,并以相对监督微调检查点的KL散度约束更新。

多数比较只能说明关联

作者明确限定了证据的解释范围:除Max的一项训练消融外,多数结果来自模型、训练阶段及推理干预之间的比较。这些结果呈现关联与取舍,不能据此确定Max的哪些设计或训练改动带来了收益,相关假设仍需进一步实验。

权重与代码采用不同许可

报告列出的许可并不统一。v2.0与v1.5采用Nace.AI Open RAIL-M;Max使用该许可的修改版,注明为1.0版、2026年10月。DLM沿用骨干模型的CC BY-NC 4.0非商业许可,仓库代码则采用Apache-2.0许可。

原始标题:Towards Foundation Decision Models: Drex
来源:arxiv.org