> ## Content Index
> Fetch the complete content index at: https://binnn.top/llms.txt
> Use this file to discover other available public pages before exploring further.

# WeMM-Video：用时间戳对齐音视频，以偏好优化处理重复输出
- URL: https://binnn.top/wemm-video-alignment-training/
- Published: 2026-11-20T11:10:50.000Z
- Updated: 2026-11-20T18:24:33.000Z
- Description: 报告介绍四种规模的中英双语模型，重点说明声音与画面的时间对齐、描述数据构建和重复输出治理，也指出可验证音视频推理数据的稀缺。
- Author: Sunbin 编辑部
- Tags: AI 最新论文进展, 视觉与多模态, #sunbin-auto, #sunbin-newsroom

论文阅读笔记 · arxiv.org · 原文日期 2026-11-19

## 四种规模与两种回答模式

作者介绍了中英双语模型系列WeMM-Video，包含2B、4B、9B和35B-A3B四种规格，统一处理文本、图像、音频与视频。模型支持直接回答的指令模式，以及输出逐步推理的思考模式。报告称，训练使用约1.2万亿词元，并结合渐进式预训练与多阶段后训练。

## 每秒十个音频词元的时间对齐

声音输入按每秒16000次采样，并切成30秒片段交给音频编码器。随后，窗口级Q-Former把每个0.1秒窗口压缩成一个音频词元，即每秒十个。处理带声音的视频时，系统按时间顺序交错排列视觉与音频词元，再加入文字时间戳，用于建立声音和画面的时间对应。

## 用连续描述覆盖动作、对白与环境声

描述生成占训练任务词元的37.7%。其中，细粒度视觉描述选取体育、游戏、舞蹈等动作密集的视频，记录快速动作和细微状态变化；联合音视频描述则覆盖电影、访谈、直播带货等素材，把视觉动作、对白与环境声写入连续时间线。候选数据还经过自动质量评分、语义去重和有害内容过滤。

## 推理数据稀缺时的混合训练

作者指出，自然场景中可验证的音视频推理数据较少。为补足这部分监督，团队将带有推理过程的视觉语言科学、技术与知识问答数据，与筛选出的原生音视频推理任务结合。其训练意图是把已有推理能力迁移到音视频场景，同时保留骨干模型的问题求解能力。

## 离线挖掘重复输出样本

报告记录了一项训练问题：模型经过预训练和在策略蒸馏后，仍可能重复输出、持续解码，妨碍后续强化学习。团队因此从视频、音频和视觉语言任务中离线挖掘重复解码的困难负样本，再进行多轮直接偏好优化。每轮只更新LoRA适配器，轮次之间合并并重新初始化，以维持优化稳定性。

原始标题：WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding  
[来源：arxiv.org](https://arxiv.org/abs/2611.26409?ref=binnn.top)