Duo:用意图决策与音视频生成实现分块双向交互
Duo v1 将发言时机判断与音视频生成连接起来,通过统一时间轴、因果输入约束和双重滚动蒸馏,处理持续交互中的时序与训练条件偏移。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-11
两个模块按时间块协作
报告提出的 Duo v1 采用模块化设计:意图模块负责交互认知,实现模块生成连贯的音视频行为。交互按每块17帧推进,在每秒24帧下约为0.71秒。这是时间块的长度,不能直接当作实测响应延迟;两个模块通过意图模块的隐藏状态传递决策信息。
把何时发言单独建模
意图模块在每个时间块选择开始发言或等待,再决定具体措辞。报告将发言时机与内容分开处理,因为合适的话也可能出现在不合适的时刻。等待仅表示没有新增文本,已有语音播放和音视频生成仍可继续,因此不能把等待理解为系统完全停止输出。
在视觉编码阶段阻断未来信息
因果约束从视觉编码阶段就开始实施。报告指出,时间分组可能把多帧信息混入同一视觉标记,之后再加注意力掩码也无法消除泄漏。其做法是让分组留在当前块内:17帧编号为0至16时,末组重复第16帧,而不借用下一块的第17帧。
用自身生成历史进行蒸馏
为缩小训练与在线交互的条件差异,作者采用双重滚动蒸馏:冻结意图模块,让它自回归生成训练窗口内的最后一轮助手发言;实现模块则使用这些意图特征及自身生成的音视频历史。报告称由此得到四步流式生成器,但所给节选未列出实测延迟或量化评测结果。
原始标题:Duo: A Reciprocal World Model for Full-Duplex Interaction
来源:arxiv.org