Dettato:用音高通道模型处理音频转 MIDI
Dettato 的发布说明介绍了局部建模思路与训练素材来源,也承认乐器区分表现较差,输出主要是带节拍对齐的演奏 MIDI。
论文阅读笔记 · kobi.music · 原文日期 2026-11-17
开源模型与输出使用范围
Dettato 是一个音频转 MIDI 的自动转录模型。作者在发布文中称,模型开源,其输出可以用于商业用途;同时将它定位为领先模型。这一性能定位属于作者的发布主张,所给材料没有提供独立验证,也未完整说明评测协议与指标定义。
从数据扩充转向音高通道
作者称,自己起初把自动音乐转录视为数据问题,后来认为瓶颈在架构。他认为,引入大型语言模型组件容易导致对合成数据过拟合,因此主张将任务改写为局部问题:光学乐谱识别使用检测器,音频转录使用音高通道模型。这是其设计解释,原文没有展示对应的消融验证。
合成录音与音色库融合
训练素材方面,作者称使用了合成乐器录音与采用 CC 许可的独奏乐器素材,并提到通过 URMP 数据集进行混合。其余乐器素材由多个音色库融合生成,采用他此前介绍的“soundfont babies”方法。作者另称未使用受版权保护的录音,这是其对数据来源的声明。
乐器区分与乐谱用途的限制
作者明确承认,模型在正确区分乐器方面表现较差,具体用途下的准确性仍需实际试用判断。输出是带节拍对齐的演奏 MIDI;对于希望获得可照着演奏的乐谱的用户,作者推荐其他工具。因此,发布说明给出的适用范围主要是演奏转录,不能直接等同于可用乐谱。
原始标题:introducing dettato
来源:kobi.music