Open Vision Banana:用 RGB 图像统一视觉感知任务
这项研究将图像生成器改造成感知模型,公开训练方案,并分析颜色编码、提示词和多次生成投票如何影响预测。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-11
生成图像,再解码为预测
Open Vision Banana(OVB)将视觉感知写成条件图像生成:输入照片与任务指令,生成 RGB 图像,再由确定性的任务读出过程转换为预测,不另设任务专用输出头。因此,标注如何编码为图像、生成结果如何解码,都是这套方法的组成部分。
零样本指排除评测数据集
论文微调 FLUX.2 Klein 的 4B 与 9B 模型,分别建立零样本和非零样本版本。这里的“零样本”只指评测数据集未参与训练,相关任务仍在训练中出现;非零样本版本则加入部分评测数据集的训练划分,并只在有效像素上计算几何损失。
更换颜色图例后多数投票
作者提出“图例集成”:为同一张图像抽取多套随机的类别与颜色对应表,分别生成分割图,再以多数投票融合结果。它无需重新训练,但需要多次生成。论文将主要收益归因于纠正颜色与类别的错误绑定,说明输出颜色的稳定性会影响最终分割结果。
设计选择不能简单叠加
作者的实验指出,调色板和提示措辞会明显影响准确率,一项任务的监督也可能帮助或损害其他任务。单项实验中有效的改动,组合后未必仍有效。论文还记录了一类失败:模型找对了区域,却因涂错颜色或违反输出约定而得分较低。
原始标题:Open Vision Banana : A Fully Open Recipe for Generative Visual Perception
来源:arxiv.org