P-JiT 的像素空间训练:中间读出、噪声课程与能力限制

Linum 披露了文生图模型的中间监督、噪声课程与分辨率切换方法。这次训练被定位为实验性概念验证,文字生成和复杂场景仍有明确限制。

Share
P-JiT 的像素空间训练:中间读出、噪声课程与能力限制
原文配图 · 图片出处

项目实践 · www.linum.ai · 原文日期 2026-11-04

面向视频模型的概念验证

Linum 将这次文生图训练定位为下一代视频模型之前的概念验证,并以实验版本发布。团队表示,考虑到模型规模,生成效果超出了他们的预期。这是作者对自身结果的判断,不能据此认定模型已经获得独立的质量验证。

用低分辨率预测监督中间层

作者把中间图像预测作为加强监督的手段:在像素空间中,主干的各个模块都预测最终图像的某种版本,因此可以让较早的模块先预测低分辨率图像,为网络前部补充梯度信号。团队称,这种设计有助于加快收敛。

先学结构,再扩大噪声分布

训练采用随进程变化的噪声课程。早期让样本集中于高噪声区域,目的是先学习基本结构;之后扩大噪声分布,让模型学习更细的图像内容。这是团队此次采用的训练安排,文中的这段说明没有单独量化它对最终效果的贡献。

升高分辨率时重建优化器

进入更高分辨率阶段时,团队从上一阶段的指数移动平均权重继续训练,重新建立优化器,并提高噪声尺度。作者报告,此时总体损失上升,图像质量却快速改善;他们将损失变化归因于更高的噪声,以及高分辨率下精确还原细节的要求。

文字与复杂场景的限制

团队明确表示,训练集过滤了含渲染文字的图像,因此模型不能用于写字或生成海报。作者还列出全身人物、多实体、多人互动和世界知识方面的困难,并说明这些场景偶尔能够生成正确;这种偶发成功不足以说明相关能力已经稳定。

原始标题:Training a Text-to-Image Model for $21K
来源:www.linum.ai