首页 > AI教程 >Playground v3发布：240亿参数文生图，深度融合LLM，图形设计超越人类

Playground v3发布：240亿参数文生图，深度融合LLM，图形设计超越人类

来源：互联网 2026-07-20 06:23:14

AI资讯合集

Playgroundv3参数量240亿，深度融合Llama3-8B语言模型取代T5/CLIP编码器。采用DiT架构，新增VAE潜通道至16，图形设计能力已超越人类。在CapsBench等基准测试中表现领先，支持精确RGB颜色控制与多语言识别，充分展现出极为强大的文本到图像生成能力。

文生图参数量升至240亿，Playground v3发布：深度融合LLM，图形设计能力超越人类

过去一年多，文本到图像生成模型的技术路线发生了显著转变——从基于UNet的传统架构，逐步过渡到Transformer体系。最近，Playground Research发布了新一代模型Playground v3（简称PGv3），参数量直接拉到了240亿，在多个基准测试上都拿到了最先进的成绩，尤其是在图形设计方面的表现，甚至可以说超过了人类设计师。

PGv3的核心亮点，是完全抛弃了传统T5或CLIP文本编码器的做法，转而用深度融合（Deep-Fusion）架构，直接把一个仅解码器的大型语言模型（Llama3-8B）嵌入到了整个生成流程中。这不仅让模型在文本提示遵循、复杂推理和文字渲染准确率上表现亮眼，还支持精确的RGB颜色控制和多语言识别。

长期稳定更新的攒劲资源： >>>点此立即查看<<<

Playground v3发布：240亿参数文生图，深度融合LLM，图形设计超越人类

这里得提一嘴，研究团队还专门开发了一个内部描述生成器（in-house captioner），能生成不同详细程度的图像描述，丰富文本结构的多样性。为了评估这一块，又引入了全新的基准CapsBench。用户偏好研究的数据显示，PGv3在常见的表情包、海报和Logo设计场景中，表现已经可以媲美甚至超越人类设计师。

01 PGv3模型架构

PGv3本质上是一个潜扩散模型（LDM），训练采用EDM公式。它和DALL·E 3、Imagen 2、Stable Diffusion 3一样，核心任务是文本到图像生成，但走得比它们更远——完全集成了Llama3-8B，强化了提示理解和遵循能力。

文本编码器

Transformer模型中，每一层捕捉到的信息都不一样，既有词级也有句级特征。传统做法通常是取T5或CLIP的最后一层输出，或者结合倒数第二层。但对解码器风格的大型语言模型来说，选哪一层效果最好，其实挺麻烦的——模型内部表示相当复杂。

Playground v3发布：240亿参数文生图，深度融合LLM，图形设计超越人类

研究团队认为，LLM的连续层之间的信息流才是生成能力的关键，而这些知识并不是被某一层的输出封装的，而是横跨了所有层。基于这个判断，PGv3在设计时直接复制了LLM的所有Transformer块，从每一层对应块里提取隐藏嵌入输出。说白了，就是让模型充分利用LLM完整的“思考链条”，从而实现更好的提示遵循和一致性。

模型结构

PGv3采用DiT风格的结构。图像模型中的每个Transformer块和语言模型（Llama3-8B）中的对应块完全一致——只有一个注意力层和一个前馈层，参数都一样（隐藏维度、注意力头数量和维度）。训练时只训练图像模型这部分。在扩散采样过程中，语言模型只需要跑一次，就能生成所有中间隐藏嵌入。

相比传统基于CNN的扩散模型，这种结构把图像特征的自注意力和图文之间的交叉注意力分开了，再做联合注意力操作。好处是可以从图像和文本值的组合池中提取特征，同时降低计算成本和推理时间。另外还有几个对性能有帮助的小设计：

1. Transformer块之间加上了U-Net跳跃连接。

2. 中间层做token下采样——在32层中，把中间几层的图像键和值的序列长度减到了原来的四分之一。这让整个网络变得更像一个只有一次下采样的传统卷积U-Net，训练和推理都提速了，性能却没掉。

3. 位置嵌入沿用了Llama3的旋转位置嵌入（RoPE）。图像是二维特征，团队试验了2D版本的RoPE。其中，“插值-PE”方法（保持起始和结束位置ID固定、中间插值）在训练分辨率上过拟合严重，没法泛化到未见过的纵横比。反而是“扩展-PE”方法（按序列长度成比例增加位置ID，不用任何技巧或归一化）表现更好，看不出分辨率过拟合的问题。

新的VAE

潜扩散模型中的变分自编码器（VAE），决定了细粒度图像质量的上限。团队把VAE的潜通道数从4增加到16，提升了合成细节能力——小的面部和文字都更清晰了。除了在256×256分辨率下训练，还扩展到了512×512分辨率，进一步改善重建效果。

02 CapsBench描述基准

图像描述评估其实是个很棘手的问题。目前的评估指标主流分两类：一类是基于参考的（如BLEU、CIDEr、METEOR、SPICE），但模型得分容易受参考格式限制；另一类是无参考指标（如CLIPScore、InfoMetIC、TIGEr），依赖参考图像的语义向量，对密集图像和长描述来说，因为概念太多，语义向量代表性不足。

受DSG和DPG-bench启发，团队提出了一种反向评估方法——在17个图像类别中生成“是-否”问答对，覆盖通用、图像类型、文本、颜色、位置、关系、相对位置、实体、实体大小、实体形状、计数、情感、模糊、图像伪影、专有名词、调色板和色彩分级。评估时，语言模型仅基于候选描述回答问题，答案选项只有“是”“否”“不适用”。CapsBench包含200张图像和2471个问题，平均每张图像12个，覆盖了电影场景、卡通场景、电影海报、邀请函、广告、休闲摄影、街头摄影、风景摄影和室内摄影。

03 实验结果

Playground v3发布：240亿参数文生图，深度融合LLM，图形设计超越人类

研究人员对比了Ideogram-2（左上）、PGv3（右上）和Flux-pro（左下）。缩略图看时，三个模型图像差异不大。但放大检查细节和纹理时，区别就出来了：Flux-pro生成的皮肤纹理过于平滑，有点像3D渲染，不够真实；Ideogram-2纹理更真实，但提示词一长就容易丢关键细节。相比之下，PGv3在提示遵循和真实感上都表现出色，还明显有更好的电影质感。