模型与资源
Imagen
依托超大语言模型编码，实现前所未有的文本理解与照片级真实感图像生成
Imagen是什么
Imagen 是由 Google Research Brain Team 开发的文本到图像扩散模型，旨在实现前所未有的照片级真实感和深度的语言理解能力。该系统的核心发现是，使用在纯文本语料库上预训练的通用大型语言模型（如 T5）来编码文本，对于图像合成效果显著；扩大语言模型的规模比扩大图像扩散模型的规模更能提升样本保真度和图文对齐度。
在技术架构上，Imagen 利用大型冻结 T5-XXL 编码器将输入文本转化为嵌入向量，随后通过条件扩散模型生成 64x64 图像，并利用文本条件的超分辨率扩散模型逐步将图像 upsampling 至 1024x1024 分辨率。这种级联扩散方法结合高效的 U-Net 架构，使其在计算和内存效率上表现优异。
在基准测试中，Imagen 在 COCO 数据集上取得了 7.27 的最先进 FID 分数，且并未在 COCO 上进行训练。通过新引入的综合基准 DrawBench 进行的侧面对比评估显示，人类评分者在图像质量和图文对齐方面均更倾向于 Imagen，其表现优于 DALL-E 2、Latent Diffusion Models 等现有方法。
主要功能
- 深度语言理解利用大型预训练冻结文本编码器（如 T5-XXL），实现对复杂提示词、空间关系和罕见词汇的精准理解。
- 照片级真实感通过级联扩散模型和新的阈值扩散采样器，生成具有极高保真度和细节的 1024x1024 分辨率图像。
- 卓越的图文对齐在 DrawBench 基准测试中，人类评分者认为 Imagen 生成的图像在内容匹配度上优于其他主流模型。
- 高效架构设计采用新的 Efficient U-Net 架构，相比传统方法具有更高的计算效率、内存效率及更快的收敛速度。
- SOTA 性能指标在未使用 COCO 数据训练的情况下，仍在 COCO 数据集上取得了 7.27 的最先进 FID 分数。
如何使用
- 1.访问 Imagen 官方研究页面了解模型架构和技术细节。
- 2.阅读官方发布的研究论文，深入理解 T5 编码器与扩散模型的结合机制。
- 3.查看 DrawBench 基准测试结果，对比 Imagen 与其他模型在复杂提示下的表现。
- 4.关注 Google Research 后续发布的关于负责任外部化框架和代码开放的更新。
- 5.参考相关文献了解扩散模型在图像生成领域的最新进展。
应用场景
- 学术研究用于探索大型语言模型在视觉生成任务中的编码能力及其对图文对齐的影响。
- 基准评估作为 DrawBench 等综合基准的参考标准，评估新一代文本到图像模型的性能。
- 高质量素材生成根据详细文本描述生成具有照片级真实感的图像，适用于需要高保真视觉内容的场景。
价格 / 免费额度
Imagen 目前由 Google Research 团队进行研究展示，未公开提供商业 API 或订阅服务，具体可用性以官网为准。
适合人群
- AI 研究人员
- 计算机视觉工程师
- 机器学习开发者
- 数字艺术创作者
常见问题
Imagen 是否公开提供了代码或演示？
出于对滥用风险和社会影响的考量，Google Research 目前决定不发布代码或公共演示，未来将探索负责任的外部化框架。
Imagen 与其他模型如 DALL-E 2 有何不同？
Imagen 更简单，不需要学习潜在先验，而是依赖大型冻结语言模型进行文本编码，在 COCO FID 和人类评估中表现更优。
什么是 DrawBench？
DrawBench 是 Google Research 引入的一个全面且具有挑战性的文本到图像模型基准，用于测试组合性、基数、空间关系等复杂能力。