产品库

深入研究大型语言模型的内部一致性和自我反馈

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

训练无监督一致性文本到图像生成

ConsiStory是一个无需训练就能实现在预训练的文本到图像模型中生成一致性主体的方法。它不需要微调或个性化,因此比先前最优方法快20倍。我们通过引入以主体为驱动的共享注意力模块和基于对应关系的特征注入来增强模型,以促进图像之间的主体一致性。另外,我们开发了在保持主体一致性的同时鼓励布局多样性的策略。ConsiStory可以自然地扩展到多主体场景,甚至可以实现对常见对象的无需训练的个性化。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

视频生成模型的一致性初始化方法

FreeInit是一个简单有效的方法,用于提高视频生成模型的时间一致性。它不需要额外的训练,也不引入可学习的参数,可以很容易地在任意视频生成模型的推理时集成使用。

为扩散模型提供一致性分辨率适配

ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理效率并减少了额外的推理时间。

提高文本到图像模型中空间一致性的解决方案

SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集，显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练，从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平，同时提高了图像质量评分。

快速可控的图像生成与潜在一致性模型

PIXART LCM是一个文本到图像合成框架，将潜在一致性模型（LCM）和ControlNet集成到先进的PIXART-α模型中。PIXART LCM以其能够通过高效的训练过程生成1024px分辨率的高质量图像而闻名。在PIXART-δ中集成LCM显著加快了推理速度，使得仅需2-4步即可生成高质量图像。特别值得注意的是，PIXART-δ实现了在0.5秒内生成1024x1024像素图像的突破，比PIXART-α改进了7倍。此外，PIXART-δ经过精心设计，可在单日内在32GB V100GPU上进行高效训练。具有8位推理能力的PIXART-δ可以在8GB GPU内存约束下合成1024px图像，极大地增强了其可用性和可访问性。此外，引入类似于ControlNet的模块可以对文本到图像扩散模型进行精细控制。我们引入了一种新颖的ControlNet-Transformer架构，专门为Transformers量身定制，实现了显式可控性和高质量图像生成。作为一种最先进的开源图像生成模型，PIXART-δ为稳定扩散模型家族提供了一个有前途的选择，为文本到图像合成做出了重大贡献。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

利用LLM提高T2I图像生成一致性

OPT2I是一个T2I优化框架，利用大型语言模型（LLM）提高提示-图像一致性。通过迭代生成修订后的提示，优化生成过程。能显著提高一致性得分，同时保持FID并增加生成数据与真实数据召回率。

稳定扩散VAE的一致性解码器

Consistency Decoder是一种用于稳定扩散VAE的改进解码器，提供更稳定的图像生成。它具有2.49GB的模型大小，支持从原始图像进行编码和使用GAN解码以及一致性解码。该产品定位于为图像生成提供更好的解码效果。

下一代 AI 模型，实现一致性和可控的媒体生成。

Runway Gen-4 是一款先进的 AI 模型，专注于媒体生成和世界一致性。它能够在多个场景中精准生成一致的角色、地点和物体，为创作者提供前所未有的创作自由，适合电影制作、广告及产品摄影等多种应用场景。该产品不需要进行细致的调优或额外训练，简化了创作流程，提升了视频制作的质量和效率。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

革命性的AI模型，排名第一的人工智能分析工具。

Red Panda AI，也称为Recraft V3，是一个在人工智能分析领域排名第一的革命性AI模型。它超越了FLUX1.1、Midjourney和OpenAI等其他模型，在设计理解和视觉输出质量方面表现出色。Red Panda AI以其设计为中心的架构，提供了无与伦比的设计原则理解、视觉层次和构图能力。它能够智能地适应不同平台和用例，保持一致的品牌身份。产品的主要优点包括设计语言理解、风格一致性控制、上下文感知、专业设计质量、快速迭代和多格式掌握。

StreamingT2V: 一致、动态、可扩展的长视频文本生成

StreamingT2V 是一种先进的自回归技术，可以创建具有丰富动态运动的长视频，没有任何停滞。它确保视频中的时间一致性，与描述性文本紧密对齐，并保持高帧级图像质量。

一种无需训练的单提示文本到图像生成方法，用于一致的图像生成。

1Prompt1Story是一种创新的文本到图像生成技术，能够在无需额外训练的情况下，通过单个提示生成一致的图像序列。该技术利用语言模型的上下文一致性，通过单个提示串联所有描述，生成具有身份一致性的图像。它支持多角色生成、空间控制生成以及真实图像个性化等功能，具有广泛的应用前景。该模型主要面向需要高效、一致图像生成的创作者和开发者，可用于故事创作、动画制作等领域。

DiffPortrait3D可以从野外单张人像照片中合成逼真的3D一致新视角。

DiffPortrait3D是一个条件化难度模型,即使只有野外单张人像照片,也能合成逼真的3D一致新视角。具体来说,给定单张RGB输入图像,我们目标是合成从新相机视角渲染的似是而非的面部细节,同时保留身份和面部表达。我们的零试验方法可以很好地推广到任意面部人像,具有非姿态相机视角,极端面部表情和多种艺术描绘。在其核心,我们利用在大规模图像数据集上预训练的2D难度模型的生成先验作为我们的呈现主干,同时通过解耦外观和相机姿势的定向注意控制来指导去噪。为此,我们首先从参考图像将外观上下文注入冻结的UNet的自我注意力层。然后通过一种新颖的条件控制模块来操纵呈现视图,该模块通过观看来自同一视图的交叉主体的条件图像来解释相机姿势。 此外,我们插入了一个可训练的跨视图注意力模块来增强视图一致性,后者通过在推理期间采用一种新的3D感知噪声生成过程进一步加强。我们在具有挑战性的野外和多视图基准测试中定性和定量地证明了最先进的结果。

自适应扩散模型，生成多语言字体效果

FontStudio是一个创新的字体效果生成模型，它利用自适应扩散技术，能够在不规则的字体形状画布上生成连贯一致的视觉内容。这项技术突破了传统矩形画布的限制，为多语言字体设计提供了新的解决方案。FontStudio系统在用户偏好研究中显示出明显的优势，甚至在与Adobe Firefly等顶尖商业产品比较时，也获得了78%的美学胜出率。

光流引导视频合成

FlowVid 是一个光流引导的视频合成模型，通过利用光流的空间和时间信息，实现视频帧之间的时序一致性。它可以与现有的图像合成模型无缝配合，实现多种修改操作，包括风格化、对象交换和局部编辑等。FlowVid 生成速度快，4 秒、30FPS、512×512 分辨率的视频只需 1.5 分钟，比 CoDeF、Rerender 和 TokenFlow 分别快 3.1 倍、7.2 倍和 10.5 倍。用户评估中，FlowVid 的质量得分为 45.7%，明显优于 CoDeF（3.5%）、Rerender（10.2%）和 TokenFlow（40.4%）。

语言模型自我奖励训练

本产品是一种自奖励语言模型，通过 LLM 作为裁判，使用模型自身提供的奖励信号进行训练。通过迭代的 DPO 训练，模型不仅可以提高遵循指令的能力，还能提供高质量的自我奖励。经过三次迭代的 Fine-tuning，本产品在 AlpacaEval 2.0 排行榜上超过了许多现有系统，包括 Claude 2、Gemini Pro 和 GPT-4 0613。这项工作虽然只是初步研究，但为模型在两个方面持续改进的可能性打开了大门。

一个由生成模型驱动的无限角色生活模拟游戏

Unbounded是一个创新的无限游戏，它超越了传统有限、硬编码系统的限制，通过使用生成模型来实现。这款游戏受到James P. Carse关于有限与无限游戏之间区别的启发，利用最新的生成AI技术，创建了一个完全由生成模型封装的角色生活模拟游戏。Unbounded从沙盒生活模拟中汲取灵感，允许玩家通过自然语言指令与自主虚拟角色在虚拟世界中互动，包括喂养、玩耍和引导角色，同时由大型语言模型（LLM）生成的开放式机制，其中一些可能是新兴的。为了开发Unbounded，提出了在LLM和视觉生成领域的技术创新，包括一个专门化的、蒸馏的大型语言模型，用于实时动态生成游戏机制、叙事和角色互动，以及一个新的动态区域图像提示适配器（IP-Adapter），用于确保角色在多个环境中的视觉生成一致但灵活。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

连续时间一致性模型的简化、稳定与扩展

OpenAI 提出的连续时间一致性模型（sCM）是一种生成模型，它在生成高质量样本时，只需要两个采样步骤，与领先的扩散模型相比，具有显著的速度优势。sCM 通过简化理论公式，稳定并扩展了大规模数据集的训练，使得在保持样本质量的同时，大幅减少了采样时间，为实时应用提供了可能性。

评估图像生成模型在不同地理区域的质量、多样性和一致性。

DIG-In是一个用于评估文本到图像生成模型在不同地理区域中质量、多样性和一致性差异的库。它使用GeoDE和DollarStreet作为参考数据集，通过计算生成图像的相关特征和精度、覆盖度指标，以及使用CLIPScore指标来衡量模型的表现。该库支持研究人员和开发者对图像生成模型进行地理多样性的审计，以确保其在全球范围内的公平性和包容性。

ImagenHub:标准化条件图像生成模型的推理和评估

ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。

基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。

ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。

一款通过生成模型提升图像生成一致性的工具。

UNO 是一个基于扩散变换器的多图像条件生成模型，通过引入渐进式跨模态对齐和通用旋转位置嵌入，实现高一致性的图像生成。其主要优点在于增强了对单一或多个主题生成的可控性，适用于各种创意图像生成任务。