产品库

基于文本生成姿态并进一步生成图像的模型

text-to-pose是一个研究项目，旨在通过文本描述生成人物姿态，并利用这些姿态生成图像。该技术结合了自然语言处理和计算机视觉，通过改进扩散模型的控制和质量，实现了从文本到图像的生成。项目背景基于NeurIPS 2024 Workshop上发表的论文，具有创新性和前沿性。该技术的主要优点包括提高图像生成的准确性和可控性，以及在艺术创作和虚拟现实等领域的应用潜力。

基于大数据和大模型的人体姿态和形状估计模型

SMPLer-X是一种基于大数据和大模型的人体姿态和形状估计模型，能够统一捕捉身体、手和面部的运动，并具有广泛的应用。该模型通过对32个不同场景的数据集进行系统研究，优化训练方案并选择数据集，从而实现了对EHPS能力的显著提升。SMPLer-X采用Vision Transformer进行模型扩展，并通过微调策略将其转化为专家模型，从而进一步提高性能。该模型在多个基准测试中均表现出色，如AGORA（107.2 mm NMVE）、UBody（57.4 mm PVE）、EgoBody（63.6 mm PVE）和EHF（62.3 mm PVE without finetuning）。SMPLer-X的优势在于能够处理多样化的数据源，具有出色的泛化能力和可迁移性。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。

基于级联扩散的文本到图像生成系统

CogView3是一个基于级联扩散的文本到图像生成系统，使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段，并通过中继超分辨率过程，在低分辨率生成结果上添加高斯噪声，从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL，具有更快的生成速度和更高的图像质量。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

开源文本到图像生成模型

AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比，该模型经过了更多的计算训练，并在美学数据集上进行了微调，支持各种宽高比，宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果，目前处于beta测试阶段，正在不断改进中，社区反馈非常重要。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

一种用于文本到图像扩散模型的概念擦除技术

RECE是一种文本到图像扩散模型的概念擦除技术，它通过在模型训练过程中引入正则化项来实现对特定概念的可靠和高效擦除。这项技术对于提高图像生成模型的安全性和控制性具有重要意义，特别是在需要避免生成不适当内容的场景中。RECE技术的主要优点包括高效率、高可靠性和易于集成到现有模型中。

基于潜在扩散模型的大规模文本到图像生成模型

Kolors是由快手Kolors团队开发的大规模文本到图像生成模型，基于潜在扩散模型，训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面，均优于开源和闭源模型。Kolors支持中英文输入，尤其在理解及生成中文特定内容方面表现突出。

升级扩散模型插件通用兼容性

X-Adapter是一个通用升级工具，可以使预训练的插件模块（例如ControlNet、LoRA）直接与升级的文本到图像扩散模型（例如SD-XL）配合使用，无需进一步重新训练。通过训练额外的网络来控制冻结的升级模型，X-Adapter保留旧模型的连接器，并添加可训练的映射层以连接不同版本模型的解码器进行特征重映射。重映射的特征将作为升级模型的引导。为了增强X-Adapter的引导能力，我们采用空文本训练策略。在训练后，我们还引入了两阶段去噪策略，以调整X-Adapter和升级模型的初始潜变量。X-Adapter展示了与各种插件的通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们进行了大量实验证明，X-Adapter可能在升级的基础扩散模型中有更广泛的应用。

开源的文本到图像生成模型

OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本，移除了蒸馏过程，使其可以进行微调，并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像，并且只需1-4步即可完成。它是一个尝试去除蒸馏过程，创建一个可以微调的开源许可模型。

用于文本到图像扩散模型的照明绘图工具

LuminaBrush是一个交互式工具，旨在绘制图像上的照明效果。该工具采用两阶段方法：一阶段将图像转换为“均匀照明”的外观，另一阶段根据用户涂鸦生成照明效果。这种分解方法简化了学习过程，避免了单一阶段可能需要考虑的外部约束（如光传输一致性等）。LuminaBrush利用从高质量野外图像中提取的“均匀照明”外观来构建训练最终交互式照明绘图模型的配对数据。此外，该工具还可以独立使用“均匀照明阶段”来“去照明”图像。

开源的基于流的文本到图像生成模型

AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型，它在GenEval上达到了最先进的结果。目前模型处于beta阶段，正在不断改进中，社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实，以及为该项目奠定基础的研究人员。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

控制文本到图像生成过程

FreeControl是一个无需训练就可以实现对文本到图像生成过程的可控制的方法。它支持对多种条件、架构和检查点的同时控制。FreeControl通过结构指导实现与指导图像的结构对齐,通过外观指导实现使用相同种子的生成图像之间的外观共享。FreeControl包含分析阶段和合成阶段。在分析阶段,FreeControl查询文本到图像模型生成少量种子图像,然后从生成的图像构建线性特征子空间。在合成阶段,FreeControl在子空间中运用指导实现与指导图像的结构对齐,以及使用与不使用控制的生成图像之间的外观对齐。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

新一代文本到图像生成AI模型

Stable Diffusion 3是stability公司推出的新一代文本到图像生成AI模型,相比早期版本在多主体提示、图像质量和拼写能力等方面都有了极大提升。该模型采用了diffusion transformer架构和flow matching技术,参数量范围从800M到8B不等,提供了从个人用户到企业客户多种部署方案。主要功能包括:高质量图片生成、支持多主体、拼写错误纠正等。典型应用场景有:数字艺术创作、图片编辑、游戏和电影制作等。相比早期版本,该AI助手具有更强大的理解和创作能力,是新一代安全、开放、普惠的生成式AI典范。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

高度写实的文本到图像模型

Deep floyd是一个开源的文本到图像模型，具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成：一个基础模型用于根据文本提示生成 64x64 像素的图像，以及两个超分辨率模型，分别用于生成分辨率逐渐增加的图像：256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入，然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型，在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力，并展示了文本到图像合成的一个有前途的未来。

多功能文本到图像扩散模型，生成高质量非真实感图像。

Pony Diffusion V6 XL是一个文本到图像的扩散模型，专门设计用于生成以小马为主题的高质量艺术作品。它在大约80,000张小马图像的数据集上进行了微调，确保生成的图像既相关又美观。该模型采用用户友好的界面，易于使用，并通过CLIP进行美学排名，以提升图像质量。Pony Diffusion在CreativeML OpenRAIL许可证下提供，允许用户自由使用、再分发和修改模型。

通过LLM增强语义对齐的扩散模型适配器

ELLA（Efficient Large Language Model Adapter）是一种轻量级方法，可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力，使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器，从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征，有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越，尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。