产品库

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

统一的图像生成框架，简化多任务图像生成。

OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

朱雀大模型检测，精准识别AI生成图像，助力内容真实性鉴别。

朱雀大模型检测是腾讯推出的一款AI检测工具，主要功能是检测图片是否由AI模型生成。它经过大量自然图片和生成图片的训练，涵盖摄影、艺术、绘画等内容，可检测多类主流文生图模型生成图片。该产品具有高精度检测、快速响应等优点，对于维护内容真实性、打击虚假信息传播具有重要意义。目前暂未明确其具体价格，但从功能来看，主要面向需要进行内容审核、鉴别真伪的机构和个人，如媒体、艺术机构等。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。它可以无缝地将目标物体嵌入到用户指定的新场景位置。AnyDoor先使用分割器去除目标物体的背景,然后使用ID提取器捕捉身份信息(ID令牌)。这些信息以及目标物体的细节被输入到一个预训练的文本到图像扩散模型中。在提取的信息和细节的指导下,该模型生成所需的图像。这个模型的独特之处在于,它不需要为每个物体调整参数。此外,它强大的自定义功能允许用户轻松地在场景图像中定位和调整物体,实现高保真和多样化的零次射物体-场景合成。除了照片编辑之外,该工具在电子商务领域也具有广阔的应用前景。借助AnyDoor,“一键更换服装”等概念得以实现,使用真人模型进行衣着互换,为用户提供更加个性化的购物体验。从更广泛的意义上说,AnyDoor也可以被理解为“一键Photoshop合成”或Photoshop中的“上下文感知移动工具”。它具有无缝图像集成和交换场景物体以及将图像对象放置到目标位置的功能。通过利用先进技术的力量,AnyDoor从本质上重新定义了图像操作,承诺在日常交互中提供多种更人性化的应用。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

使用扩散模型实现时域一致的人体图像动画

MagicAnimate是一款基于扩散模型的先进框架，用于人体图像动画。它能够从单张图像和动态视频生成动画视频，具有时域一致性，能够保持参考图像的特征，并显著提升动画的保真度。MagicAnimate支持使用来自各种来源的动作序列进行图像动画，包括跨身份的动画和未见过的领域，如油画和电影角色。它还与DALLE3等T2I扩散模型无缝集成，可以根据文本生成的图像赋予动态动作。MagicAnimate由新加坡国立大学Show Lab和Bytedance字节跳动共同开发。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

强大的图像生成模型

Stable Diffusion 3.5是Stability AI推出的一款图像生成模型，具有多种变体，包括Stable Diffusion 3.5 Large和Stable Diffusion 3.5 Large Turbo。这些模型可高度定制，能在消费级硬件上运行，并且根据Stability AI社区许可协议，可以免费用于商业和非商业用途。该模型的发布体现了Stability AI致力于让视觉媒体变革的工具更易于获取、更前沿、更自由的使命。

基于图像扩散模型的得分蒸馏采样方法

Score Distillation Sampling（SDS）是一种新近但已经广泛流行的方法，依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析，确定了其制定中的固有问题，并提出了一个出人意料但有效的修复方法。具体而言，我们将损失分解为不同因素，并分离出产生噪声梯度的组件。在原始制定中，使用高文本指导来账户噪声，导致了不良副作用。相反，我们训练了一个浅层网络，模拟图像扩散模型的时间步相关去噪不足，以有效地将其分解出来。我们通过多个定性和定量实验（包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成）展示了我们新颖损失制定的多功能性和有效性。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

一张图生成多视角扩散基础模型

Zero123++是一个单图生成多视角一致性扩散基础模型。它可以从单个输入图像生成多视角图像，具有稳定的扩散VAE。您可以使用它来生成具有灰色背景的不透明图像。您还可以使用它来运行深度ControlNet。模型和源代码均可在官方网站上获得。

基于扩散反转的多步图像超分辨率模型

InvSR是一种基于扩散反转的图像超分辨率技术，利用大型预训练扩散模型中丰富的图像先验来提高超分辨率性能。该技术通过部分噪声预测策略构建扩散模型的中间状态，作为起始采样点，并使用深度噪声预测器估计最优噪声图，从而在前向扩散过程中初始化采样，生成高分辨率结果。InvSR支持任意数量的采样步骤，从一到五步不等，即使仅使用单步采样，也展现出优于或媲美现有最先进方法的性能。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

Dream 7B 是最强大的开放扩散大语言模型。

Dream 7B 是由香港大学 NLP 组和华为诺亚方舟实验室联合推出的最新扩散大语言模型。它在文本生成领域展现了优异的性能，特别是在复杂推理、长期规划和上下文连贯性等方面。该模型采用了先进的训练方法，具有强大的计划能力和灵活的推理能力，为各类 AI 应用提供了更为强大的支持。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

加速高分辨率扩散模型推理

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

一种从2D图像学习3D人体生成的结构化潜在扩散模型。

StructLDM是一个结构化潜在扩散模型，用于从2D图像学习3D人体生成。它能够生成多样化的视角一致的人体，并支持不同级别的可控生成和编辑，如组合生成和局部服装编辑等。该模型在无需服装类型或掩码条件的情况下，实现了服装无关的生成和编辑。项目由南洋理工大学S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出，相关论文发表于ECCV 2024。

生成大型属性图的扩散模型

GraphMaker是一个用于生成大型属性图的扩散模型。它可以同时生成节点属性和图结构，也可以先生成节点属性再生成图结构。支持的数据集包括cora、citeseer、amazon_photo和amazon_computer。您可以使用训练好的模型来生成图。

机器学习模型运行和部署的工具

Replicate是一款机器学习模型运行和部署的工具，无需自行配置环境，可以快速运行和部署机器学习模型。Replicate提供了Python库和API接口，支持运行和查询模型。社区共享了成千上万个可用的机器学习模型，涵盖了文本理解、视频编辑、图像处理等多个领域。使用Replicate和相关工具，您可以快速构建自己的项目并进行部署。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。