产品库

从多视角图像创建3D场景

CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道，将生成的视图转化为可交互渲染的3D表示。整个处理时间（包括视图生成和3D重建）仅需一分钟。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

一种通过3D感知递归扩散生成3D模型的框架

Ouroboros3D是一个统一的3D生成框架，它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。该框架通过自条件机制联合训练这两个模块，使它们能够相互适应，以实现鲁棒的推理。在多视图去噪过程中，多视图扩散模型使用由重建模块在前一时间步渲染的3D感知图作为附加条件。递归扩散框架与3D感知反馈相结合，提高了整个过程的几何一致性。实验表明，Ouroboros3D框架在性能上优于将这两个阶段分开训练的方法，以及在推理阶段将它们结合起来的现有方法。

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

使用扩散指引对文本感知图像进行细粒度风格控制

DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。

Visual Autoregressive Modeling: 新的视觉生成范式

VAR是一种新的视觉自回归建模方法,能够超越扩散模型,实现更高效的图像生成。它建立了视觉生成的幂律scaling laws,并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型,供用户探索和使用。

训练免费高分辨率图像合成的频率视角

FouriScale从频域分析的角度探讨从预先训练的扩散模型生成高分辨率图像，通过创新的、无需训练的方法，通过将预先训练的扩散模型中的原始卷积层替换为结合膨胀技术和低通操作的方法，通过填充然后裁剪策略进一步增强，实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，该方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量生成的惊人能力。通过其简单性和兼容性，该方法可以为未来对超高分辨率图像合成的探索提供有价值的见解。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

高分辨率3D内容生成的多视图高斯模型

LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。

SegMoE 是一个强大的框架，能够在几分钟内将稳定扩散模型动态组合成专家混合体，无需训练。

SegMoE 是一个强大的框架，能够在几分钟内将稳定扩散模型动态组合成专家混合体，无需训练。该框架支持即时创建更大的模型，提供更多知识、更好的粘附性和更好的图像质量。它受到 mergekit 的 mixtral 分支的启发，但专为 Stable Diffusion 模型设计。安装简单，使用方便，适用于图像生成和合成任务。

SVD 1.1 Image-to-Video 模型生成短视频

Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一个扩散模型，通过将静止图像作为条件帧，生成相应的视频。该模型是一个潜在扩散模型，经过训练，能够从图像生成短视频片段。在分辨率为 1024x576 的情况下，该模型训练生成 25 帧视频，其训练基于相同大小的上下文帧，并从 SVD Image-to-Video [25 frames] 进行了微调。微调时，固定了6FPS和Motion Bucket Id 127的条件，以提高输出的一致性，而无需调整超参数。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

秒速零拍照生成身份保留

InstantID是一种基于强大扩散模型的解决方案，能够在各种风格下使用单张面部图像进行图像个性化处理，同时确保高保真度。我们设计了一个新颖的IdentityNet，通过施加强大的语义和弱空间条件，将面部和地标图像与文本提示集成，引导图像生成。InstantID在实际应用中表现出色，并且能够与流行的预训练文本到图像扩散模型（如SD1.5和SDXL）无缝集成，作为一个可适配的插件。我们的代码和预训练检查点将在此URL上提供。

快速高质量从单张图像生成3D内容

Repaint123可以在2分钟内从一张图片生成高质量、多视角一致的3D内容。它结合2D散射模型强大的图像生成能力和渐进重绘策略的纹理对齐能力,生成高质量、视角一致的多视角图像,并通过可视性感知的自适应重绘强度提升重绘过程中的图像质量。生成的高质量、多视角一致图像使得简单的均方误差损失函数就能实现快速的3D内容生成。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

高分辨率图像生成的无门槛解决方案

DemoFusion 是一款无需高额费用的高分辨率图像生成解决方案。通过使用渐进式升采样、跳跃残差和扩张采样等机制，DemoFusion 扩展了开源生成人工智能模型，实现了更高分辨率的图像生成。它具有简单易用的特点，无需调整参数和大量内存，适用于广泛的用户群体。DemoFusion 可以与其他基于潜在扩散模型的应用程序无缝集成，实现可控的高分辨率图像生成。

单文本/图像生成可导航3D场景

LucidDreamer是一种无域3D场景生成技术，通过充分利用现有大规模扩散生成模型的能力，可以从单个文本提示或单个图像生成可导航的3D场景。该方法具有梦境和对齐两个交替步骤，首先根据输入生成多视角一致的图像，然后将新生成的3D场景部分和谐地整合在一起。LucidDreamer生成的高度详细的高斯斑点与以往的3D场景生成方法相比没有目标场景域的限制。

AI驱动的文本到视频生成

Emu Video是一种基于扩散模型的简单文本到视频生成方法，将生成过程分解为两个步骤：首先根据文本提示生成图像，然后根据提示和生成的图像生成视频。分解生成方式能够高效训练高质量的视频生成模型。与以往的方法相比，我们的方法只需使用两个扩散模型即可生成分辨率为512像素、播放速度为每秒16帧、时长为4秒的视频。

Lemonfox.ai提供便宜的AI API服务

Lemonfox.ai是一个提供便宜AI API服务的网站,主打产品是以GPT-3.5为基础的语言模型API。该API兼容OpenAI,但价格只有OpenAI的1/4,非常适合构建具备聊天、写作功能的应用。此外,Lemonfox.ai还提供了稳定扩散模型的图像生成API、语音转文字的语音识别API等服务。

一张图生成多视角扩散基础模型

Zero123++是一个单图生成多视角一致性扩散基础模型。它可以从单个输入图像生成多视角图像，具有稳定的扩散VAE。您可以使用它来生成具有灰色背景的不透明图像。您还可以使用它来运行深度ControlNet。模型和源代码均可在官方网站上获得。

高分辨率图像生成模型，快速生成，少步推理

Latent Consistency Models是一种高分辨率图像生成模型，通过少步推理快速生成高保真度图像。LCMs可以从任何预训练的稳定扩散模型中提取，只需要32个A100 GPU小时的训练即可生成高质量的768×768分辨率图像。此外，LCMs还引入了一种名为Latent Consistency Fine-tuning（LCF）的新方法，可以在自定义图像数据集上进行微调，实现定制化图像生成。

文本兼容图像提示适配器，用于文本到图像扩散模型。

IP-Adapter是一款轻量级的适配器，可为预训练的文本到图像扩散模型实现图像提示功能。其关键设计是解耦的交叉注意力机制，可将文本特征和图像特征的交叉注意力层分离。IP-Adapter不仅可以与现有的可控工具兼容，还可以与文本提示一起实现多模态图像生成。与其他现有方法相比，IP-Adapter不仅在图像质量方面表现更好，而且可以生成更符合多模态提示的图像。

通过 ControlNet 模型精确控制图像生成

ControlNet 是一个稳定扩散模型，可让您从参考图像中精确复制组合或人体姿势。ControlNet 模型可以与任何稳定扩散模型一起使用，为您提供更多控制图像生成的方式。

提升3D内容创造的合成数据框架

Bootstrap3D是一个用于改善3D内容创造的框架，通过合成数据生成技术，解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型，基于文本提示生成多视角图像，并使用3D感知的MV-LLaVA模型筛选高质量数据，重写不准确的标题。该框架已生成了100万张高质量合成多视角图像，具有密集的描述性标题，以解决高质量3D数据的短缺问题。此外，它还提出了一种训练时间步重排(TTR)策略，利用去噪过程学习多视角一致性，同时保持原始的2D扩散先验。

多视角草图引导的文本到 3D 生成

Sketch2NeRF 是一种多视角草图引导的文本到 3D 生成框架。它通过预训练的 2D 扩散模型（如 Stable Diffusion 和 ControlNet）来优化由神经辐射场（NeRF）表示的 3D 场景。该方法还提出了一种新颖的同步生成和重建方法，以有效优化 NeRF。通过收集的两种多视角草图数据集进行实验评估，证明了我们的方法能够在高保真度的文本提示下合成具有精细草图控制的一致的 3D 内容。广泛的结果表明，我们的方法在草图相似性和文本对齐方面实现了最先进的性能。

通过无光照纹理扩散模型任意绘制3D

Paint3D能够为无纹理的3D网格生成高分辨率、无光照效果、多样化的2K UV纹理图,同时基于文本或图像输入进行条件化生成。它通过预训练的考虑深度信息的2D扩散模型首先生成视角条件图像并进行多视角纹理融合来获得初始的粗糙纹理图。然后它使用专门的UV补全和UVHD纹理模型来去除光照效果和填补不完整区域。Paint3D可以生成语义一致、无光照的高质量2K UV纹理,从而显著提升无纹理3D物体的纹理生成水平。

使用预训练扩散模型制作视觉错觉

Visual Anagrams是一种简单的、零样本方法，用于生成多视角视觉错觉。我们展示了理论和实践证明，我们的方法支持广泛的变换，包括旋转、翻转、颜色反转、倾斜、拼图重排和随机排列等。我们的方法使用预训练扩散模型来估计图像的不同视角或变换中的噪声，并将其对齐并平均。然后使用这个平均噪声估计来进行扩散步骤。使用Visual Anagrams，您可以制作出多种多视角视觉错觉。