产品库

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

使用扩散指引对文本感知图像进行细粒度风格控制

DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。

Visual Autoregressive Modeling: 新的视觉生成范式

VAR是一种新的视觉自回归建模方法,能够超越扩散模型,实现更高效的图像生成。它建立了视觉生成的幂律scaling laws,并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型,供用户探索和使用。

训练免费高分辨率图像合成的频率视角

FouriScale从频域分析的角度探讨从预先训练的扩散模型生成高分辨率图像，通过创新的、无需训练的方法，通过将预先训练的扩散模型中的原始卷积层替换为结合膨胀技术和低通操作的方法，通过填充然后裁剪策略进一步增强，实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，该方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量生成的惊人能力。通过其简单性和兼容性，该方法可以为未来对超高分辨率图像合成的探索提供有价值的见解。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

高分辨率3D内容生成的多视图高斯模型

LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。

SegMoE 是一个强大的框架，能够在几分钟内将稳定扩散模型动态组合成专家混合体，无需训练。

SegMoE 是一个强大的框架，能够在几分钟内将稳定扩散模型动态组合成专家混合体，无需训练。该框架支持即时创建更大的模型，提供更多知识、更好的粘附性和更好的图像质量。它受到 mergekit 的 mixtral 分支的启发，但专为 Stable Diffusion 模型设计。安装简单，使用方便，适用于图像生成和合成任务。

SVD 1.1 Image-to-Video 模型生成短视频

Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一个扩散模型，通过将静止图像作为条件帧，生成相应的视频。该模型是一个潜在扩散模型，经过训练，能够从图像生成短视频片段。在分辨率为 1024x576 的情况下，该模型训练生成 25 帧视频，其训练基于相同大小的上下文帧，并从 SVD Image-to-Video [25 frames] 进行了微调。微调时，固定了6FPS和Motion Bucket Id 127的条件，以提高输出的一致性，而无需调整超参数。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

秒速零拍照生成身份保留

InstantID是一种基于强大扩散模型的解决方案，能够在各种风格下使用单张面部图像进行图像个性化处理，同时确保高保真度。我们设计了一个新颖的IdentityNet，通过施加强大的语义和弱空间条件，将面部和地标图像与文本提示集成，引导图像生成。InstantID在实际应用中表现出色，并且能够与流行的预训练文本到图像扩散模型（如SD1.5和SDXL）无缝集成，作为一个可适配的插件。我们的代码和预训练检查点将在此URL上提供。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

高分辨率图像生成的无门槛解决方案

DemoFusion 是一款无需高额费用的高分辨率图像生成解决方案。通过使用渐进式升采样、跳跃残差和扩张采样等机制，DemoFusion 扩展了开源生成人工智能模型，实现了更高分辨率的图像生成。它具有简单易用的特点，无需调整参数和大量内存，适用于广泛的用户群体。DemoFusion 可以与其他基于潜在扩散模型的应用程序无缝集成，实现可控的高分辨率图像生成。

AI驱动的文本到视频生成

Emu Video是一种基于扩散模型的简单文本到视频生成方法，将生成过程分解为两个步骤：首先根据文本提示生成图像，然后根据提示和生成的图像生成视频。分解生成方式能够高效训练高质量的视频生成模型。与以往的方法相比，我们的方法只需使用两个扩散模型即可生成分辨率为512像素、播放速度为每秒16帧、时长为4秒的视频。

Lemonfox.ai提供便宜的AI API服务

Lemonfox.ai是一个提供便宜AI API服务的网站,主打产品是以GPT-3.5为基础的语言模型API。该API兼容OpenAI,但价格只有OpenAI的1/4,非常适合构建具备聊天、写作功能的应用。此外,Lemonfox.ai还提供了稳定扩散模型的图像生成API、语音转文字的语音识别API等服务。

高分辨率图像生成模型，快速生成，少步推理

Latent Consistency Models是一种高分辨率图像生成模型，通过少步推理快速生成高保真度图像。LCMs可以从任何预训练的稳定扩散模型中提取，只需要32个A100 GPU小时的训练即可生成高质量的768×768分辨率图像。此外，LCMs还引入了一种名为Latent Consistency Fine-tuning（LCF）的新方法，可以在自定义图像数据集上进行微调，实现定制化图像生成。

文本兼容图像提示适配器，用于文本到图像扩散模型。

IP-Adapter是一款轻量级的适配器，可为预训练的文本到图像扩散模型实现图像提示功能。其关键设计是解耦的交叉注意力机制，可将文本特征和图像特征的交叉注意力层分离。IP-Adapter不仅可以与现有的可控工具兼容，还可以与文本提示一起实现多模态图像生成。与其他现有方法相比，IP-Adapter不仅在图像质量方面表现更好，而且可以生成更符合多模态提示的图像。

通过 ControlNet 模型精确控制图像生成

ControlNet 是一个稳定扩散模型，可让您从参考图像中精确复制组合或人体姿势。ControlNet 模型可以与任何稳定扩散模型一起使用，为您提供更多控制图像生成的方式。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

通过生成式人工智能创造带有惊喜和情感的视觉效果，降低电子商务和营销的创意制作成本。

Fotographer.ai是一个AI产品图像生成器，通过生成式人工智能创造出令人惊喜和情感的视觉效果。它可以帮助降低电子商务和营销领域的创意制作成本。该产品使用先进的AI技术，可以根据指定的文本或产品图像，快速生成逼真的照片和背景图像。它不仅可以节省摄影产品和模特的时间和费用，还提供了丰富的AI模特照片库，可以用于广告和营销。

一种用于增强身份保留文本到图像生成的反馈学习框架

ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架，它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留，并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型，通过广泛的实验验证了其有效性。

虚拟时尚模特为电子商务服装品牌展示。

Model Muse是一个为电子商务服装品牌提供虚拟时尚模特的平台。它利用最新的人工智能图像生成技术，为品牌创造独特的模特形象，以代替传统高成本的拍摄。该平台可以轻松定制模特的特征，使其成为品牌的真实声音。

高效图像合成的新框架

Hyper-SD是一个创新的图像合成框架，它通过轨迹分割一致性模型和低步数推理的优势，实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势，同时通过人类反馈学习进一步提升了性能，并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能，特别适合需要快速且高质量图像生成的应用场景。

智能工具，激发创意无限

DeepAI是一个提供多种人工智能工具的网站，包括AI视频生成器、AI图像生成器、AI图像编辑器和AI角色聊天等。用户可以利用这些工具将静态图片和文本提示转换成简短的视频动画，或者通过输入提示来生成图像。DeepAI的AI图像编辑器允许用户快速编辑图片，而AI角色聊天则可以与各种角色进行互动。此外，还有去除背景和给黑白照片上色的功能。DeepAI提供PRO会员服务，享受无广告体验、私有图片存储和API访问等特权。

AI学习平台

Generative AI Courses是一家提供AI学习课程的在线平台。通过课程学习，用户可以掌握GenAI、AI、机器学习、深度学习、chatGPT、DALLE、图像生成、视频生成、文本生成等技术，并了解2024年AI领域的最新发展。

自托管的开源OpenAI替代品，支持文本、音频、图像生成

LocalAI 是一个自托管的开源 OpenAI 替代品，可在消费级硬件上运行，支持本地或本地部署的文本、音频、图像生成。它提供了 GPT 等模型的文本生成功能，同时支持文本转语音、图像生成等多种功能。由于其开源自托管的特性，用户可以自由定制和部署，不受云端 API 限制，适合对数据隐私和安全性有要求的用户。LocalAI 的定位是为那些寻求自主控制、不依赖于第三方服务的个人用户或组织提供强大的 AI 生成能力。

使用 Meta AI 助手完成任务、创建免费 AI 生成图像和获取任何问题的答案

Meta AI 是一款功能强大的 AI 助理,建立在 Meta 的先进 AI 技术之上。它可以帮助您完成各种任务,如创建备忘单、润色电子邮件写作、回答问题等。同时它还具有图像生成功能,可以根据您的文字描述生成相应的图像。Meta AI 免费使用,致力于为用户提供高效、智能、多功能的 AI 体验。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。