产品库

基于LDM的服装驱动图像合成AI

MagicClothing是一种基于潜在扩散模型（LDM）的新型网络架构，专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像，同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术，实现了高度的图像可控性，并且可以与ControlNet和IP-Adapter等其他技术结合使用，以提升角色的多样性和可控性。此外，还开发了匹配点LPIPS（MP-LPIPS）评估指标，用于评价生成图像与原始服装的一致性。

训练免费高分辨率图像合成的频率视角

FouriScale从频域分析的角度探讨从预先训练的扩散模型生成高分辨率图像，通过创新的、无需训练的方法，通过将预先训练的扩散模型中的原始卷积层替换为结合膨胀技术和低通操作的方法，通过填充然后裁剪策略进一步增强，实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，该方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量生成的惊人能力。通过其简单性和兼容性，该方法可以为未来对超高分辨率图像合成的探索提供有价值的见解。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

OOTDiffusion是一个高度可控的虚拟服装试穿开源工具

OOTDiffusion是一个基于潜在扩散模型的虚拟服装试穿开源工具。它支持半身和全身两种模型,可以实现服装的自然融合。用户可以通过调节各种参数实现对试穿效果的精确控制,满足不同的需求。该工具开源在GitHub上,已获得超过300星的关注。

超高清图像合成技术的新高峰

UltraPixel是一种先进的超高清图像合成技术，旨在推动图像分辨率达到新的高度。这项技术由香港科技大学（广州）、华为诺亚方舟实验室、马克斯·普朗克信息学研究所等机构共同研发。它在图像合成、文本到图像的转换、个性化定制等方面具有显著优势，能够生成高达4096x4096分辨率的图像，满足专业图像处理和视觉艺术的需求。

高效图像合成的新框架

Hyper-SD是一个创新的图像合成框架，它通过轨迹分割一致性模型和低步数推理的优势，实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势，同时通过人类反馈学习进一步提升了性能，并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能，特别适合需要快速且高质量图像生成的应用场景。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

低成本高质量文本到图像生成模型

PIXART-α是一种基于Transformer的文本到图像生成模型，其图像生成质量与最先进的图像生成器相当，支持高分辨率图像合成，训练速度明显优于现有的大规模T2I模型，训练成本低，可节省近30万美元，并减少90%的CO2排放。PIXART-α在图像质量、艺术性和语义控制方面表现出色，可为AIGC社区和初创企业提供新的见解，加速从头开始构建高质量、低成本的生成模型。

360°几何感知3D全头合成

PanoHead是一个360°几何感知3D全头合成方法,能够仅依靠野外非结构化图像进行训练,实现高质量视图一致的360°全头部图像合成,具有不同的外观和详细的几何形状。

实现你的创意，AI 图像生成新体验

Vispunk 是一款AI图像生成工具，提供了前所未有的控制能力，能够将你的创意转化为惊艳的图像。通过 Vispunk，你可以轻松合成具有各种姿势的物体和人物的库存图像，还可以一键切换到20多种令人惊叹的风格，如电影摄影师、动漫艺术家、水彩画家、像素艺术设计师等。此外，Vispunk还提供了先进的AI编辑工具，如生成填充、图像无损放大、神奇擦除和背景去除，让你以前所未有的方式进行创作。Vispunk旨在帮助各类创作者实现完美的图像合成。

大规模的生成对抗网络用于文本到图像的合成

GigaGAN是一种大规模的GAN模型，用于文本到图像的合成。它具有快速的推理速度、高分辨率图像生成能力和可编辑的潜在空间，支持多种潜在空间编辑应用，如潜在插值、样式混合和向量算术操作。GigaGAN可以生成512像素的图像，每秒钟可以生成多达7.7张图像，支持16兆像素的图像合成。它是一种高效的文本到图像合成模型，可用于多种应用场景。

AI图像生成和编辑器

FACET是一款协作式AI图像生成和编辑器，为专业图像合成提供支持。个性化、私密的AI生成，根据您的审美进行微调。只需几张样本图片和文本标签，训练一个能理解特定风格的定制AI模型。

一键去除图片背景，方便快捷

RemovePanda是一款强大的图片编辑工具，提供自动背景去除和对象选择功能。无论您想要创建透明的PNG图像，还是将对象与其他图像合成，甚至只是去除照片中的干扰元素，RemovePanda都能帮助您轻松实现。功能丰富，操作简便，适用于各种图像处理需求。RemovePanda提供免费和付费版本，不同版本拥有不同的额外功能和服务。

在线图像编辑器，使用Ai自动处理光线和背景

Depix是一款在线图像编辑器，使用Ai技术自动处理光线和背景。它提供背景去除、图像合成和光影处理等功能。Depix可应用于电子商务和营销等多个场景。定价和其他详细信息，请访问官方网站。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

高保真3D头像生成模型

RodinHD是一个基于扩散模型的高保真3D头像生成技术，由Bowen Zhang、Yiji Cheng等研究者开发，旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足，通过新颖的数据调度策略和权重整合正则化项，提高了解码器渲染锐利细节的能力。此外，通过多尺度特征表示和交叉注意力机制，优化了肖像图像的引导效果，生成的3D头像在细节上显著优于以往方法，并且能够泛化到野外肖像输入。

从单张图片生成3D角色模型

CharacterGen是一个高效的3D角色生成框架，能够从单张输入图片生成具有高质量和一致外观的3D姿势统一的角色网格。它通过流线化的生成管道和图像条件多视图扩散模型，有效校准输入姿势到规范形式，同时保留输入图像的关键属性，解决了多样化姿势带来的挑战。它还采用了基于变换器的通用稀疏视图重建模型，以及纹理反投影策略，生成高质量的纹理图。

基于潜在扩散模型的大规模文本到图像生成模型

Kolors是由快手Kolors团队开发的大规模文本到图像生成模型，基于潜在扩散模型，训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面，均优于开源和闭源模型。Kolors支持中英文输入，尤其在理解及生成中文特定内容方面表现突出。

高效渲染被遮挡的人体

OccFusion是一种创新的人体渲染技术，利用3D高斯散射和预训练的2D扩散模型，即使在人体部分被遮挡的情况下也能高效且高保真地渲染出完整的人体图像。这项技术通过三个阶段的流程：初始化、优化和细化，显著提高了在复杂环境下人体渲染的准确性和质量。

高质量人体动作视频生成

MimicMotion是由腾讯公司和上海交通大学联合研发的高质量人体动作视频生成模型。该模型通过信心感知的姿态引导，实现了对视频生成过程的可控性，提高了视频的时序平滑性，并减少了图像失真。它采用了先进的图像到视频的扩散模型，结合了时空U-Net和PoseNet，能够根据姿势序列条件生成任意长度的高质量视频。MimicMotion在多个方面显著优于先前的方法，包括手部生成质量、对参考姿势的准确遵循等。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

一种高效的遮蔽扩散语言模型。

Masked Diffusion Language Models (MDLM) 是一种新型的语言模型，它通过遮蔽和扩散机制来生成高质量的文本数据。MDLM 通过改进的训练方法和简化的目标函数，提高了遮蔽扩散模型的性能，使其在语言建模基准测试中达到了新的最佳状态，并接近自回归模型的困惑度。MDLM 的主要优点包括高效的采样器、支持生成任意长度的文本，以及在长程依赖和可控生成方面的优势。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

实时表情生成人类模型

PROTEUS是Apparate Labs推出的一款下一代基础模型，用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型，创新的潜在空间设计实现了实时效率，并能通过进一步的架构和算法改进，达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现，为人工对话实体提供直观的接口，并且与多种大型语言模型兼容，可定制用于多种不同应用。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

从单一图像或文本生成可探索的3D场景

VividDream是一项创新技术，能够从单一输入图像或文本提示生成具有环境动态的可探索4D场景。它首先将输入图像扩展为静态3D点云，然后使用视频扩散模型生成动画视频集合，并通过优化4D场景表示来实现一致性运动和沉浸式场景探索。这项技术为生成基于多样真实图像和文本提示的引人入胜的4D体验提供了可能。

自由风格人像动画框架

Follow-Your-Emoji是一个基于扩散模型的人像动画框架，能够将目标表情序列动画化到参考人像上，同时保持人像身份的一致性、表情的传递、时间的连贯性和保真度。它通过采用表情感知标志和面部细粒度损失技术，显著提升了模型在控制自由风格人像表情方面的表现，包括真实人物、卡通、雕塑甚至动物。此外，它还通过简单有效的逐步生成策略，扩展到稳定的长期动画，增加了其潜在的应用价值。