产品库

基于图像扩散模型的得分蒸馏采样方法

Score Distillation Sampling（SDS）是一种新近但已经广泛流行的方法，依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析，确定了其制定中的固有问题，并提出了一个出人意料但有效的修复方法。具体而言，我们将损失分解为不同因素，并分离出产生噪声梯度的组件。在原始制定中，使用高文本指导来账户噪声，导致了不良副作用。相反，我们训练了一个浅层网络，模拟图像扩散模型的时间步相关去噪不足，以有效地将其分解出来。我们通过多个定性和定量实验（包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成）展示了我们新颖损失制定的多功能性和有效性。

多功能大规模扩散模型，支持双向图像合成与理解。

OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。

最新的图像上色算法

DDColor 是最新的图像上色算法，输入一张黑白图像，返回上色处理后的彩色图像，并能够实现自然生动的上色效果。 该模型为黑白图像上色模型，输入一张黑白图像，实现端到端的全图上色，返回上色处理后的彩色图像。 模型期望使用方式和适用范围： 该模型适用于多种格式的图像输入，给定黑白图像，生成上色后的彩色图像；给定彩色图像，将自动提取灰度通道作为输入，生成重上色的图像。

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

朱雀大模型检测，精准识别AI生成图像，助力内容真实性鉴别。

朱雀大模型检测是腾讯推出的一款AI检测工具，主要功能是检测图片是否由AI模型生成。它经过大量自然图片和生成图片的训练，涵盖摄影、艺术、绘画等内容，可检测多类主流文生图模型生成图片。该产品具有高精度检测、快速响应等优点，对于维护内容真实性、打击虚假信息传播具有重要意义。目前暂未明确其具体价格，但从功能来看，主要面向需要进行内容审核、鉴别真伪的机构和个人，如媒体、艺术机构等。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

使用扩散模型实现时域一致的人体图像动画

MagicAnimate是一款基于扩散模型的先进框架，用于人体图像动画。它能够从单张图像和动态视频生成动画视频，具有时域一致性，能够保持参考图像的特征，并显著提升动画的保真度。MagicAnimate支持使用来自各种来源的动作序列进行图像动画，包括跨身份的动画和未见过的领域，如油画和电影角色。它还与DALLE3等T2I扩散模型无缝集成，可以根据文本生成的图像赋予动态动作。MagicAnimate由新加坡国立大学Show Lab和Bytedance字节跳动共同开发。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

一款基于扩散模型的服装试穿技术

TryOnDiffusion是一种创新的图像合成技术，它通过两个UNets（Parallel-UNet）的结合，实现了在单一网络中同时保持服装细节和适应显著的身体姿势及形状变化。这项技术在保持服装细节的同时，能够适应不同的身体姿势和形状，解决了以往方法在细节保持和姿势适应上的不足，达到了业界领先的性能。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

AI 图像生成进入 “毫秒级” 时代，速度快、质量高。

腾讯混元图像 2.0 是腾讯最新发布的 AI 图像生成模型，显著提升了生成速度和画质。通过超高压缩倍率的编解码器和全新扩散架构，使得图像生成速度可达到毫秒级，避免了传统生成的等待时间。同时，模型通过强化学习算法与人类美学知识的结合，提升了图像的真实感和细节表现，适合设计师、创作者等专业用户使用。

虚拟试穿产品图像修复模型

Diffuse to Choose 是一种基于扩散的图像修复模型，主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。通过将参考图像的细节特征直接融入主要扩散模型的潜在特征图中，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。

盲图像恢复技术，利用即时生成参考图像恢复破损图像

InstantIR是一种基于扩散模型的盲图像恢复方法，能够在测试时处理未知退化问题，提高模型的泛化能力。该技术通过动态调整生成条件，在推理过程中生成参考图像，从而提供稳健的生成条件。InstantIR的主要优点包括：能够恢复极端退化的图像细节，提供逼真的纹理，并且通过文本描述调节生成参考，实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发，得到了HuggingFace和fal.ai的赞助支持。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

AI 图像擦除器，轻松删除照片中不需要的人、物体、文字和水印。

AI 图像擦除器是一款基于人工智能技术的工具，能够快速、简单地从照片中删除不需要的内容，提高照片的整体质量。该工具操作简便，免费使用，适用于个人和专业用户。

更智能、更高效、更好用

悟空图像是国内一款可以替代AdobePhotoShop的专业图像处理软件，采用全新的设计理念和人工智能算法，让每个用户都能快速上手、快速出图。悟空图像不仅是国内首款支持50亿像素级超大图片处理，双向兼容PS文件格式，更支持全平台运行。悟空图像提供海量素材与模板，让你的创作不再从“0”开始；多达一百多种各类画笔，让创意设计更加得心应手；超多种组合特色功能，能够准确高效地实现用户办公需求。悟空图像圆你一个“创意设计大师”的梦，即使“0”基础，也能创作出专业级的效果！

基于扩散反转的多步图像超分辨率模型

InvSR是一种基于扩散反转的图像超分辨率技术，利用大型预训练扩散模型中丰富的图像先验来提高超分辨率性能。该技术通过部分噪声预测策略构建扩散模型的中间状态，作为起始采样点，并使用深度噪声预测器估计最优噪声图，从而在前向扩散过程中初始化采样，生成高分辨率结果。InvSR支持任意数量的采样步骤，从一到五步不等，即使仅使用单步采样，也展现出优于或媲美现有最先进方法的性能。

自由形式文本图像合成与理解的视觉语言大模型

InternLM-XComposer2是一款领先的视觉语言模型，擅长自由形式文本图像合成与理解。该模型不仅能够理解传统的视觉语言，还能熟练地从各种输入中构建交织的文本图像内容，如轮廓、详细的文本规范和参考图像，实现高度可定制的内容创作。InternLM-XComposer2提出了一种部分LoRA（PLoRA）方法，专门将额外的LoRA参数应用于图像标记，以保留预训练语言知识的完整性，实现精确的视觉理解和具有文学才能的文本构成之间的平衡。实验结果表明，基于InternLM2-7B的InternLM-XComposer2在生成高质量长文本多模态内容方面优越，以及在各种基准测试中其出色的视觉语言理解性能，不仅明显优于现有的多模态模型，还在某些评估中与甚至超过GPT-4V和Gemini Pro。这凸显了它在多模态理解领域的卓越能力。InternLM-XComposer2系列模型具有7B参数，可在https://github.com/InternLM/InternLM-XComposer 上公开获取。

AI生成图像鉴别挑战网站

AI判官是一个AI生成图像鉴别挑战的网站。它提供了普通模式、无尽模式和竞速模式三种游戏玩法。用户可以通过不同难度的游戏来提高自己分辨真实图片和AI生成图片的能力。该网站提供大量高质量的真实图片和AI生成图片作为判别素材。它的出现是对近期AI生成图片技术的一个回应,旨在提高公众的媒体识读能力。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。它可以无缝地将目标物体嵌入到用户指定的新场景位置。AnyDoor先使用分割器去除目标物体的背景,然后使用ID提取器捕捉身份信息(ID令牌)。这些信息以及目标物体的细节被输入到一个预训练的文本到图像扩散模型中。在提取的信息和细节的指导下,该模型生成所需的图像。这个模型的独特之处在于,它不需要为每个物体调整参数。此外,它强大的自定义功能允许用户轻松地在场景图像中定位和调整物体,实现高保真和多样化的零次射物体-场景合成。除了照片编辑之外,该工具在电子商务领域也具有广阔的应用前景。借助AnyDoor,“一键更换服装”等概念得以实现,使用真人模型进行衣着互换,为用户提供更加个性化的购物体验。从更广泛的意义上说,AnyDoor也可以被理解为“一键Photoshop合成”或Photoshop中的“上下文感知移动工具”。它具有无缝图像集成和交换场景物体以及将图像对象放置到目标位置的功能。通过利用先进技术的力量,AnyDoor从本质上重新定义了图像操作,承诺在日常交互中提供多种更人性化的应用。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

基于级联扩散的文本到图像生成系统

CogView3是一个基于级联扩散的文本到图像生成系统，使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段，并通过中继超分辨率过程，在低分辨率生成结果上添加高斯噪声，从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL，具有更快的生成速度和更高的图像质量。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

动态视角合成的扩散先验模型

本论文提出了一种基于扩散先验的动态视角合成方法，用于从单目视频中生成动态场景的新视角。该方法通过对视频帧进行微调和知识蒸馏，实现了几何一致性和场景一致性。论文通过定性和定量实验评估了方法的有效性和鲁棒性，证明了该方法在复杂场景下的优势。

高效图像合成的新框架

Hyper-SD是一个创新的图像合成框架，它通过轨迹分割一致性模型和低步数推理的优势，实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势，同时通过人类反馈学习进一步提升了性能，并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能，特别适合需要快速且高质量图像生成的应用场景。