产品库

使用预训练扩散模型制作视觉错觉

Visual Anagrams是一种简单的、零样本方法，用于生成多视角视觉错觉。我们展示了理论和实践证明，我们的方法支持广泛的变换，包括旋转、翻转、颜色反转、倾斜、拼图重排和随机排列等。我们的方法使用预训练扩散模型来估计图像的不同视角或变换中的噪声，并将其对齐并平均。然后使用这个平均噪声估计来进行扩散步骤。使用Visual Anagrams，您可以制作出多种多视角视觉错觉。

SeedVR: 一种用于通用视频修复的扩散变换器模型

SeedVR 是一种创新的扩散变换器模型，专门用于处理真实世界中的视频修复任务。该模型通过其独特的移位窗口注意力机制，能够高效地处理任意长度和分辨率的视频序列。SeedVR 的设计使其在生成能力和采样效率方面都取得了显著的提升，相较于传统的扩散模型，它在合成和真实世界的基准测试中均表现出色。此外，SeedVR 还结合了因果视频自编码器、混合图像和视频训练以及渐进式训练等现代实践，进一步提高了其在视频修复领域的竞争力。作为一种前沿的视频修复技术，SeedVR 为视频内容创作者和后期制作人员提供了一种强大的工具，能够显著提升视频质量，尤其是在处理低质量或损坏的视频素材时。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

基于预训练的纯视觉变换器提升图像抠图

ViTMatte是一个基于预训练纯视觉变换器（Plain Vision Transformers, ViTs）的图像抠图系统。它利用混合注意力机制和卷积颈部来优化性能与计算之间的平衡，并引入了细节捕获模块以补充抠图所需的细节信息。ViTMatte是首个通过简洁的适配释放ViT在图像抠图领域潜力的工作，继承了ViT在预训练策略、简洁的架构设计和灵活的推理策略等方面的优势。在Composition-1k和Distinctions-646这两个最常用的图像抠图基准测试中，ViTMatte达到了最先进的性能，并以较大优势超越了先前的工作。

利用扩散变换器生成高质量的3D资产。

3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

基于强化学习技术的视觉思考模型，理科测试行业领先

Kimi视觉思考模型k1是基于强化学习技术打造的AI模型，原生支持端到端图像理解和思维链技术，并将能力扩展到数学之外的更多基础科学领域。在数学、物理、化学等基础科学学科的基准能力测试中，k1模型的表现超过了全球标杆模型。k1模型的发布标志着AI在视觉理解和思考能力上的新突破，尤其在处理图像信息和基础科学问题上展现出色的表现。

MakeAnything 是一个用于多领域程序化序列生成的扩散变换器模型。

MakeAnything 是一个基于扩散变换器的模型，专注于多领域程序化序列生成。该技术通过结合先进的扩散模型和变换器架构，能够生成高质量的、逐步的创作序列，如绘画、雕塑、图标设计等。其主要优点在于能够处理多种领域的生成任务，并且可以通过少量样本快速适应新领域。该模型由新加坡国立大学 Show Lab 团队开发，目前以开源形式提供，旨在推动多领域生成技术的发展。

AI图像处理技术，为您的图片增添纹理，实时创建惊艳的视觉变换。

RetextureAI利用AI技术实现图像处理，能够快速为图片增添纹理，实现视觉上的瞬间变换。其主要优点在于提供先进的纹理生成功能，让用户轻松实现图片的艺术化处理。

一种用于扩散变换器的上下文LoRA微调技术

In-Context LoRA是一种用于扩散变换器（DiTs）的微调技术，它通过结合图像而非仅仅文本，实现了在保持任务无关性的同时，对特定任务进行微调。这种技术的主要优点是能够在小数据集上进行有效的微调，而不需要对原始DiT模型进行任何修改，只需改变训练数据即可。In-Context LoRA通过联合描述多张图像并应用任务特定的LoRA微调，生成高保真度的图像集合，更好地符合提示要求。该技术对于图像生成领域具有重要意义，因为它提供了一种强大的工具，可以在不牺牲任务无关性的前提下，为特定任务生成高质量的图像。

视频生成的轨迹导向扩散变换器

Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

InstantCharacter 是一种基于扩散变换器的角色个性化框架。

InstantCharacter 是一个基于扩散变换器的角色个性化框架，旨在克服现有学习基础自定义方法的局限性。该框架的主要优点在于开放域个性化、高保真结果以及有效的角色特征处理能力，适合各种角色外观、姿势和风格的生成。该框架利用一个包含千万级样本的大规模数据集进行训练，以实现角色一致性和文本可编辑性的同时优化。该技术为角色驱动的图像生成设定了新的基准。

基于扩散模型的2D虚拟形象生成框架

Make-Your-Anchor是一个基于扩散模型的2D虚拟形象生成框架。它只需一段1分钟左右的视频素材就可以自动生成具有精确上身和手部动作的主播风格视频。该系统采用了一种结构引导的扩散模型来将3D网格状态渲染成人物外观。通过两阶段训练策略,有效地将运动与特定外观相绑定。为了生成任意长度的时序视频,将frame-wise扩散模型的2D U-Net扩展到3D形式,并提出简单有效的批重叠时序去噪模块,从而突破推理时的视频长度限制。最后,引入了一种基于特定身份的面部增强模块,提高输出视频中面部区域的视觉质量。实验表明,该系统在视觉质量、时序一致性和身份保真度方面均优于现有技术。

Qihoo-T2X，一款针对文本到任意任务的高效扩散变换器模型。

Qihoo-T2X是由360CVGroup开发的一个开源项目，它代表了一种创新的文本到任意任务（Text-to-Any）的扩散变换器（DiT）架构范式。该项目旨在通过代理令牌技术，提高文本到任意任务的处理效率。Qihoo-T2X项目是一个正在进行中的项目，其团队承诺将持续优化和增强其功能。

PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型（Diffusion Transformer）

PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型，相较于前身PixArt-α，它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程，它通过结合更高质量的数据，从“较弱”的基线模型进化到“更强”的模型，这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。

开源视觉基础模型

InternVL通过将ViT模型扩展到60亿参数并与语言模型对齐,构建出目前最大的14B开源视觉基础模型,在视觉感知、跨模态检索、多模态对话等广泛任务上取得了32项state-of-the-art性能。

基于感知损失的扩散模型

该论文介绍了一种基于感知损失的扩散模型，通过将感知损失直接纳入扩散训练中来提高样本质量。对于有条件生成，该方法仅改善样本质量而不会影响条件输入，因此不会牺牲样本多样性。对于无条件生成，这种方法也能提高样本质量。论文详细介绍了方法的原理和实验结果。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

将炫酷的视错觉动画引入ComfyUI

ComfyUI Animated Optical Illusions 是一款为ComfyUI用户界面设计的视觉插件，它通过动画视错觉效果，增强了用户的视觉体验，为界面设计带来了创新和趣味性。该插件采用Python语言开发，具有高度的可定制性和互动性，适合那些寻求在界面设计中添加新颖元素的开发者和设计师。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

升级扩散模型插件通用兼容性

X-Adapter是一个通用升级工具，可以使预训练的插件模块（例如ControlNet、LoRA）直接与升级的文本到图像扩散模型（例如SD-XL）配合使用，无需进一步重新训练。通过训练额外的网络来控制冻结的升级模型，X-Adapter保留旧模型的连接器，并添加可训练的映射层以连接不同版本模型的解码器进行特征重映射。重映射的特征将作为升级模型的引导。为了增强X-Adapter的引导能力，我们采用空文本训练策略。在训练后，我们还引入了两阶段去噪策略，以调整X-Adapter和升级模型的初始潜变量。X-Adapter展示了与各种插件的通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们进行了大量实验证明，X-Adapter可能在升级的基础扩散模型中有更广泛的应用。

生成大型属性图的扩散模型

GraphMaker是一个用于生成大型属性图的扩散模型。它可以同时生成节点属性和图结构，也可以先生成节点属性再生成图结构。支持的数据集包括cora、citeseer、amazon_photo和amazon_computer。您可以使用训练好的模型来生成图。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

变换服饰，创意无限。

drippi是一款能够让用户将朋友或自己的衣服变换成任何想象中的装扮的应用程序。它通过AI技术，让用户可以轻松地尝试不同的风格，无论是战术装备还是设计师西装，都可以一键生成。用户还可以在社交动态中浏览其他人生成的装扮图片，并使用自己的图片进行混合搭配。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

基于扩散模型实现的图片编辑方案

DragonDiffusion 是一种基于扩散模型的精细化图片编辑方案，支持对象移动、对象调整大小、对象外观替换和内容拖拽等多种编辑模式。通过特征对应损失将编辑信号转化为梯度，修改扩散模型的中间表示。特征对应损失考虑了语义和几何对齐的多个尺度，并添加了跨分支自注意力机制以保持原始图像和编辑结果的一致性。

一张图生成多视角扩散基础模型

Zero123++是一个单图生成多视角一致性扩散基础模型。它可以从单个输入图像生成多视角图像，具有稳定的扩散VAE。您可以使用它来生成具有灰色背景的不透明图像。您还可以使用它来运行深度ControlNet。模型和源代码均可在官方网站上获得。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。