产品库

一种用于零样本定制图像生成的扩散自蒸馏技术

Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术，用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下，通过预训练的文本到图像的模型生成自己的数据集，进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法，并能与每个实例的调优技术相媲美，无需测试时优化。

视频重渲染：零样本文本引导的视频到视频翻译

RERENDER A VIDEO是一种新颖的零样本文本引导的视频到视频翻译框架，用于将图像模型应用于视频领域。该框架包括两个部分：关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧，并应用分层跨帧约束来确保形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。我们的框架以低成本实现了全局风格和局部纹理的时间一致性（无需重新训练或优化）。该适应性与现有的图像扩散技术兼容，使我们的框架能够利用它们，例如使用LoRA自定义特定主题，并使用ControlNet引入额外的空间引导。大量实验证明了我们提出的框架在呈现高质量和时间一致性视频方面的有效性。

VideoGrain 是一种零样本方法，用于实现类别级、实例级和部件级的视频编辑。

VideoGrain 是一种基于扩散模型的视频编辑技术，通过调节时空注意力机制实现多粒度视频编辑。该技术解决了传统方法中语义对齐和特征耦合的问题，能够对视频内容进行精细控制。其主要优点包括零样本编辑能力、高效的文本到区域控制以及特征分离能力。该技术适用于需要对视频进行复杂编辑的场景，如影视后期、广告制作等，能够显著提升编辑效率和质量。

零样本风格化情侣肖像创作

Omni-Zero-Couples是一个使用diffusers管道的零样本风格化情侣肖像创作模型。它利用深度学习技术，无需预先定义的风格样本，即可生成具有特定艺术风格的情侣肖像。这种技术在艺术创作、个性化礼物制作和数字娱乐领域具有广泛的应用前景。

零样本声音转换技术，实现音质与音色的高保真转换。

seed-vc 是一个基于 SEED-TTS 架构的声音转换模型，能够实现零样本的声音转换，即无需特定人的声音样本即可转换声音。该技术在音频质量和音色相似性方面表现出色，具有很高的研究和应用价值。

X-Dyna是一种基于扩散模型的零样本人类图像动画生成技术。

X-Dyna是一种创新的零样本人类图像动画生成技术，通过将驱动视频中的面部表情和身体动作迁移到单张人类图像上，生成逼真且富有表现力的动态效果。该技术基于扩散模型，通过Dynamics-Adapter模块，将参考外观上下文有效整合到扩散模型的空间注意力中，同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制，还能通过本地控制模块捕捉与身份无关的面部表情，实现精确的表情传递。X-Dyna在多种人类和场景视频的混合数据上进行训练，能够学习物理人体运动和自然场景动态，生成高度逼真和富有表现力的动画。

零样本视觉跟踪模型，具有运动感知记忆。

SAMURAI是一种基于Segment Anything Model 2 (SAM 2)的视觉对象跟踪模型，专门设计用于处理快速移动或自遮挡对象的视觉跟踪任务。它通过引入时间运动线索和运动感知记忆选择机制，有效预测对象运动并优化掩膜选择，无需重新训练或微调即可实现鲁棒、准确的跟踪。SAMURAI能够在实时环境中运行，并在多个基准数据集上展现出强大的零样本性能，证明了其无需微调即可泛化的能力。在评估中，SAMURAI在成功率和精确度上相较于现有跟踪器取得了显著提升，例如在LaSOT-ext上AUC提升了7.1%，在GOT-10k上AO提升了3.5%。此外，与LaSOT上的全监督方法相比，SAMURAI也展现出了竞争力，强调了其在复杂跟踪场景中的鲁棒性以及在动态环境中的潜在实际应用价值。

零样本图像编辑，一键模仿参考图像风格

MimicBrush是一种创新的图像编辑模型，它允许用户通过指定源图像中的编辑区域和提供一张野外参考图像来实现零样本图像编辑。该模型能够自动捕捉两者之间的语义对应关系，并一次性完成编辑。MimicBrush的开发基于扩散先验，通过自监督学习捕捉不同图像间的语义关系，实验证明其在多种测试案例下的有效性及优越性。

零样本图像动画生成器

AnimateZero是一款零样本图像动画生成器，通过分离外观和运动生成视频，解决了黑盒、低效、不可控等问题。它可以通过零样本修改将预训练的T2V模型转换为I2V模型，从而实现零样本图像动画生成。AnimateZero还可以用于视频编辑、帧插值、循环视频生成和真实图像动画等场景，具有较高的主观质量和匹配度。

无需对齐信息的零样本文本到语音转换模型

MaskGCT是一个创新的零样本文本到语音转换（TTS）模型，它通过消除显式对齐信息和音素级持续时间预测的需求，解决了自回归和非自回归系统中存在的问题。MaskGCT采用两阶段模型：第一阶段使用文本预测从语音自监督学习（SSL）模型中提取的语义标记；第二阶段，模型根据这些语义标记预测声学标记。MaskGCT遵循掩码和预测的学习范式，在训练期间学习预测基于给定条件和提示的掩码语义或声学标记。在推理期间，模型以并行方式生成指定长度的标记。实验表明，MaskGCT在质量、相似性和可理解性方面超越了当前最先进的零样本TTS系统。

基于文本的视频编辑技术，使用时空切片。

Slicedit是一种零样本视频编辑技术，它利用文本到图像的扩散模型，并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动，同时符合目标文本描述。通过广泛的实验，证明了Slicedit在编辑真实世界视频方面具有明显优势。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

大型语言模型是视觉推理协调器

Cola是一种使用语言模型（LM）来聚合2个或更多视觉-语言模型（VLM）输出的方法。我们的模型组装方法被称为Cola（COordinative LAnguage model or visual reasoning）。Cola在LM微调（称为Cola-FT）时效果最好。Cola在零样本或少样本上下文学习（称为Cola-Zero）时也很有效。除了性能提升外，Cola还对VLM的错误更具鲁棒性。我们展示了Cola可以应用于各种VLM（包括大型多模态模型如InstructBLIP）和7个数据集（VQA v2、OK-VQA、A-OKVQA、e-SNLI-VE、VSR、CLEVR、GQA），并且它始终提高了性能。

图片和视频的通用对象基础模型

GLEE 是一个针对图片和视频的通用对象基础模型，通过统一的框架实现了定位和识别图像和视频中的对象，并能应用于各种对象感知任务。GLEE 通过联合训练来自不同监督水平的各种数据源，形成通用的对象表示，在保持最先进性能的同时，能够有效地进行零样本迁移和泛化。它还具备良好的可扩展性和鲁棒性。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

零代码检测AI生成文本的工具

Binoculars是一个先进的AI生成文本检测工具,无需训练数据即可零配置使用。它的检测思路非常简单明了:大多数只用decoder的因果语言模型在预训练时使用了大量相同的数据集,例如Common Crawl、Pile等。更多关于该方法及其效果的信息请参阅我们的论文《用双目镜发现LLM: 机器生成文本的零样本检测》。

音乐生成系统，支持多语言声乐生成和音乐编辑。

Seed-Music 是一个音乐生成系统，它通过统一的框架支持生成具有表现力的多语言声乐音乐，允许精确到音符级别的调整，并提供将用户自己的声音融入音乐创作的能力。该系统采用先进的语言模型和扩散模型，为音乐家提供多样化的创作工具，满足不同音乐制作需求。

Level-Navi Agent是一个无需训练即可使用的框架，利用大语言模型进行深度查询理解和精准搜索。

Level-Navi Agent是一个开源的通用网络搜索代理框架，能够将复杂问题分解并逐步搜索互联网上的信息，直至回答用户问题。它通过提供Web24数据集，覆盖金融、游戏、体育、电影和事件等五大领域，为评估模型在搜索任务上的表现提供了基准。该框架支持零样本和少样本学习，为大语言模型在中文网络搜索代理领域的应用提供了重要参考。

视频运动编辑的轻量级得分引导扩散模型

MotionFollower是一个轻量级的得分引导扩散模型，用于视频运动编辑。它通过两个轻量级信号控制器，分别对姿势和外观进行控制，不涉及繁重的注意力计算。该模型设计了基于双分支架构的得分引导原则，包括重建和编辑分支，显著增强了对纹理细节和复杂背景的建模能力。实验表明，MotionFollower在GPU内存使用上比最先进的运动编辑模型MotionEditor减少了约80%，同时提供了更优越的运动编辑性能，并独家支持大范围的摄像机运动和动作。

SigLIP2 是谷歌推出的一种多语言视觉语言编码器，用于零样本图像分类。

SigLIP2 是谷歌开发的多语言视觉语言编码器，具有改进的语义理解、定位和密集特征。它支持零样本图像分类，能够通过文本描述直接对图像进行分类，无需额外训练。该模型在多语言场景下表现出色，适用于多种视觉语言任务。其主要优点包括高效的语言图像对齐能力、支持多种分辨率和动态分辨率调整，以及强大的跨语言泛化能力。SigLIP2 的推出为多语言视觉任务提供了新的解决方案，尤其适合需要快速部署和多语言支持的场景。

开源的实时语音克隆技术

OpenVoice是一个开源的语音克隆技术,可以准确地克隆参考音色,生成多种语言和口音的语音。它可以灵活地控制语音风格,如情感、口音等参数,以及节奏、停顿和语调等。它实现了零样本跨语言语音克隆,即生成语音和参考语音的语言都不需要出现在训练数据中。

掌握开放世界交互的视觉-时间上下文提示模型

ROCKET-1是一个视觉-语言模型(VLMs)，专门针对开放世界环境中的具身决策制定而设计。该模型通过视觉-时间上下文提示协议，将VLMs与策略模型之间的通信连接起来，利用来自过去和当前观察的对象分割来指导策略-环境交互。ROCKET-1通过这种方式，能够解锁VLMs的视觉-语言推理能力，使其能够解决复杂的创造性任务，尤其是在空间理解方面。ROCKET-1在Minecraft中的实验表明，该方法使代理能够完成以前无法实现的任务，突出了视觉-时间上下文提示在具身决策制定中的有效性。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

虚拟试穿、物体移动

AnyDoor 是一种基于扩散的图像生成器，可以在用户指定的位置将目标对象以和谐的方式传送到新场景中。我们的模型只需要训练一次，就可以轻松推广到不同的对象和场景组合中，无需为每个对象调整参数。为了充分描述某个特定对象，我们除了使用常用的身份特征外，还补充了细节特征，这些特征经过精心设计，既能保持纹理细节，又能允许多样的局部变化（如光照、方向、姿势等），从而使对象与不同的环境更好地融合。我们还提出从视频数据集中借用知识的方法，在视频数据集中可以观察到同一对象的各种形态（沿时间轴），从而增强模型的泛化能力和鲁棒性。大量实验证明了我们方法的优越性，以及它在虚拟试穿和物体移动等实际应用中的巨大潜力。

基于扩散模型实现的图片编辑方案

DragonDiffusion 是一种基于扩散模型的精细化图片编辑方案，支持对象移动、对象调整大小、对象外观替换和内容拖拽等多种编辑模式。通过特征对应损失将编辑信号转化为梯度，修改扩散模型的中间表示。特征对应损失考虑了语义和几何对齐的多个尺度，并添加了跨分支自注意力机制以保持原始图像和编辑结果的一致性。

首款基于行为基础模型的虚拟物理人形代理控制工具

Meta Motivo是由Meta FAIR发布的首款行为基础模型，通过一种新颖的无监督强化学习算法预训练，用于控制复杂的虚拟人形代理完成全身任务。该模型能够在测试时，通过提示解决未见过的任务，如动作跟踪、姿势达到和奖励优化，无需额外学习或微调。这一技术的重要性在于其零样本学习能力，能够处理多种复杂任务，同时保持行为的鲁棒性。Meta Motivo的开发背景是基于对更复杂任务和不同类型代理的泛化能力的追求，其开源的预训练模型和训练代码鼓励社区进一步发展行为基础模型的研究。

无需代码或训练数据即可建立强大的计算机视觉模型

DirectAI是一个基于大型语言模型和零样本学习的平台，可以根据您的描述即时构建适合您需求的模型，无需训练数据。您可以在几秒钟内部署和迭代模型，省去了组装训练数据、标记数据、训练模型和微调模型的时间和费用。DirectAI在纽约市总部，并获得了风投支持，正在改变人们在现实世界中使用人工智能的方式。