产品库

多功能大规模扩散模型，支持双向图像合成与理解。

OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

逆向绘画技术，重现绘画过程

Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够处理多种艺术风格，并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解，定义了一组绘画指令，并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格，还能为广泛的艺术风格和流派提供合理的结果。

提升基于拖拽的图像编辑的交互性和速度

InstantDrag是一个优化自由的流程，它通过仅使用图像和拖拽指令作为输入，增强了交互性和速度。该技术由两个精心设计的网络组成：拖拽条件的光流生成器（FlowGen）和光流条件的扩散模型（FlowDiffusion）。InstantDrag通过将任务分解为运动生成和运动条件图像生成，学习了基于真实世界视频数据集的拖拽图像编辑的运动动态。它能够在不需要掩码或文本提示的情况下，快速执行逼真的编辑，这使得它成为交互式、实时应用的有前景的解决方案。

统一的图像生成框架，简化多任务图像生成。

OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

一款基于扩散模型的服装试穿技术

TryOnDiffusion是一种创新的图像合成技术，它通过两个UNets（Parallel-UNet）的结合，实现了在单一网络中同时保持服装细节和适应显著的身体姿势及形状变化。这项技术在保持服装细节的同时，能够适应不同的身体姿势和形状，解决了以往方法在细节保持和姿势适应上的不足，达到了业界领先的性能。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

高效图像合成的新框架

Hyper-SD是一个创新的图像合成框架，它通过轨迹分割一致性模型和低步数推理的优势，实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势，同时通过人类反馈学习进一步提升了性能，并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能，特别适合需要快速且高质量图像生成的应用场景。

一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法

ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。

一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。

Gen-2是一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。它可以通过将图像或文字提示的构图和风格应用于源视频的结构（Video to Video），或者仅使用文字（Text to Video）来实现。就像拍摄了全新的内容，而实际上并没有拍摄任何东西。Gen-2提供了多种模式，可以将任何图像、视频剪辑或文字提示转化为引人注目的影片作品。

Amazon Nova是亚马逊新一代的基础模型，提供前沿智能和行业领先的性价比。

Amazon Nova是亚马逊推出的新一代基础模型，能够处理文本、图像和视频提示，使客户能够使用Amazon Nova驱动的生成性AI应用程序理解视频、图表和文档，或生成视频和其他多媒体内容。Amazon Nova模型在亚马逊内部约有1000个生成性AI应用正在运行，旨在帮助内部和外部构建者应对挑战，并在延迟、成本效益、定制化、信息接地和代理能力方面取得有意义的进展。

自动化DAW副驾驶，告别重复性任务。

Forte!是一个自动化数字音频工作站(DAW)辅助工具，旨在帮助音乐制作人和音频工程师自动化处理重复性任务，如文件导入、静音剥离、音轨路由等。它通过使用人工智能技术，特别是自动乐器识别技术，能够快速准确地识别音频中的每种乐器，从而提高工作效率。Forte!支持无限文件导入，自动静音剥离，自动路由，立体声到单声道转换等功能，是音乐制作领域的一大创新。产品背景信息显示，Forte!目前支持所有Pro Tools版本，并即将支持Logic Pro。价格方面，Forte!提供15天免费试用，无需信用卡信息，之后用户可以选择订阅或购买终身许可证。

基于流匹配的音频驱动说话人像视频生成方法

FLOAT是一种音频驱动的人像视频生成方法，它基于流匹配生成模型，将生成建模从基于像素的潜在空间转移到学习到的运动潜在空间，实现了时间上一致的运动设计。该技术引入了基于变换器的向量场预测器，并具有简单而有效的逐帧条件机制。此外，FLOAT支持语音驱动的情感增强，能够自然地融入富有表现力的运动。广泛的实验表明，FLOAT在视觉质量、运动保真度和效率方面均优于现有的音频驱动说话人像方法。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

将你的食材瞬间变成食谱

EasyChef是一款利用人工智能技术，根据用户家中已有的食材推荐定制化食谱的应用程序。它通过分析用户输入的食材，智能推荐符合个人口味和烹饪条件的食谱，帮助用户减少食物浪费，节省时间和金钱。EasyChef以其用户友好的界面和个性化服务，在全球范围内受到560多个家庭厨师的欢迎。该应用提供全球各式美食选项，从墨西哥菜到印度菜，满足不同用户的国际美食需求。同时，EasyChef还提供定制饮食食谱，包括无麸质和原始人饮食等，以及根据用户厨房设备（如微波炉、烤箱）定制的餐计划。EasyChef的订阅费用为每月2.99欧元或年度订阅29.99欧元，为用户提供经济实惠的持续服务。

全球合作训练的10B参数语言模型聊天工具

INTELLECT-1 Chat是一个由全球合作训练的10B参数语言模型驱动的聊天工具。它代表了人工智能领域中大规模语言模型的最新进展，通过分散式训练，提高了模型的多样性和适应性。这种技术的主要优点包括能够理解和生成自然语言，提供流畅的对话体验，并且能够处理大量的语言数据。产品背景信息显示，这是一个首次展示分散式训练可能性的演示，易于使用且富有趣味性。价格方面，页面提供了登录以保存和重访聊天的功能，暗示了可能的付费或会员服务模式。

高性能英文语言模型，适用于多样化任务

OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型，主要针对英文，旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分，旨在推动语言模型的科学研究。模型训练基于Dolma数据集，并公开代码、检查点、日志和训练细节。

从单张图片重建逼真的3D人体模型

PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。

基于大型语言模型的主动式代理，预测用户需求并主动提供帮助。

ProactiveAgent是一个基于大型语言模型（LLM）的主动式代理项目，旨在构建一个能够预测用户需求并主动提供帮助的智能代理。该项目通过数据收集和生成管道、自动评估器和训练代理来实现这一目标。ProactiveAgent的主要优点包括环境感知、协助标注、动态数据生成和构建管道，其奖励模型在测试集上达到了0.918的F1分数，显示出良好的性能。该产品背景信息显示，它适用于编程、写作和日常生活场景，并且遵循Apache License 2.0协议。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

基于文本生成姿态并进一步生成图像的模型

text-to-pose是一个研究项目，旨在通过文本描述生成人物姿态，并利用这些姿态生成图像。该技术结合了自然语言处理和计算机视觉，通过改进扩散模型的控制和质量，实现了从文本到图像的生成。项目背景基于NeurIPS 2024 Workshop上发表的论文，具有创新性和前沿性。该技术的主要优点包括提高图像生成的准确性和可控性，以及在艺术创作和虚拟现实等领域的应用潜力。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

个性化面部年龄变换技术

MyTimeMachine是一个基于人工智能技术的面部年龄变换模型，它能够通过约50张个人自拍照片个性化地进行年龄回退（减龄）和年龄前进（增龄），在保持高保真度和身份特征的同时，生成与目标年龄相似的面部图像。这项技术在电影和电视特效等虚拟年龄应用领域具有重要价值，能够提供高质量的、身份保持一致的、时间上连贯的年龄效果。

高分辨率图像合成的线性扩散变换器

Sana-1.6B是一个高效的高分辨率图像合成模型，它基于线性扩散变换器技术，能够生成高质量的图像。该模型由NVIDIA实验室开发，使用DC-AE技术，具有32倍的潜在空间，能够在多个GPU上运行，提供强大的图像生成能力。Sana-1.6B以其高效的图像合成能力和高质量的输出结果而闻名，是图像合成领域的重要技术。

高效率的高分辨率图像合成框架

Sana是一个文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。它以极快的速度合成高分辨率、高质量的图像，并保持强大的文本-图像对齐，可以部署在笔记本电脑GPU上。Sana的核心设计包括深度压缩自编码器、线性扩散变换器（DiT）、仅解码器的小型语言模型作为文本编码器，以及高效的训练和采样策略。Sana-0.6B与现代大型扩散模型相比，体积小20倍，测量吞吐量快100倍以上。此外，Sana-0.6B可以部署在16GB笔记本电脑GPU上，生成1024×1024分辨率图像的时间少于1秒。Sana使得低成本的内容创作成为可能。

基于扩散模型的高保真服装重建虚拟试穿技术

TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。