产品库

实时表情生成人类模型

PROTEUS是Apparate Labs推出的一款下一代基础模型，用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型，创新的潜在空间设计实现了实时效率，并能通过进一步的架构和算法改进，达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现，为人工对话实体提供直观的接口，并且与多种大型语言模型兼容，可定制用于多种不同应用。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

高效的文本到音频生成模型，具有潜在一致性。

AudioLCM是一个基于PyTorch实现的文本到音频生成模型，它通过潜在一致性模型来生成高质量且高效的音频。该模型由Huadai Liu等人开发，提供了开源的实现和预训练模型。它能够将文本描述转化为接近真实的音频，具有重要的应用价值，尤其是在语音合成、音频制作等领域。

开源音频样本和声音设计模型

Stable Audio Open是一个开源的文本到音频模型，专为生成短音频样本、音效和制作元素而优化。它允许用户通过简单的文本提示生成高达47秒的高质量音频数据，特别适用于创造鼓点、乐器即兴演奏、环境声音、拟音录音等音乐制作和声音设计。开源发布的关键好处是用户可以根据自己的自定义音频数据微调模型。

多维奖励模型，助力构建自定义大型语言模型。

Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型，用于合成数据生成管道，帮助研究人员和开发者构建自己的大型语言模型（LLMs）。该模型由Nemotron-4-340B-Base模型和一个线性层组成，能够将响应末尾的标记转换为五个标量值，对应于HelpSteer2属性。它支持最多4096个标记的上下文长度，并能够对每个助手轮次的五个属性进行评分。

NVIDIA的高级语言模型，优化于英文对话场景。

Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM)，专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度，经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上，通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好，并且能够为多种用例生成高质量的合成数据。

基于大型语言模型的多智能体应用开发框架

agentUniverse 是一个基于大型语言模型的多智能体应用开发框架，提供了构建单一智能体和多智能体协作机制的所有必需组件。通过模式工厂，允许开发者构建和自定义多智能体协作模式，轻松构建多智能体应用，并分享不同技术与业务领域的模式实践。

轻量级文本分类工具，使用大型语言模型嵌入。

fastc是一个基于大型语言模型嵌入的简单且轻量级的文本分类工具。它专注于CPU执行，使用高效的模型如deepset/tinyroberta-6l-768d生成嵌入。通过余弦相似度分类代替微调，实现文本分类。它还可以在不增加额外开销的情况下，使用相同的模型运行多个分类器。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

长视频理解基准测试

LVBench是一个专门设计用于长视频理解的基准测试，旨在推动多模态大型语言模型在理解数小时长视频方面的能力，这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。

一个交互式绘图应用，用于数学方程的绘制和计算。

AI Math Notes 是一个开源的交互式绘图应用程序，允许用户在画布上绘制数学方程。应用程序利用多模态大型语言模型（LLM）计算并显示结果。该应用程序使用Python开发，利用Tkinter库创建图形用户界面，使用PIL进行图像处理。灵感来源于Apple在2024年全球开发者大会（WWDC）上展示的'Math Notes'。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

一种高效的遮蔽扩散语言模型。

Masked Diffusion Language Models (MDLM) 是一种新型的语言模型，它通过遮蔽和扩散机制来生成高质量的文本数据。MDLM 通过改进的训练方法和简化的目标函数，提高了遮蔽扩散模型的性能，使其在语言建模基准测试中达到了新的最佳状态，并接近自回归模型的困惑度。MDLM 的主要优点包括高效的采样器、支持生成任意长度的文本，以及在长程依赖和可控生成方面的优势。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

多轮交互式图像生成技术

AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架，它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步，通过并行UNet结构和主题初始化生成方法，提高了图像生成的质量和一致性。

用于训练大型语言模型的开源合成数据生成管道。

Nemotron-4 340B是NVIDIA发布的一系列开放模型，专为生成合成数据以训练大型语言模型（LLMs）而设计。这些模型经过优化，可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型，形成一个生成合成数据的管道，用于训练和完善LLMs。这些模型在Hugging Face上提供下载，并很快将在ai.nvidia.com上提供，作为NVIDIA NIM微服务的一部分。

使用反思工作流的代理翻译模型

Translation Agent 是一个使用反思工作流的机器翻译演示项目。它由 Andrew Ng 以及合作者开发，主要利用大型语言模型(LLM)进行文本翻译，并反思翻译结果以提出改进建议。该模型的可定制性高，可以调整翻译风格、处理习语和专有名词，以及针对特定地区或方言进行优化。尽管目前该软件还不够成熟，但已经显示出与传统机器翻译系统相比有时更具竞争力的潜力。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

视频生成的前沿模型

WorldDreamer是一个创新的视频生成模型，它通过预测遮蔽的视觉令牌来理解并模拟世界动态。它在图像到视频合成、文本到视频生成、视频修复、视频风格化以及动作到视频生成等多个方面表现出色。该模型借鉴了大型语言模型的成功经验，将世界建模视为一个无监督的视觉序列建模挑战，通过将视觉输入映射到离散的令牌并预测被遮蔽的令牌来实现。

从单一图像或文本生成可探索的3D场景

VividDream是一项创新技术，能够从单一输入图像或文本提示生成具有环境动态的可探索4D场景。它首先将输入图像扩展为静态3D点云，然后使用视频扩散模型生成动画视频集合，并通过优化4D场景表示来实现一致性运动和沉浸式场景探索。这项技术为生成基于多样真实图像和文本提示的引人入胜的4D体验提供了可能。

自回归模型在可扩展图像生成领域的新突破

LlamaGen是一个新的图像生成模型家族，它将大型语言模型的原始下一个token预测范式应用于视觉生成领域。该模型通过适当的扩展，无需对视觉信号的归纳偏差即可实现最先进的图像生成性能。LlamaGen重新审视了图像分词器的设计空间、图像生成模型的可扩展性属性以及它们的训练数据质量。

AI对编程的辅助，提升代码效率。

aider 是一款集成在终端的AI配对编程工具，它允许开发者与大型语言模型(LLMs)进行配对编程，以编辑本地Git仓库中的代码。aider 与 GPT-4o 和 Claude 3 Opus 等模型配合使用效果最佳，并且可以连接到几乎所有的LLM。它通过自动提交代码变更，并使用合理的提交信息来帮助开发者提高编程效率。aider 支持多种流行编程语言，包括 Python、JavaScript、TypeScript 等，并且能够处理大型代码库中的协调变更。

自由风格人像动画框架

Follow-Your-Emoji是一个基于扩散模型的人像动画框架，能够将目标表情序列动画化到参考人像上，同时保持人像身份的一致性、表情的传递、时间的连贯性和保真度。它通过采用表情感知标志和面部细粒度损失技术，显著提升了模型在控制自由风格人像表情方面的表现，包括真实人物、卡通、雕塑甚至动物。此外，它还通过简单有效的逐步生成策略，扩展到稳定的长期动画，增加了其潜在的应用价值。

提升3D内容创造的合成数据框架

Bootstrap3D是一个用于改善3D内容创造的框架，通过合成数据生成技术，解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型，基于文本提示生成多视角图像，并使用3D感知的MV-LLaVA模型筛选高质量数据，重写不准确的标题。该框架已生成了100万张高质量合成多视角图像，具有密集的描述性标题，以解决高质量3D数据的短缺问题。此外，它还提出了一种训练时间步重排(TTR)策略，利用去噪过程学习多视角一致性，同时保持原始的2D扩散先验。

视频运动编辑的轻量级得分引导扩散模型

MotionFollower是一个轻量级的得分引导扩散模型，用于视频运动编辑。它通过两个轻量级信号控制器，分别对姿势和外观进行控制，不涉及繁重的注意力计算。该模型设计了基于双分支架构的得分引导原则，包括重建和编辑分支，显著增强了对纹理细节和复杂背景的建模能力。实验表明，MotionFollower在GPU内存使用上比最先进的运动编辑模型MotionEditor减少了约80%，同时提供了更优越的运动编辑性能，并独家支持大范围的摄像机运动和动作。

提升大型语言模型的推理准确性和效率

Buffer of Thoughts (BoT) 是一种新型的思考增强推理方法，旨在提高大型语言模型（LLMs）的准确性、效率和鲁棒性。通过引入一个元缓冲区来存储从各种任务的问题解决过程中提取的高级思考模板，称为思考模板。对于每个问题，检索一个相关的思考模板，并适应性地将其实例化为特定的推理结构以进行高效推理。此外，还提出了一个缓冲区管理器来动态更新元缓冲区，从而随着解决更多任务而增强其容量。