产品库

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

神经模型驱动的实时游戏引擎

GameNGen是一个完全由神经模型驱动的游戏引擎，能够实现与复杂环境的实时互动，并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》，并且其下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练：(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果，成为生成模型的训练数据；(2)一个扩散模型被训练来预测下一帧，条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。

AI驱动的生成式UI工具

v0是由Vercel推出的基于AI的生成式用户界面系统，它可以根据简单的文本提示生成适用于项目的React代码。v0使用AI模型生成代码，基于shadcn/ui和Tailwind CSS，提供了易于复制和粘贴的代码。v0不使用任何Vercel客户数据或代码进行训练，保证了数据的安全性和隐私性。

AI辅助编程的强有力界面

Zed AI是一个集成到编程工作流中的插件，通过与大型语言模型（LLMs）的直接对话，增强了代码生成、转换和分析的能力。它提供了多种交互方式，包括助手面板、斜杠命令、内联助手和提示库，以提高开发效率。Zed AI还支持多种LLMs提供商，允许开发者根据需要选择不同的模型来提高开发效能。此外，Zed AI提供了一个全新的托管服务，第一个月免费使用，并配备了Anthropic API，专为快速转换现有文本而设计。

一个适合学习、使用、自主扩展的RAG系统。

Easy-RAG是一个检索增强生成(RAG)系统，它不仅适合学习者了解和掌握RAG技术，同时也便于开发者使用和进行自主扩展。该系统通过集成知识图谱提取解析工具、rerank重新排序机制以及faiss向量数据库等技术，提高了检索效率和生成质量。

GGUF量化支持，优化ComfyUI原生模型性能

ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储，这种格式由llama.cpp推广。尽管常规的UNET模型（conv2d）不适用于量化，但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。

AI编码助手，自动化解决代码问题

Tusk是一个AI编码助手，专注于帮助软件工程师快速完成繁琐的代码任务。它通过自动化的方式生成代码，解决bug，进行UI/UX改进，从而提高开发效率，让工程师能够专注于更有创造性的工作。Tusk支持与GitHub、Jira、Linear、Notion等工具的集成，能够根据问题标签一键推送代码到仓库，并自动迭代代码以应对代码审查。此外，Tusk还提供定制化AI代理、VIP支持等高级功能，满足不同规模团队的需求。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

3D纹理生成技术，根据文本描述合成3D纹理

TexGen是一个创新的多视角采样和重采样框架，用于根据任意文本描述合成3D纹理。它利用预训练的文本到图像的扩散模型，通过一致性视图采样和注意力引导的多视角采样策略，以及噪声重采样技术，显著提高了3D对象的纹理质量，具有高度的视角一致性和丰富的外观细节。

一款简单高效的虚拟试穿扩散模型。

CatVTON是一款基于扩散模型的虚拟试穿技术，具有轻量级网络（总共899.06M参数）、参数高效训练（49.57M可训练参数）和简化推理（1024X768分辨率下<8G VRAM）。它通过简化的网络结构和推理过程，实现了快速且高效的虚拟试穿效果，特别适合时尚行业和个性化推荐场景。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

数学视觉指令调优模型

MAVIS是一个针对多模态大型语言模型（MLLMs）的数学视觉指令调优模型，主要通过改进视觉编码数学图表、图表-语言对齐和数学推理技能来增强MLLMs在视觉数学问题解决方面的能力。该模型包括两个新策划的数据集、一个数学视觉编码器和数学MLLM，通过三阶段训练范式在MathVerse基准测试中取得领先性能。

智能代码助手，提升开发效率

Claude Dev是一款VSCode扩展，利用Anthropic的Claude 3.5 Sonnet的代理编码能力，可以逐步处理复杂的软件开发任务。它不仅支持文件读写、创建项目和执行终端命令（在获得用户许可后），还提供了一个直观的GUI，使用户能够安全且容易地探索代理AI的潜力。

文本生成领域的先进模型

H2O Danube3 是由 h2oai 公司开发的一系列文本生成模型，这些模型专注于提供高质量的文本生成服务，广泛应用于聊天机器人、内容创作等领域。它们具备强大的语言理解和生成能力，能够根据给定的上下文生成连贯、准确的文本。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

实时低延迟语音转换技术

StreamVC是由Google研发的实时低延迟语音转换解决方案，能够在保持源语音内容和韵律的同时，匹配目标语音的音色。该技术特别适合实时通信场景，如电话和视频会议，并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略，实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。

低代码工具，快速构建和协调多智能体团队

Tribe AI是一个低代码工具，它利用langgraph框架，让用户能够轻松自定义和协调智能体团队。通过将复杂任务分配给擅长不同领域的智能体，每个智能体可以专注于其最擅长的工作，从而更快更好地解决问题。

高保真3D头像生成模型

RodinHD是一个基于扩散模型的高保真3D头像生成技术，由Bowen Zhang、Yiji Cheng等研究者开发，旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足，通过新颖的数据调度策略和权重整合正则化项，提高了解码器渲染锐利细节的能力。此外，通过多尺度特征表示和交叉注意力机制，优化了肖像图像的引导效果，生成的3D头像在细节上显著优于以往方法，并且能够泛化到野外肖像输入。

生成逼真动态人像视频的先进技术

EchoMimic是一个先进的人像图像动画模型，能够通过音频和选定的面部特征点单独或组合驱动生成逼真的肖像视频。它通过新颖的训练策略，解决了传统方法在音频驱动时可能的不稳定性以及面部关键点驱动可能导致的不自然结果。EchoMimic在多个公共数据集和自收集数据集上进行了全面比较，并在定量和定性评估中展现出了卓越的性能。

高效的人像动画工具，具备拼接和重定向控制功能。

LivePortrait是一个用于人像动画的高效工具，它通过拼接和重定向控制技术，能够将静态图片转化为生动的动画。这项技术在图像处理和动画制作领域具有重要意义，可以大幅度提升动画制作的效率和质量。产品背景信息显示，它是由shadowcz007开发，并且与comfyui-mixlab-nodes配合使用，可以更好地实现人像动画效果。

高效的人像动画生成工具

LivePortrait是一个基于隐式关键点框架的人像动画生成模型，它通过使用单一源图像作为外观参考，并从驱动视频、音频、文本或生成中获取动作（如面部表情和头部姿势），来合成逼真的视频。该模型不仅在计算效率和可控性之间取得了有效平衡，而且通过扩展训练数据、采用混合图像-视频训练策略、升级网络架构以及设计更好的运动转换和优化目标，显著提高了生成质量和泛化能力。

异步去噪并行化扩散模型

AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案，它通过将噪声预测模型分割成多个组件并分配到不同的设备上，实现了模型的并行处理。这种方法显著减少了推理延迟，同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

自由风格人像动画框架

Follow-Your-Emoji是一个基于扩散模型的人像动画框架，能够将目标表情序列动画化到参考人像上，同时保持人像身份的一致性、表情的传递、时间的连贯性和保真度。它通过采用表情感知标志和面部细粒度损失技术，显著提升了模型在控制自由风格人像表情方面的表现，包括真实人物、卡通、雕塑甚至动物。此外，它还通过简单有效的逐步生成策略，扩展到稳定的长期动画，增加了其潜在的应用价值。

提升3D内容创造的合成数据框架

Bootstrap3D是一个用于改善3D内容创造的框架，通过合成数据生成技术，解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型，基于文本提示生成多视角图像，并使用3D感知的MV-LLaVA模型筛选高质量数据，重写不准确的标题。该框架已生成了100万张高质量合成多视角图像，具有密集的描述性标题，以解决高质量3D数据的短缺问题。此外，它还提出了一种训练时间步重排(TTR)策略，利用去噪过程学习多视角一致性，同时保持原始的2D扩散先验。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。