产品库

Hunyuan3D 2.0 是腾讯推出的高分辨率 3D 资产生成系统，基于大规模扩散模型。

Hunyuan3D 2.0 是腾讯推出的一种先进大规模 3D 合成系统，专注于生成高分辨率纹理化的 3D 资产。该系统包括两个基础组件：大规模形状生成模型 Hunyuan3D-DiT 和大规模纹理合成模型 Hunyuan3D-Paint。它通过解耦形状和纹理生成的难题，为用户提供了灵活的 3D 资产创作平台。该系统在几何细节、条件对齐、纹理质量等方面超越了现有的开源和闭源模型，具有极高的实用性和创新性。目前，该模型的推理代码和预训练模型已开源，用户可以通过官网或 Hugging Face 空间快速体验。

一个千万级3D形状模型

Make-A-Shape是一个新的3D生成模型，旨在以高效的方式训练大规模数据，能够利用1000万个公开可用的形状。我们创新性地引入了小波树表示法，通过制定子带系数滤波方案来紧凑地编码形状，然后通过设计子带系数打包方案将表示布置在低分辨率网格中，使其可生成扩散模型。此外，我们还提出了子带自适应训练策略，使我们的模型能够有效地学习生成粗细小波系数。最后，我们将我们的框架扩展为受额外输入条件控制，以使其能够从各种模态生成形状，例如单/多视图图像、点云和低分辨率体素。在大量实验中，我们展示了无条件生成、形状完成和条件生成等各种应用。我们的方法不仅在提供高质量结果方面超越了现有技术水平，而且在几秒内高效生成形状，通常在大多数条件下仅需2秒钟。

X-Dyna是一种基于扩散模型的零样本人类图像动画生成技术。

X-Dyna是一种创新的零样本人类图像动画生成技术，通过将驱动视频中的面部表情和身体动作迁移到单张人类图像上，生成逼真且富有表现力的动态效果。该技术基于扩散模型，通过Dynamics-Adapter模块，将参考外观上下文有效整合到扩散模型的空间注意力中，同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制，还能通过本地控制模块捕捉与身份无关的面部表情，实现精确的表情传递。X-Dyna在多种人类和场景视频的混合数据上进行训练，能够学习物理人体运动和自然场景动态，生成高度逼真和富有表现力的动画。

一种支持多种视频生成控制任务的统一架构模型。

Diffusion as Shader (DaS) 是一种创新的视频生成控制模型，旨在通过3D感知的扩散过程实现对视频生成的多样化控制。该模型利用3D跟踪视频作为控制输入，能够在统一的架构下支持多种视频控制任务，如网格到视频生成、相机控制、运动迁移和对象操作等。DaS的主要优势在于其3D感知能力，能够有效提升生成视频的时间一致性，并在短时间内通过少量数据微调即可展现出强大的控制能力。该模型由香港科技大学等多所高校的研究团队共同开发，旨在推动视频生成技术的发展，为影视制作、虚拟现实等领域提供更为灵活和高效的解决方案。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

利用AI生成ThreeJS项目资产

ThreeJS.ai是一个专注于利用人工智能技术生成ThreeJS项目资产的平台。它通过简化3D模型和动画的创建过程，使得开发者和设计师能够更快速、更高效地构建复杂的3D场景和视觉效果。这个平台的重要性在于它降低了3D内容创作的门槛，使得非专业人士也能轻松上手，并为专业人士节省了大量时间。产品背景信息显示，ThreeJS.ai由Graam Inc.提供，并且提供了500次免费生成的机会。

基于扩散反转的多步图像超分辨率模型

InvSR是一种基于扩散反转的图像超分辨率技术，利用大型预训练扩散模型中丰富的图像先验来提高超分辨率性能。该技术通过部分噪声预测策略构建扩散模型的中间状态，作为起始采样点，并使用深度噪声预测器估计最优噪声图，从而在前向扩散过程中初始化采样，生成高分辨率结果。InvSR支持任意数量的采样步骤，从一到五步不等，即使仅使用单步采样，也展现出优于或媲美现有最先进方法的性能。

图像序列着色模型，保留细粒度身份信息

ColorFlow是一个为图像序列着色而设计的模型，特别注重在着色过程中保留角色和对象的身份信息。该模型利用上下文信息，能够根据参考图像池为黑白图像序列中的不同元素（如角色的头发和服装）准确生成颜色，并确保与参考图像的颜色一致性。ColorFlow通过三个阶段的扩散模型框架，提出了一种新颖的检索增强着色流程，无需每个身份的微调或显式身份嵌入提取，即可实现具有相关颜色参考的图像着色。ColorFlow的主要优点包括其在保留身份信息的同时，还能提供高质量的着色效果，这对于卡通或漫画系列的着色具有重要的市场价值。

Immediate Mode 3D Plotting

ImPlot3D是一个基于Dear ImGui的3D绘图扩展库，提供了易用、高性能的3D绘图功能。它受到ImPlot的启发，为熟悉ImPlot的开发者提供了一个熟悉且直观的API。ImPlot3D支持多种3D绘图类型，如线图、散点图、曲面图等，并允许用户交互式地旋转、平移和缩放3D图形。该技术的重要性在于它为需要3D数据可视化的应用提供了一个理想的解决方案，尤其是在实时性和性能要求较高的场景下。

图生视频大模型，专为动漫和游戏场景设计

Ruyi是图森未来发布的图生视频大模型，专为在消费级显卡上运行而设计，并提供详尽的部署说明和ComfyUI工作流，以便用户能够快速上手。Ruyi凭借在帧间一致性、动作流畅性方面的卓越表现，以及和谐自然的色彩呈现和构图，将为视觉叙事提供全新的可能性。同时，该模型还针对动漫和游戏场景进行深度学习，将成为ACG爱好者理想的创意伙伴。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

利用扩散模型为黑白图片上色

Color-diffusion是一个基于扩散模型的图像着色项目，它使用LAB颜色空间对黑白图片进行上色。该项目的主要优点在于能够利用已有的灰度信息（L通道），通过训练模型来预测颜色信息（A和B通道）。这种技术在图像处理领域具有重要意义，尤其是在老照片修复和艺术创作中。Color-diffusion作为一个开源项目，其背景信息显示，它是作者为了满足好奇心和体验从头开始训练扩散模型而快速构建的。项目目前是免费的，并且有很大的改进空间。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

基于文本生成姿态并进一步生成图像的模型

text-to-pose是一个研究项目，旨在通过文本描述生成人物姿态，并利用这些姿态生成图像。该技术结合了自然语言处理和计算机视觉，通过改进扩散模型的控制和质量，实现了从文本到图像的生成。项目背景基于NeurIPS 2024 Workshop上发表的论文，具有创新性和前沿性。该技术的主要优点包括提高图像生成的准确性和可控性，以及在艺术创作和虚拟现实等领域的应用潜力。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

基于扩散模型的高保真服装重建虚拟试穿技术

TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。

一种用于零样本定制图像生成的扩散自蒸馏技术

Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术，用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下，通过预训练的文本到图像的模型生成自己的数据集，进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法，并能与每个实例的调优技术相媲美，无需测试时优化。

4D场景创建工具，使用多视图视频扩散模型

CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频，并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息，为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示，CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发，是一个前沿的科研成果转化为实际应用的案例。

多功能大规模扩散模型，支持双向图像合成与理解。

OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。

基于扩散模型的音频驱动人像和动物图像动画技术

JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。

基于扩散的混合运动动态角色艺术动画生成工具

MikuDance是一个基于扩散的动画生成管道，它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术，解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机，实现统一的角色场景运动建模。在此基础上，混合控制扩散隐式地对不同角色的尺度和体型进行对齐，允许灵活控制局部角色运动。此外，还加入了运动自适应归一化模块，有效注入全局场景运动，为全面的角色艺术动画铺平了道路。通过广泛的实验，MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力，始终如一地产生具有显著运动动态的高质量动画。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

盲图像恢复技术，利用即时生成参考图像恢复破损图像

InstantIR是一种基于扩散模型的盲图像恢复方法，能够在测试时处理未知退化问题，提高模型的泛化能力。该技术通过动态调整生成条件，在推理过程中生成参考图像，从而提供稳健的生成条件。InstantIR的主要优点包括：能够恢复极端退化的图像细节，提供逼真的纹理，并且通过文本描述调节生成参考，实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发，得到了HuggingFace和fal.ai的赞助支持。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

字节跳动打造的AI模型分享社区

炉米Lumi是字节跳动为满足日益增长的AI模型交流与应用需求而打造的一款社区平台。它集成了模型分享、Workflow搭建和LoRA训练等多种AI服务，旨在为用户提供一个开放、高效的交流与合作平台。随着技术的不断进步和测试阶段的逐步完善，炉米Lumi有望吸引更多用户加入，促进更多优秀AI模型的诞生，推动AI技术在各个领域的广泛应用和深入发展。