产品库

文本驱动的3D头像生成与全身动画表达

DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。

使用手机扫描创建逼真可重新照明的头像模型

URAvatar是一种新型的头像生成技术，它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同，URAvatar直接模拟学习辐射传递，将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型，并且能够实时驱动和重新照明。

高效、表现力强、可编辑的数字头像生成

E3Gen是一种新型的数字头像生成方法，能够实时生成高保真度的头像，具有详细的衣物褶皱，并支持多种视角和全身姿势的全面控制，以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中，解决了3D高斯与当前生成流程不兼容的问题，并探索了在涉及多个主体的训练中3D高斯的表现力动画。

从长文本中合成无限可控角色动画

Story-to-Motion是一个全新的任务，它接受一个故事（顶部绿色区域）并生成与文本描述相符的动作和轨迹。该系统利用现代大型语言模型作为文本驱动的运动调度器，从长文本中提取一系列（文本、位置）对。它还开发了一个文本驱动的运动检索方案，结合了经典运动匹配和运动语义以及轨迹约束。此外，它设计了一个渐进式掩蔽变换器，以解决过渡动作中常见的问题，如不自然的姿势和滑步。该系统在轨迹跟随、时间动作组合和动作混合等三个不同子任务的评估中表现优异，胜过以往的动作合成方法。

统一可控的视频生成方法

AnimateAnything是一个统一的可控视频生成方法，它支持在不同条件下进行精确和一致的视频操作，包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示，并将所有控制信息转换为逐帧光流，以此作为运动先导来指导视频生成。此外，为了减少大规模运动引起的闪烁问题，提出了基于频率的稳定模块，以确保视频在频域的一致性，增强时间连贯性。实验表明，AnimateAnything的方法优于现有的最先进方法。

基于扩散的混合运动动态角色艺术动画生成工具

MikuDance是一个基于扩散的动画生成管道，它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术，解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机，实现统一的角色场景运动建模。在此基础上，混合控制扩散隐式地对不同角色的尺度和体型进行对齐，允许灵活控制局部角色运动。此外，还加入了运动自适应归一化模块，有效注入全局场景运动，为全面的角色艺术动画铺平了道路。通过广泛的实验，MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力，始终如一地产生具有显著运动动态的高质量动画。

高度表现力的肖像动画技术

字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术，它通过用户提供的静态肖像图像和驱动表演视频，能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型，隐式编码输入中的每一个微小表情，并通过大规模数据集进行训练。然后，该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情，包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情，并在生成的视频中实现高保真的情感传递。

创建互动式动态图形的新方式

Rive是一种新型的图形构建方式，它通过丰富的交互性和状态驱动的动画，消除了硬编码图形的需求，使团队能够更快迭代并构建更好的产品。Rive提供了一个全新的图形格式，适用于互动时代，可以用于游戏、应用、网站等多个领域。

动态、适应性强的图形设计工具

Rive Layouts是Rive推出的新功能，允许设计师和开发者创建动态的、适用于任何屏幕尺寸或设备的、生产就绪的图形。它结合了动态设计和响应式网页设计的原则，保留了Rive特有的流畅动画和交互性。Rive Layouts的重要性在于，它使得设计师可以在不牺牲创意的情况下，创建出适应不同设备和语言的响应式设计。

AI驱动的角色动画技术

Act-One是一款利用人工智能技术增强角色动画的产品。它通过简单的视频输入，创造出富有表现力和逼真的角色表演，为动画和实景内容的创意叙事开辟了新途径。Act-One的主要优点包括简单易用的视频输入、逼真的面部表情、多样化的角色设计、多角色对话场景的生成、高保真度的面部动画以及安全负责任的AI技术。产品背景信息显示，Act-One由RunwayML提供，它代表了视频到视频和面部捕捉技术的重大进步，无需昂贵的设备即可实现。

利用简单视频输入生成富有表现力的角色表演

Act-One 是 Runway Research 推出的一款创新工具，它通过简单的视频输入生成富有表现力的角色表演。这款工具代表了使用生成模型进行表情丰富的真人动作和动画内容的重大进步。Act-One 的技术突破在于，它能够将演员的表演转化为适合动画流水线的3D模型，同时保留情感和细节。与传统的面部动画流程相比，Act-One 使用的流程完全由演员的表演驱动，无需额外设备。Act-One 的出现为创造性角色设计和动画开辟了新的可能性，它能够准确翻译表演到与原始源视频比例不同的角色上，并且能够在不同的摄像机角度下保持高保真度的面部动画。此外，Act-One 还承诺负责任的开发和部署，包括内容审核和安全预防措施。

3D头像重建与实时动画生成技术

GAGAvatar是一种基于高斯模型的3D头像重建与动画生成技术，它能够在单张图片的基础上快速生成3D头像，并实现实时的面部表情动画。这项技术的主要优点包括高保真度的3D模型生成、快速的渲染速度以及对未见身份的泛化能力。GAGAvatar通过创新的双提升方法捕捉身份和面部细节，利用全局图像特征和3D可变形模型来控制表情，为数字头像的研究和应用提供了新的基准。

将自拍变成艺术工作室视频和照片，卡通动画和艺术渲染，只需一键。

Cooraft是一款利用人工智能技术将普通照片转化为艺术作品的应用程序。它能够将自拍和日常照片转化为具有创意和艺术性的动画和渲染图，提供从3D卡通到经典绘画等多种艺术风格。Cooraft不仅能够美化人像，还能将素描、绘画、线稿等多种输入转化为新的渲染图，实现从2D到3D的转变。此外，Cooraft还提供了订阅服务，用户可以通过订阅获得更多高级功能。

终极AI、Mermaid和可视化制图套件

Mermaid Whiteboard是一个基于文本的制图工具，由获奖的开源项目Mermaid JS背后的团队开发。它允许用户通过文本创建各种图表，包括流程图、序列图、甘特图等。Mermaid Chart通过简化文档流程、提高工作流程和团队间的沟通效率，为系统设计和新团队成员的培训带来了革命性的变化。

快速生成高质量的3D人头模型

GGHead是一种基于3D高斯散射表示的3D生成对抗网络（GAN），用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性，预测一组3D高斯属性，从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性，并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度，确保邻近渲染像素来自UV空间中相近的高斯。

为原型添加动态效果的智能动画工具

Smart Animate是Sketch插件中的一个新功能，它允许设计师在原型设计中添加动画效果，使得设计更加生动和直观。这项技术通过识别具有相同名称的图层在多个画板之间的变化，来创建平滑的过渡动画。它简化了动画的创建过程，使得设计师能够快速迭代和测试他们的设计想法。Smart Animate的引入，是Sketch对用户反馈的积极响应，特别是在动画需求方面。

一种用于沉浸式以人为中心的体积视频的鲁棒双高斯表示方法

Robust Dual Gaussian Splatting (DualGS) 是一种新型的基于高斯的体积视频表示方法，它通过优化关节高斯和皮肤高斯来捕捉复杂的人体表演，并实现鲁棒的跟踪和高保真渲染。该技术在SIGGRAPH Asia 2024上展示，能够实现在低端移动设备和VR头显上的实时渲染，提供用户友好和互动的体验。DualGS通过混合压缩策略，实现了高达120倍的压缩比，使得体积视频的存储和传输更加高效。

使用SVD技术进行关键帧插值的动画工具

Svd Keyframe Interpolation 是一个基于奇异值分解(SVD)技术的关键帧插值模型，用于在动画制作中自动生成中间帧，从而提高动画师的工作效率。该技术通过分析关键帧的特征，自动计算出中间帧的图像，使得动画更加流畅自然。它的优势在于能够减少动画师手动绘制中间帧的工作量，同时保持高质量的动画效果。

创意数字艺术作品展示平台

Render Artist 是一个展示数字艺术作品的平台，包括3D建模、动画、AI生成艺术等。它为艺术家提供了一个展示他们从草图到成品渲染作品的空间，同时也为观众提供了欣赏和学习数字艺术的机会。该平台强调创意和技术的结合，展示了数字艺术的多样性和创新性。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

即时文本驱动的图像编辑工具

TurboEdit是一种基于Adobe Research开发的技术，旨在解决精确图像反转和解耦图像编辑的挑战。它通过迭代反转技术和基于文本提示的条件控制，实现了在几步内对图像进行精准编辑的能力。这项技术不仅快速，而且性能超越了现有的多步扩散模型编辑技术。

3D高斯全身动态表情模型

ExAvatar是一种新型的3D全身动态表情模型，它结合了SMPL-X的全身驱动能力和3DGS的强外观建模能力。通过简单的手机扫描即可创建，支持各种姿势和表情的动画渲染。ExAvatar的混合表示方法提高了面部表情的自然度，减少了新表情和姿势的伪影，并且使模型与SMPL-X的面部表情空间完全兼容。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

从文本描述生成全息3D全景世界

HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。

通过监控器让肖像动起来！

Live_Portrait_Monitor 是一个开源项目，旨在通过监控器或网络摄像头实现肖像动画化。该项目基于LivePortrait研究论文，使用深度学习技术，通过拼接和重定向控制来高效地实现肖像动画。作者正积极更新和改进此项目，仅供研究使用。

高保真3D头像生成模型

RodinHD是一个基于扩散模型的高保真3D头像生成技术，由Bowen Zhang、Yiji Cheng等研究者开发，旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足，通过新颖的数据调度策略和权重整合正则化项，提高了解码器渲染锐利细节的能力。此外，通过多尺度特征表示和交叉注意力机制，优化了肖像图像的引导效果，生成的3D头像在细节上显著优于以往方法，并且能够泛化到野外肖像输入。

创建、动画化并部署情感智能角色

Rapport是一个提供创建、动画化并部署情感智能角色的平台，旨在通过虚拟交互个性(VIPs)丰富与受众的对话体验。它结合了最新的AI技术与面部动画技术，支持任何语言的准确唇形同步，并且可以创建逼真或风格化的角色。Rapport的背景信息包括其在游戏面部动画和中间件领域的行业知识，以及其在GTMF 2024年会上的参与。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

AI驱动的智能助手，提供沉浸式3D头像和无缝语言翻译。

Hillda是一个利用先进AI技术和沉浸式3D技术提供卓越客户支持的平台。它通过复杂的数据挖掘和检索、动态知识库管理、先进的语言翻译能力、沉浸式3D头像、上下文和定制化的交互以及强大的安全性和数据完整性，来提升客户服务的效率和质量。

一个自定义时间轴节点系统，简化视频/动画编辑流程。

TimeUi是一个为ComfyUI设计的自定义时间轴节点系统，旨在创建类似于视频/动画编辑工具的时间轴，但无需依赖传统的时间代码。用户可以轻松添加、删除或重新排列行，提供流畅的用户体验。系统支持图像上传和管理，允许用户直接将图像上传到节点或附加其他“上传图像”节点，简化工作流程。此外，每个时间轴行包含多种自定义设置，如切换图像遮罩的可见性，增强对图像调整的控制。节点可以独立工作或与其他外部节点一起工作，轻松切换设置如IP适配器、图像负片、注意力遮罩、剪辑视觉、遮罩等，以微调输出。