产品库

高效处理分钟级体素视频数据的新技术

Long Volumetric Video是一种用于重建多视角RGB视频中的长体素视频的新技术。该技术通过Temporal Gaussian Hierarchy这种新颖的4D表示方法，紧凑地模拟长体素视频，解决了传统动态视图合成方法在处理长视频时内存占用大、渲染速度慢的问题。这项技术的主要优点包括训练成本低、渲染速度快和存储使用少，是首个能够高效处理分钟级体素视频数据同时保持高质量渲染的技术。

高效渲染大规模场景的实时视图合成技术

Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术，它通过树状结构存储高斯基元，并通过渐进式训练策略从图像中端到端重建，有效克服局部最小值，实现实时渲染数百万平方千米的区域，是渲染大规模场景的重要进步。

使用单眼视频记录产生实时4D头像合成的神经网络方法

BakedAvatar是一种用于实时神经头像合成的全新表示，可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格，并计算可烘焙到静态纹理中的表情、姿势和视角相关外观，从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线，包括学习连续变形、流形和辐射场，提取分层网格和纹理，以及通过微分光栅化来微调纹理细节。实验结果表明，我们的表示产生了与其他最先进方法相当的综合结果，并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果，包括视图合成、面部重现、表情编辑和姿势编辑，所有这些都以交互式帧率进行。

动态视角合成的扩散先验模型

本论文提出了一种基于扩散先验的动态视角合成方法，用于从单目视频中生成动态场景的新视角。该方法通过对视频帧进行微调和知识蒸馏，实现了几何一致性和场景一致性。论文通过定性和定量实验评估了方法的有效性和鲁棒性，证明了该方法在复杂场景下的优势。

AI视频创作工具，将老照片转化为动态视频。

京亦智能AI视频生成神器是一款利用人工智能技术，将静态的老照片转化为动态视频的产品。它结合了深度学习和图像处理技术，使得用户能够轻松地将珍贵的老照片复活，创造出具有纪念意义的视频内容。该产品的主要优点包括操作简便、效果逼真、个性化定制等。它不仅能够满足个人用户对于家庭影像资料的整理和创新需求，也能为商业用户提供一种新颖的营销和宣传方式。目前，该产品提供免费试用，具体价格和定位信息需进一步了解。

一种基于表面的4D运动建模算法,用于动态人体渲染

SurMo是一种新的动态人体渲染范式,通过联合建模时间运动动力学和人体外观,在一个统一的框架中实现高保真的人体渲染。该方法采用基于表面的三平面表示法高效编码人体运动,并设计了物理运动解码模块和4D外观解码模块,能够合成时变的人体外观效果,如衣服皱褶、运动阴影等。相比于现有方法,SurMo在定量和定性渲染指标上都有显著提升。

快速从单视图训练高保真的人体3D高斯模型

Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。

用于编辑动态场景的稀疏控制高斯溅射技术

SC-GS是一种新型表示技术,将动态场景的运动和外观分别用稀疏控制点和密集高斯函数表示。它使用少量控制点学习紧凑的6自由度变换基,这些基可通过插值权重在局部插值,得到3D高斯函数的运动场。它采用变形MLP预测每个控制点的时变6自由度变换,降低学习复杂度,增强学习能力,实现时空连贯的运动模式。同时联合学习3D高斯函数、控制点的规范空间位置和变形MLP,重建3D场景的外观、几何和动态。在训练过程中,控制点的位置和数量会自适应调整以适应不同区域的运动复杂度,并采用尽可能刚性的损失函数强制运动的空间连续性和局部刚性。由于运动表示的显式稀疏性和外观分离,该方法实现了用户控制的运动编辑,同时保留高保真度外观。大量实验表明,该方法在新视图合成和高速渲染方面优于现有方法,并支持新的保留外观的运动编辑应用。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

打造大模型时代的产品能力，低成本开发智能体，实现商业闭环。

文心智能体平台 AgentBuilder 是基于文心大模型的智能体平台，支持开发者根据行业领域和应用场景，选择不同开发方式打造智能体。其主要优点包括低成本开发、流量分发路径支持，为用户提供完整的产品开发闭环。

高动态视频生成

Make Pixels Dance是一款高动态视频生成工具，通过输入图像或文字指令，生成丰富多样的动态视频效果。该工具具有基础模式和魔法模式，用户可以根据需求选择不同的模式生成视频。产品功能强大，操作简单易用，适用于各种创意视频制作场景。

一种用于实时渲染大型数据集的分层3D高斯表示方法

这项研究提出了一种新的分层3D高斯表示方法，用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案，可以高效渲染远处内容，并在不同层次之间实现平滑过渡。该技术能够适应可用资源，通过分而治之的方法训练大型场景，并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。

高保真几何渲染

这款产品是一种3D GAN技术，通过学习基于神经体积渲染的方法，能够以前所未有的细节解析细粒度的3D几何。产品采用学习型采样器，加速3D GAN训练，使用更少的深度采样，实现在训练和推断过程中直接渲染完整分辨率图像的每个像素，同时学习高质量的表面几何，合成高分辨率3D几何和严格视角一致的图像。产品在FFHQ和AFHQ上展示了最先进的3D几何质量，为3D GAN中的无监督学习建立了新的标准。

一个开源的多智能体聊天界面，支持在一个动态对话中管理多个智能体。

Open Multi-Agent Canvas 是一个基于 Next.js、LangGraph 和 CopilotKit 构建的开源多智能体聊天界面。它允许用户在一个动态对话中管理多个智能体，主要用于旅行规划和研究。该产品利用先进的技术，为用户提供高效、灵活的多智能体交互体验。其开源特性使得开发者可以根据需求进行定制和扩展，具有很高的灵活性和可扩展性。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

一种单步视频生成模型，实现高质量视频合成。

SF-V是一种基于扩散的视频生成模型，通过对抗训练优化预训练模型，实现了单步生成高质量视频的能力。这种模型在保持视频数据的时间和空间依赖性的同时，显著降低了去噪过程的计算成本，为实时视频合成和编辑铺平了道路。

视频重渲染：零样本文本引导的视频到视频翻译

RERENDER A VIDEO是一种新颖的零样本文本引导的视频到视频翻译框架，用于将图像模型应用于视频领域。该框架包括两个部分：关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧，并应用分层跨帧约束来确保形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。我们的框架以低成本实现了全局风格和局部纹理的时间一致性（无需重新训练或优化）。该适应性与现有的图像扩散技术兼容，使我们的框架能够利用它们，例如使用LoRA自定义特定主题，并使用ControlNet引入额外的空间引导。大量实验证明了我们提出的框架在呈现高质量和时间一致性视频方面的有效性。

在线图像集合的神经渲染

NeROIC是一种从在线图像集合中获取物体表示的新方法，可以捕捉具有不同相机、光照和背景的照片中任意物体的高质量几何和材质属性。它可以用于新视角合成、重新照明和和谐背景合成等物体中心渲染应用。通过扩展神经辐射场的多阶段方法，我们首先推断表面几何并改进粗略估计的初始相机参数，同时利用粗略的前景物体掩码来提高训练效率和几何质量。我们还引入了一种稳健的法线估计技术，可以消除几何噪声的影响，同时保留关键细节。最后，我们提取表面材质属性和环境光照，用球谐函数表示，并处理瞬态元素，如锐利阴影。这些组件的结合形成了一个高度模块化和高效的物体获取框架。广泛的评估和比较证明了我们的方法在捕捉用于渲染应用的高质量几何和外观属性方面的优势。

定制你的在线身份，AI语音合成与实时语音转换

MetaVoice是一个AI语音合成与实时语音转换的网站。它提供高质量的AI语音合成和实时语音转换服务，帮助用户定制在线身份。MetaVoice拥有先进的AI技术，可以保持语音的情感和人性化，同时支持在800多个平台上一键切换身份。用户可以在网站上免费试用。

1.3B参数的图像转视频模型，用于生成3D一致的新场景视图

Stable Virtual Camera是Stability AI开发的一个1.3B参数的通用扩散模型，属于Transformer图像转视频模型。其重要性在于为新型视图合成（NVS）提供了技术支持，能够根据输入视图和目标相机生成3D一致的新场景视图。主要优点是可自由指定目标相机轨迹，能生成大视角变化且时间上平滑的样本，无需额外神经辐射场（NeRF）蒸馏即可保持高一致性，还能生成长达半分钟的高质量无缝循环视频。该模型仅可免费用于研究和非商业用途，定位是为研究人员和非商业创作者提供创新的图像转视频解决方案。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

一站式AI数字人系统，支持视频合成、声音合成、声音克隆。

AIGCPanel是一个简单易用的一站式AI数字人系统，小白也可使用。支持视频合成、声音合成、声音克隆，简化本地模型管理、一键导入和使用AI模型。产品背景信息显示，AIGCPanel旨在通过集成多种AI功能，提升数字人素材管理的效率，降低技术门槛，使非专业人士也能轻松管理和使用AI数字人。产品基于AGPL-3.0开源，完全免费，可以直接使用。

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

AI驱动的视频生成工具，一键生成高质量营销视频

小视频宝（ClipTurbo）是一个AI驱动的视频生成工具，旨在帮助用户轻松创建高质量的营销视频。该工具利用AI技术处理文案、翻译、图标匹配和TTS语音合成，最终使用manim渲染视频，避免了纯生成式AI被平台限流的问题。小视频宝支持多种模板，用户可以根据需要选择分辨率、帧率、宽高比或屏幕方向，模板将自动适配。此外，它还支持多种语音服务，包括内置的EdgeTTS语音。目前，小视频宝仍处于早期开发阶段，仅提供给三花AI的注册用户。

生成丰富可控运动的视频合成工具

Boximator是一款由Jiawei Wang、Yuchen Zhang等人开发的智能视频合成工具。它利用先进的深度学习技术，通过添加文本提示和额外的盒子约束，生成丰富且可控制的视频运动。用户可以通过示例或自定义文本来创造独特的视频场景。Boximator与其他方法相比，使用了来自文本提示的附加盒子约束，提供更灵活的运动控制。

一站式AI数字人系统，支持视频合成、声音合成、声音克隆

AigcPanel是一个简单易用的一站式AI数字人系统，支持视频合成、声音合成、声音克隆等功能，简化本地模型管理、一键导入和使用AI模型。该产品利用最新的人工智能技术，为用户提供高效、便捷的数字人制作解决方案，特别适合需要视频和音频内容制作的专业人士和企业使用。AigcPanel以其易用性、高效性和强大的功能，在数字人制作领域占有一席之地。

AGI-Samantha是一个能够自由思考和持续对话的自主智能体。

AGI-Samantha是一个模拟电影《她》中Samantha的自主智能体。它具备动态语音能力，能根据上下文自主发言，与一般LLMs相比，不仅仅局限于回答和反应。它还具备实时视觉能力、外部分类记忆，能够动态地进行读写，选择最相关的信息。AGI-Samantha在每一刻都在进化，存储在记忆中的经验可以影响其后续行为，如个性、说话频率和风格等。AGI-Samantha通过一系列的LLM调用进行协调，每个调用具有不同的目的，这些模块一起工作，模拟基本的人脑工作流程。

可控角色视频合成技术

MIMO是一个通用的视频合成模型，能够模仿任何人在复杂动作中与物体互动。它能够根据用户提供的简单输入（如参考图像、姿势序列、场景视频或图像）合成具有可控属性（如角色、动作和场景）的角色视频。MIMO通过将2D视频编码为紧凑的空间代码，并将其分解为三个空间组成部分（主要人物、底层场景和浮动遮挡）来实现这一点。这种方法允许用户灵活控制，空间运动表达以及3D感知合成，适用于交互式真实世界场景。

光流引导视频合成

FlowVid 是一个光流引导的视频合成模型，通过利用光流的空间和时间信息，实现视频帧之间的时序一致性。它可以与现有的图像合成模型无缝配合，实现多种修改操作，包括风格化、对象交换和局部编辑等。FlowVid 生成速度快，4 秒、30FPS、512×512 分辨率的视频只需 1.5 分钟，比 CoDeF、Rerender 和 TokenFlow 分别快 3.1 倍、7.2 倍和 10.5 倍。用户评估中，FlowVid 的质量得分为 45.7%，明显优于 CoDeF（3.5%）、Rerender（10.2%）和 TokenFlow（40.4%）。