产品库

一种用于实时渲染大型数据集的分层3D高斯表示方法

这项研究提出了一种新的分层3D高斯表示方法，用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案，可以高效渲染远处内容，并在不同层次之间实现平滑过渡。该技术能够适应可用资源，通过分而治之的方法训练大型场景，并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。

使用手机扫描创建逼真可重新照明的头像模型

URAvatar是一种新型的头像生成技术，它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同，URAvatar直接模拟学习辐射传递，将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型，并且能够实时驱动和重新照明。

基于AI生成图像的3D渲染模型

Toy Box Flux是一个基于AI生成图像训练的3D渲染模型，它结合了现有的3D LoRA模型和Coloring Book Flux LoRA的权重，形成了独特的风格。该模型特别适合生成具有特定风格的玩具设计图像。它在物体和人物主体上表现最佳，动物的表现则因训练图像中的数据不足而不稳定。此外，该模型还能提高室内3D渲染的真实感。计划在v2版本中通过混合更多生成的输出和预先存在的输出来加强这种风格的一致性。

从单目视频重建时间一致的4D人体模型

DressRecon是一个用于从单目视频重建时间一致的4D人体模型的方法，专注于处理非常宽松的服装或手持物体交互。该技术结合了通用的人体先验知识（从大规模训练数据中学习得到）和针对单个视频的特定“骨骼袋”变形（通过测试时优化进行拟合）。DressRecon通过学习一个神经隐式模型来分离身体与服装变形，作为单独的运动模型层。为了捕捉服装的微妙几何形状，它利用基于图像的先验知识，如人体姿势、表面法线和光流，在优化过程中进行调整。生成的神经场可以提取成时间一致的网格，或者进一步优化为显式的3D高斯，以提高渲染质量和实现交互式可视化。DressRecon在包含高度挑战性服装变形和物体交互的数据集上，提供了比以往技术更高的3D重建保真度。

文本驱动的3D头像生成与全身动画表达

DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。

快速生成高质量的3D人头模型

GGHead是一种基于3D高斯散射表示的3D生成对抗网络（GAN），用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性，预测一组3D高斯属性，从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性，并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度，确保邻近渲染像素来自UV空间中相近的高斯。

一种用于沉浸式以人为中心的体积视频的鲁棒双高斯表示方法

Robust Dual Gaussian Splatting (DualGS) 是一种新型的基于高斯的体积视频表示方法，它通过优化关节高斯和皮肤高斯来捕捉复杂的人体表演，并实现鲁棒的跟踪和高保真渲染。该技术在SIGGRAPH Asia 2024上展示，能够实现在低端移动设备和VR头显上的实时渲染，提供用户友好和互动的体验。DualGS通过混合压缩策略，实现了高达120倍的压缩比，使得体积视频的存储和传输更加高效。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

设计物理产品的现代方式

SuperCraft是一个在线平台，允许用户通过无限协作画布和基于节点的流程来设计出色的物理产品。它利用生成式人工智能技术，将草图转化为逼真的产品图像，自动生成产品的3D渲染图，让用户能够从三维角度更好地感受设计。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

高效渲染被遮挡的人体

OccFusion是一种创新的人体渲染技术，利用3D高斯散射和预训练的2D扩散模型，即使在人体部分被遮挡的情况下也能高效且高保真地渲染出完整的人体图像。这项技术通过三个阶段的流程：初始化、优化和细化，显著提高了在复杂环境下人体渲染的准确性和质量。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

高效、表现力强、可编辑的数字头像生成

E3Gen是一种新型的数字头像生成方法，能够实时生成高保真度的头像，具有详细的衣物褶皱，并支持多种视角和全身姿势的全面控制，以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中，解决了3D高斯与当前生成流程不兼容的问题，并探索了在涉及多个主体的训练中3D高斯的表现力动画。

高质量基于文本的PBR材质生成模型

DreamMat是一款能够根据文本提示为3D网格生成物理基础渲染(PBR)材质的创新模型。它通过解决现有2D扩散模型在材质分解上的不足，生成与给定几何体和光照环境一致且无内置阴影效果的高质量PBR材质。这一技术对于游戏和电影制作等下游任务具有重要意义，因为它能显著提升渲染质量并增强用户的视觉体验。

高效渲染大规模场景的实时视图合成技术

Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术，它通过树状结构存储高斯基元，并通过渐进式训练策略从图像中端到端重建，有效克服局部最小值，实现实时渲染数百万平方千米的区域，是渲染大规模场景的重要进步。

实时3D角色生成平台

Museclip是一个基于3D模型的实时人物设计平台,拥有智能编辑、魔法画笔和文字提示等功能,可以在几秒内将3D人物基础模型转换成逼真的角色形象,大幅提高人物设计的效率。它的主要优势有:实时渲染技术,快速定制化,智能简洁的设计流程,为用户提供极大的创作自由度。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

使用单眼视频记录产生实时4D头像合成的神经网络方法

BakedAvatar是一种用于实时神经头像合成的全新表示，可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格，并计算可烘焙到静态纹理中的表情、姿势和视角相关外观，从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线，包括学习连续变形、流形和辐射场，提取分层网格和纹理，以及通过微分光栅化来微调纹理细节。实验结果表明，我们的表示产生了与其他最先进方法相当的综合结果，并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果，包括视图合成、面部重现、表情编辑和姿势编辑，所有这些都以交互式帧率进行。

快速从单视图训练高保真的人体3D高斯模型

Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。

无标记实时动作捕捉技术

Cyanpuppets是一个专注于2D视频生成3D动作模型的AI算法团队。他们的无标记动作捕捉系统通过2个RGB摄像头完成超过208个关键点的捕捉，支持UE5和UNITY 2021版本，延迟仅为0.1秒。Cyanpuppets支持大多数骨骼标准，其技术广泛应用于游戏、电影和其他娱乐领域。

文本到视频的指导生成模型

InstructVideo 是一种通过人类反馈用奖励微调来指导文本到视频的扩散模型的方法。它通过编辑的方式进行奖励微调，减少了微调成本，同时提高了微调效率。它使用已建立的图像奖励模型，通过分段稀疏采样和时间衰减奖励的方式提供奖励信号，显著提高了生成视频的视觉质量。InstructVideo 不仅能够提高生成视频的视觉质量，还能保持较强的泛化能力。欲了解更多信息，请访问官方网站。

AI智能虚拟室内设计师

RespacedAI是一个使用AI智能技术提供个性化、创新、无忧虑的室内设计解决方案的虚拟室内设计师。它可以为你的家居空间注入新的生命力。只需几秒钟就可以生成设计方案,大大减少传统手工设计所需时间。它简化了整个室内设计流程,让不同用户轻松将设计理念变为现实。你可以尝试不同风格、色调、材质和家具布置,激发创造力,产生新的设计灵感。高效的用户界面和智能工具提升工作流程效率。定制设计匹配你的个人品味,确保空间风格与你相符。无论你是室内设计师、建筑师还是房产经纪人,RespacedAI都可以通过生成逼真的3D渲染,帮助你充分展示设计理念和进行虚拟布置。

生成逼真的人类图像

HyperHuman是一个生成逼真的人类图像的模型。该模型通过捕捉人类图像的结构性特征，从粗略的身体骨架到细粒度的空间几何形状，生成具有连贯性和自然性的人类图像。HyperHuman包括三个部分：1）构建一个大规模的人类数据集HumanVerse，其中包含340M张图像和全面的注释，如人体姿势、深度和表面法线；2）提出一个潜在结构扩散模型，该模型同时去噪深度、表面法线和合成的RGB图像。我们的模型在一个统一的网络中强制学习图像外观、空间关系和几何形状，模型中的每个分支都具有结构感知性和纹理丰富性；3）最后，为了进一步提高视觉质量，我们提出了一个结构引导的细化器，用于更详细的高分辨率生成。大量实验证明，我们的模型在各种场景下生成了具有高真实感和多样性的人类图像，达到了最先进的性能。

创建可重用和可扩展的内容

Magpai是一个基于节点的协作Web平台，提供一种新的创建内容的方式。它能够让您以规程工作流程来提高生产力和内容输出。Magpai具有生成AI、编辑、实用工具和发布工具，可立即用于创建图像、视频、PDF、3D模型等各种类型的内容。它还支持自动化重复任务，与Figma、Canva、Zapier等工具集成。

房地产虚拟家居布置，照片编辑和3D渲染服务。

Styldod是一家提供房地产虚拟家居布置、照片编辑、楼层平面图和3D渲染等服务的公司。我们可以帮助您将空置的房间转化为时尚的空间，帮助买家爱上您的房源。我们还提供照片编辑服务，包括移除过时或杂乱的家具，将白天的照片变成令人惊艳的黄昏图片，增强图片的亮度和清晰度，以及删除照片中的反射等。此外，我们还提供楼层平面图和3D渲染服务，帮助您展示未建成的房地产项目。我们的定价合理，并提供免费试用和24小时交付。Styldod已经得到了1万名房地产经纪人和摄影师的信任。

3D建模无忧

Sloyd是一个快速生成3D模型的平台。选择一个生成器，进行微调，即可完成。可以通过实时预览来生成模型。Sloyd提供不断扩展的生成器库，快速定制模型，可用于实时渲染和多种级别的细节。生成的模型可以根据需要进行定制，并且已经进行了UV展开和优化，方便进行贴图和使用。Sloyd适用于各种风格的模型，提供无限的变化，并且支持实时生成。