产品库

使用单眼视频记录产生实时4D头像合成的神经网络方法

BakedAvatar是一种用于实时神经头像合成的全新表示，可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格，并计算可烘焙到静态纹理中的表情、姿势和视角相关外观，从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线，包括学习连续变形、流形和辐射场，提取分层网格和纹理，以及通过微分光栅化来微调纹理细节。实验结果表明，我们的表示产生了与其他最先进方法相当的综合结果，并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果，包括视图合成、面部重现、表情编辑和姿势编辑，所有这些都以交互式帧率进行。

利用大规模机器学习理解场景并连接全球数百万场景的地理空间模型

Niantic的Large Geospatial Model (LGM) 是一个先锋概念，旨在通过大规模机器学习理解场景并将其与全球数百万其他场景连接起来。LGM不仅使计算机能够感知和理解物理空间，还能以新的方式与它们互动，成为AR眼镜及更广泛领域（包括机器人技术、内容创作和自主系统）的关键组成部分。随着我们从手机转向与现实世界相连的可穿戴技术，空间智能将成为世界未来的操作系统。

使用手机扫描创建逼真可重新照明的头像模型

URAvatar是一种新型的头像生成技术，它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同，URAvatar直接模拟学习辐射传递，将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型，并且能够实时驱动和重新照明。

人形机器人多功能神经全身控制器

HOVER是一个针对人形机器人的多功能神经全身控制器，它通过模仿全身运动来提供通用的运动技能，学习多种全身控制模式。HOVER通过多模式策略蒸馏框架将不同的控制模式整合到一个统一的策略中，实现了在不同控制模式之间的无缝切换，同时保留了每种模式的独特优势。这种控制器提高了人形机器人在多种模式下的控制效率和灵活性，为未来的机器人应用提供了一个健壮且可扩展的解决方案。

文本驱动的3D头像生成与全身动画表达

DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。

快速生成高质量的3D人头模型

GGHead是一种基于3D高斯散射表示的3D生成对抗网络（GAN），用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性，预测一组3D高斯属性，从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性，并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度，确保邻近渲染像素来自UV空间中相近的高斯。

多物种鲸鱼声音检测工具

multispecies-whale-detection 是谷歌开发的一个开源项目，旨在通过神经网络检测和分类不同物种和地理区域的鲸鱼声音。这个工具可以帮助研究人员和环保组织更好地理解和保护海洋生物多样性。

一个全面的AI神经网络工具目录

AILIBRI是一个汇集了超过2000个AI神经网络工具的目录网站，涵盖了文本、图像、视频、音频等多个领域的工具。它为用户寻找合适的AI工具提供了极大的便利，无论是专业人士还是初学者，都能在这里找到满足其需求的工具。该网站提供了详细的分类和搜索功能，帮助用户快速定位到所需的工具。

一种用于沉浸式以人为中心的体积视频的鲁棒双高斯表示方法

Robust Dual Gaussian Splatting (DualGS) 是一种新型的基于高斯的体积视频表示方法，它通过优化关节高斯和皮肤高斯来捕捉复杂的人体表演，并实现鲁棒的跟踪和高保真渲染。该技术在SIGGRAPH Asia 2024上展示，能够实现在低端移动设备和VR头显上的实时渲染，提供用户友好和互动的体验。DualGS通过混合压缩策略，实现了高达120倍的压缩比，使得体积视频的存储和传输更加高效。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

模拟数字生物与进化的人工生命仿真程序

ALIEN是一个基于CUDA的专门物理和渲染引擎的人工生命仿真程序。它旨在模拟数字生物在人工生态系统中的行为，并作为进化仿真的平台。该软件项目开源，遵循BSD-3-Clause许可。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

自动化解释性代理，提升AI模型透明度

MAIA（Multimodal Automated Interpretability Agent）是由MIT计算机科学与人工智能实验室（CSAIL）开发的一个自动化系统，旨在提高人工智能模型的解释性。它通过视觉-语言模型的支撑，结合一系列实验工具，自动化地执行多种神经网络解释性任务。MAIA能够生成假设、设计实验进行测试，并通过迭代分析来完善其理解，从而提供更深入的AI模型内部运作机制的洞察。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

高效、表现力强、可编辑的数字头像生成

E3Gen是一种新型的数字头像生成方法，能够实时生成高保真度的头像，具有详细的衣物褶皱，并支持多种视角和全身姿势的全面控制，以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中，解决了3D高斯与当前生成流程不兼容的问题，并探索了在涉及多个主体的训练中3D高斯的表现力动画。

高效渲染大规模场景的实时视图合成技术

Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术，它通过树状结构存储高斯基元，并通过渐进式训练策略从图像中端到端重建，有效克服局部最小值，实现实时渲染数百万平方千米的区域，是渲染大规模场景的重要进步。

一种用于实时渲染大型数据集的分层3D高斯表示方法

这项研究提出了一种新的分层3D高斯表示方法，用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案，可以高效渲染远处内容，并在不同层次之间实现平滑过渡。该技术能够适应可用资源，通过分而治之的方法训练大型场景，并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。

CoreNet 是一个用于训练深度神经网络的库。

CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够训练标准和新颖的小型和大型规模模型，用于各种任务，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。

Transformer Debugger是由OpenAI的Superalignment团队开发的用于调查小型语言模型特定行为的工具

Transformer Debugger结合了自动化可解释性和稀疏自编码器技术，支持在编写代码之前进行快速探索，并能够在前向传递中进行干预，以观察其如何影响特定行为。它通过识别对行为有贡献的特定组件（神经元、注意力头、自编码器潜在表示），展示自动生成的解释来说明这些组件为何强烈激活，并追踪组件间的连接以帮助发现电路。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

AI模型开发与部署

Visnet是一个全面的、无头的、多兼容的神经网络接口框架，主要用于自然语言处理和深度视觉系统。它具有模块化的前端、无服务器架构和多兼容性，并提供了REST API和Websocket接口。它包含了多个核心AI模型，如翻译、车牌识别和人脸特征匹配等。Visnet可广泛应用于监控、无人机检测、图像和视频分析等领域。

高质量图像修复，根据人类指示进行优化

InstructIR 接受图像和人类书写的指令作为输入，通过单一神经模型执行一体化图像修复。在多个修复任务中取得了最先进的结果，包括图像去噪、去雨、去模糊、去雾以及低光图像增强等。🚀 您可以从演示教程开始。查看我们的 GitHub 获取更多信息。 免责声明：请注意，这不是一个产品，因此您会注意到一些限制。此演示需要输入具有某些降级的图像（模糊、噪音、雨、低光、雾）和一个提示，请求应该执行什么操作。由于 GPU 内存限制，如果输入高分辨率图像（2K、4K），应用可能会崩溃。 该模型主要使用合成数据进行训练，因此在真实世界复杂图像上可能效果不佳。然而，在真实世界的雾天和低光图像上效果出奇地好。您还可以尝试一般的图像增强提示（例如，“润色此图像”，“增强颜色”）并查看它如何改善颜色。

实时3D角色生成平台

Museclip是一个基于3D模型的实时人物设计平台,拥有智能编辑、魔法画笔和文字提示等功能,可以在几秒内将3D人物基础模型转换成逼真的角色形象,大幅提高人物设计的效率。它的主要优势有:实时渲染技术,快速定制化,智能简洁的设计流程,为用户提供极大的创作自由度。

强大的通用预测学习

通用预测学习器是一种利用元学习的强大方法，能够快速从有限数据中学习新任务。通过广泛接触不同的任务，可以获得通用的表示，从而实现通用问题解决。本产品探索了将最强大的通用预测器——Solomonoff归纳（SI）——通过元学习的方式进行摊销的潜力。我们利用通用图灵机（UTM）生成训练数据，让网络接触到广泛的模式。我们提供了UTM数据生成过程和元训练协议的理论分析。我们使用不同复杂度和普适性的算法数据生成器对神经架构（如LSTM、Transformer）进行了全面的实验。我们的结果表明，UTM数据是元学习的宝贵资源，可以用来训练能够学习通用预测策略的神经网络。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

一个AI深度学习平台,提供丰富的模型和工具,打造AI创新社区

Neuralhub是一个让深度学习更简单的平台,它为AI爱好者、研究人员和工程师提供实验和创新的环境。我们的目标不仅仅是提供工具,我们还在建立一个社区,一个可以分享和协作的地方。我们致力于通过汇集所有工具、研究和模型到一个协作空间,简化当今的深度学习,使AI研究、学习和开发更容易获取。

机器人图像渲染的新发展

Wild2Avatar是一个用于渲染被遮挡的野外单目视频中的人类外观的神经渲染方法。它可以在真实场景下渲染人类,即使障碍物可能会阻挡相机视野并导致部分遮挡。该方法通过将场景分解为三部分(遮挡物、人类和背景)来实现,并使用特定的目标函数强制分离人类与遮挡物和背景,以确保人类模型的完整性。