产品库

在线图像集合的神经渲染

NeROIC是一种从在线图像集合中获取物体表示的新方法，可以捕捉具有不同相机、光照和背景的照片中任意物体的高质量几何和材质属性。它可以用于新视角合成、重新照明和和谐背景合成等物体中心渲染应用。通过扩展神经辐射场的多阶段方法，我们首先推断表面几何并改进粗略估计的初始相机参数，同时利用粗略的前景物体掩码来提高训练效率和几何质量。我们还引入了一种稳健的法线估计技术，可以消除几何噪声的影响，同时保留关键细节。最后，我们提取表面材质属性和环境光照，用球谐函数表示，并处理瞬态元素，如锐利阴影。这些组件的结合形成了一个高度模块化和高效的物体获取框架。广泛的评估和比较证明了我们的方法在捕捉用于渲染应用的高质量几何和外观属性方面的优势。

高保真几何渲染

这款产品是一种3D GAN技术，通过学习基于神经体积渲染的方法，能够以前所未有的细节解析细粒度的3D几何。产品采用学习型采样器，加速3D GAN训练，使用更少的深度采样，实现在训练和推断过程中直接渲染完整分辨率图像的每个像素，同时学习高质量的表面几何，合成高分辨率3D几何和严格视角一致的图像。产品在FFHQ和AFHQ上展示了最先进的3D几何质量，为3D GAN中的无监督学习建立了新的标准。

高质量基于文本的PBR材质生成模型

DreamMat是一款能够根据文本提示为3D网格生成物理基础渲染(PBR)材质的创新模型。它通过解决现有2D扩散模型在材质分解上的不足，生成与给定几何体和光照环境一致且无内置阴影效果的高质量PBR材质。这一技术对于游戏和电影制作等下游任务具有重要意义，因为它能显著提升渲染质量并增强用户的视觉体验。

3D形状的文本驱动逼真材质绘制

MaPa是一种创新的方法，能够根据文本描述为3D网格生成材质。该技术通过创建分段的程序化材质图来表示外观，支持高质量渲染，并在编辑上提供了显著的灵活性。利用预训练的2D扩散模型，MaPa在不需要大量配对数据的情况下，架起了文本描述和材质图之间的桥梁。该技术通过分解形状为多个部分，并设计了控制段的扩散模型来合成与网格部分对齐的2D图像，进而初始化材质图的参数，并通过可微分渲染模块进行微调，以产生符合文本描述的材质。广泛的实验表明，MaPa在逼真度、分辨率和可编辑性方面优于现有技术。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

AlphaGeometry: AI解决几何问题的突破

AlphaGeometry是一个超越了现有技术水平的几何问题AI系统，它通过结合神经语言模型的预测能力和规则驱动的推理引擎，能够解决复杂的几何问题。该系统采用神经符号学方法，由神经语言模型和符号推理引擎组成，共同寻找复杂几何定理的证明。通过生成10亿个随机几何对象图形，并从中推导出所有的关系，最终得到了1亿个独特的训练样本，其中900万个包含了额外的构造。AlphaGeometry的语言模型能够在面对国际数学奥林匹克竞赛的几何问题时做出良好的建议。该系统已经成为世界上第一个能够达到国际数学奥林匹克竞赛铜牌水平的AI模型。

图像材质迁移技术

ZeST是由牛津大学、Stability AI 和 MIT CSAIL 研究团队共同开发的图像材质迁移技术，它能够在无需任何先前训练的情况下，实现从一张图像到另一张图像中对象的材质迁移。ZeST支持单一材质的迁移，并能处理单一图像中的多重材质编辑，用户可以轻松地将一种材质应用到图像中的多个对象上。此外，ZeST还支持在设备上快速处理图像，摆脱了对云计算或服务器端处理的依赖，大大提高了效率。

使用单眼视频记录产生实时4D头像合成的神经网络方法

BakedAvatar是一种用于实时神经头像合成的全新表示，可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格，并计算可烘焙到静态纹理中的表情、姿势和视角相关外观，从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线，包括学习连续变形、流形和辐射场，提取分层网格和纹理，以及通过微分光栅化来微调纹理细节。实验结果表明，我们的表示产生了与其他最先进方法相当的综合结果，并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果，包括视图合成、面部重现、表情编辑和姿势编辑，所有这些都以交互式帧率进行。

让几何形状与艺术相结合的创意工具

GEOMETRIK是一个让用户可以通过几何形状与艺术相结合的创意工具。它提供了丰富的几何图形、色彩和效果选项，帮助用户快速创建独特的艺术作品。GEOMETRIK具有直观的界面和强大的编辑功能，使用户能够自由发挥创意，并实现自己的设计想法。无论是专业设计师还是艺术爱好者，都可以通过GEOMETRIK轻松地创造出令人惊叹的艺术品。该产品定价为每月20美元，适合个人和小型设计团队使用。

javascript神经网络库

Synaptic是一个开源的javascript神经网络库，提供了基本的神经元、网络、训练器和网络构建工具。它可以用于构建和训练各种类型的神经网络，如感知机、长短时记忆网络(LSTM)、液态状态机和Hopfield网络。Synaptic还提供了一些示例和演示，帮助用户学习和使用神经网络。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

用神经网络预测你的涂鸦速度有多快

Doodle Dash 是一个趣味的在线游戏，它使用神经网络来预测玩家涂鸦的速度。玩家可以在游戏中尽可能快地画出指定的涂鸦，神经网络会根据你的画速给出预测结果。这个游戏基于🤗 Transformers.js 开发。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

高效渲染被遮挡的人体

OccFusion是一种创新的人体渲染技术，利用3D高斯散射和预训练的2D扩散模型，即使在人体部分被遮挡的情况下也能高效且高保真地渲染出完整的人体图像。这项技术通过三个阶段的流程：初始化、优化和细化，显著提高了在复杂环境下人体渲染的准确性和质量。

神经模型驱动的实时游戏引擎

GameNGen是一个完全由神经模型驱动的游戏引擎，能够实现与复杂环境的实时互动，并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》，并且其下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练：(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果，成为生成模型的训练数据；(2)一个扩散模型被训练来预测下一帧，条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。

基于AI的设计重点的真实渲染

建筑渲染是一款基于人工智能的工具，可以根据用户提供的图片、草图和照片生成独特的、注重设计的真实渲染效果。利用人工智能技术，建筑渲染成为一款在线的AI 3D渲染工具，可以即时生成效果图。建筑渲染还提供免费试用。

无代码搭建目标检测神经网络

MakeML是一个无需编写任何代码就可以搭建图像目标检测神经网络的开发工具。它提供了一个简单易用的图形界面,用户只需上传训练集图片,绘制bounding box,设置参数,就可以训练出一个高效的目标检测模型,并导出成CoreML格式在iOS App中使用。MakeML解决了神经网络开发门槛高的痛点,不需要任何机器学习或编程知识,就可以获得强大的深度学习能力。

快速神经风格迁移的ComfyUI节点

ComfyUI-Fast-Style-Transfer是一个基于PyTorch框架开发的快速神经风格迁移插件，它允许用户通过简单的操作实现图像的风格转换。该插件基于fast-neural-style-pytorch项目，目前只移植了基础的推理功能。用户可以自定义风格，通过训练自己的模型来实现独特的风格迁移效果。

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

从视频中推断混合神经流体场

HyFluid是一种从稀疏多视角视频中推断流体密度和速度场的神经方法。与现有的神经动力学重建方法不同，HyFluid能够准确估计密度并揭示底层速度，克服了流体速度的固有视觉模糊性。该方法通过引入一组基于物理的损失来实现推断出物理上合理的速度场，同时处理流体速度的湍流性质，设计了一个混合神经速度表示，包括捕捉大部分无旋能量的基础神经速度场和模拟剩余湍流速度的涡粒子速度。该方法可用于各种围绕3D不可压缩流的学习和重建应用，包括流体再模拟和编辑、未来预测以及神经动态场景合成。

一种用于实时渲染大型数据集的分层3D高斯表示方法

这项研究提出了一种新的分层3D高斯表示方法，用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案，可以高效渲染远处内容，并在不同层次之间实现平滑过渡。该技术能够适应可用资源，通过分而治之的方法训练大型场景，并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。

AI室内设计，上传照片，自动渲染

Space Planner Ai是一款基于人工智能的室内设计软件，用户可以上传自己的室内照片，通过AI自动渲染出不同风格的室内设计效果图。用户还可以通过升级到Pro版本，获得高质量、无限私人渲染的特权。

上传项目图片，秒速生成逼真渲染图！

ReRoom AI是一款用于室内设计的工具，用户可以上传项目图片，选择20+种独特的设计风格，然后在几秒钟内生成逼真的渲染图。它提供了多种设计风格和场景，让用户可以轻松呈现他们的设计想法。ReRoom AI使用先进的人工智能技术，为用户提供高质量的渲染结果。

多语言视觉文本渲染的强有力美学基线

Glyph-ByT5-v2 是微软亚洲研究院推出的一个用于准确多语言视觉文本渲染的模型。它不仅支持10种不同语言的准确视觉文本渲染，而且在美学质量上也有显著提升。该模型通过创建高质量的多语言字形文本和平面设计数据集，构建多语言视觉段落基准，并利用最新的步态感知偏好学习方法来提高视觉美学质量。

机器人图像渲染的新发展

Wild2Avatar是一个用于渲染被遮挡的野外单目视频中的人类外观的神经渲染方法。它可以在真实场景下渲染人类,即使障碍物可能会阻挡相机视野并导致部分遮挡。该方法通过将场景分解为三部分(遮挡物、人类和背景)来实现,并使用特定的目标函数强制分离人类与遮挡物和背景,以确保人类模型的完整性。

基于深度推理的神经机器翻译模型

DRT-o1-7B是一个致力于将长思考推理成功应用于神经机器翻译（MT）的模型。该模型通过挖掘适合长思考翻译的英文句子，并提出了一个包含翻译者、顾问和评估者三个角色的多代理框架来合成MT样本。DRT-o1-7B和DRT-o1-14B使用Qwen2.5-7B-Instruct和Qwen2.5-14B-Instruct作为骨干网络进行训练。该模型的主要优点在于其能够处理复杂的语言结构和深层次的语义理解，这对于提高机器翻译的准确性和自然性至关重要。

用于高效表示复杂时空信号的残差神经场

ResFields是一类专门设计用于有效表示复杂时空信号的网络。它将时变权重引入多层感知机中,利用可训练的残差参数增强了模型的表达能力。该方法可以无缝集成到现有技术中,并可显著提高各种具有挑战性的任务的结果,如2D视频逼近、动态形状建模和动态NeRF重建等。

3D建模与渲染工具

Kirin3d是一款专业的3D建模与渲染工具，提供强大的功能和优秀的渲染效果。它能够帮助用户快速创建逼真的3D模型，并进行高质量的渲染。Kirin3d的定价灵活合理，适合个人和团队使用。无论是建筑设计、游戏开发还是影视特效制作，Kirin3d都是您理想的选择。

Nerfstudio是一个模块化的神经辐射场开发框架

Nerfstudio是一个开源的神经辐射场（NeRF）开发框架，它提供了简单易用的API，支持模块化的NeRF构建和训练。Nerfstudio帮助用户更轻松地理解和探索NeRF技术，并提供了教程、文档和更多学习资源。欢迎用户贡献新的NeRF模型和数据集。Nerfstudio的主要功能包括模型训练、数据处理、可视化等。