产品库

SIGNeRF - 快速、可控的NeRF场景编辑和场景集成对象生成

SIGNeRF是一种用于快速和可控的NeRF场景编辑以及场景集成对象生成的新方法。它引入了一种新的生成更新策略，确保在编辑图像时保持3D一致性，而无需进行迭代优化。SIGNeRF利用了ControlNet的深度条件图像扩散模型的优势，通过几个简单的步骤在单个前向传递中编辑现有的NeRF场景。它可以生成新的对象到现有的NeRF场景中，也可以编辑已存在的对象，从而实现对场景的精确控制。

编辑3D场景的指令式NeRF编辑器

Instruct-NeRF2NeRF是一款用于编辑NeRF场景的指令式编辑器。它使用图像条件扩散模型（InstructPix2Pix）逐步编辑输入图像，同时优化底层场景，从而得到一个优化的3D场景，该场景符合编辑指令。我们证明了我们的方法能够编辑大规模的现实世界场景，并且能够比之前的工作实现更真实、更有针对性的编辑。

通过文本生成3D场景中的对象插入

InseRF是一种通过文本提示和2D边界框在NeRF重建的3D场景中生成新对象的方法。它能够从用户提供的文本描述和一个参考视点中的2D边界框中生成新的3D对象，并将其插入到场景中。该方法能够在不需要显式3D信息的情况下实现可控的、与3D一致的对象插入。通过在多个3D场景中进行试验，证明了InseRF方法相对于现有方法的有效性。

使用频域分解进行高保真、可迁移的NeRF编辑

Freditor是一种基于频域分解的NeRF编辑方法。它可以实现高保真的NeRF场景编辑,并且可迁移到其他场景。该方法将NeRF场景划分为高频和低频两部分,对低频部分进行风格迁移,并将高频细节重新集成,从而生成高保真的编辑结果。Freditor还支持在推理过程中对编辑强度进行控制。实验表明,该方法在保真度和可迁移性方面都优于现有的NeRF编辑方法。

利用动态NeRF进行大规模运动和视角变化的人体视频编辑

DynVideo-E是一款利用动态NeRF技术进行大规模运动和视角变化的人体视频编辑工具。该工具将视频表示为3D前景规范化的人体空间，结合变形场和3D背景静态空间。通过利用重建损失、2D个性化扩散先验、3D扩散先验和局部部分超分辨率等技术，在多视角多姿势配置下编辑可动的规范化人体空间。同时，通过特征空间的风格转换损失将参考风格转移到3D背景模型中。用户可以在编辑后的视频-NeRF模型中根据源视频相机姿态进行相应的渲染。DynVideo-E不仅能够处理短视频，还能够处理大规模运动和视角变化的人体视频，为用户提供了更多直接可控的编辑方式。该工具在两个具有挑战性的数据集上的实验证明，相比于现有方法，DynVideo-E在人类偏好方面取得了50% ~ 95%的显著优势。DynVideo-E的代码和数据将会向社区发布。

一键生成产品场景图

上传产品原图就能在线生成专业品质的各类商品场景图。使用AI技术智能抠图、背景替换,快速生成适合不同场景的商品图,提高产品转化率。支持批量生产,降低商品拍摄成本。

高质量3D对象生成模型

Stable Zero123是一种用于视图条件图像生成的内部训练模型。与之前的尖端技术Zero123-XL相比，Stable Zero123产生了显着改进的结果。它通过三项关键创新实现了这一目标：1. 从Objaverse中大幅过滤的改进训练数据集，仅保留高质量的3D对象，并且比以前的方法更加真实地渲染。2. 在训练和推断过程中，我们为模型提供了估计的摄像机角度。这种高程条件使其能够做出更明智、更高质量的预测。3. 预先计算的数据集（预先计算的潜变量）和支持更高批处理量的改进数据加载器，再加上第一项创新，使得训练效率比Zero123-XL提高了40倍。该模型现在已经在Hugging Face上发布，以便研究人员和非商业用户下载和进行实验。

文本到3D沉浸场景生成

Text2Immersion是一个优雅的从文本提示生成高质量3D沉浸场景的方法。我们提出的流水线首先使用预训练的2D扩散和深度估计模型逐步生成高斯云。接下来是对高斯云进行精炼,插值和精炼以增强生成场景的细节。与仅关注单个物体或室内场景,或采用缩小轨迹的主流方法不同,我们的方法可以生成包含各种物体的不同场景,甚至扩展到创造想象中的场景。因此,Text2Immersion可以对各种应用产生广泛的影响,如虚拟现实、游戏开发和自动内容创建。大量的评估证明我们的系统在渲染质量和多样性方面优于其他方法,并且继续推进面向文本的3D场景生成。

用于编辑动态场景的稀疏控制高斯溅射技术

SC-GS是一种新型表示技术,将动态场景的运动和外观分别用稀疏控制点和密集高斯函数表示。它使用少量控制点学习紧凑的6自由度变换基,这些基可通过插值权重在局部插值,得到3D高斯函数的运动场。它采用变形MLP预测每个控制点的时变6自由度变换,降低学习复杂度,增强学习能力,实现时空连贯的运动模式。同时联合学习3D高斯函数、控制点的规范空间位置和变形MLP,重建3D场景的外观、几何和动态。在训练过程中,控制点的位置和数量会自适应调整以适应不同区域的运动复杂度,并采用尽可能刚性的损失函数强制运动的空间连续性和局部刚性。由于运动表示的显式稀疏性和外观分离,该方法实现了用户控制的运动编辑,同时保留高保真度外观。大量实验表明,该方法在新视图合成和高速渲染方面优于现有方法,并支持新的保留外观的运动编辑应用。

实时编辑和完整对象结构生成的3D模型。

Stable Point Aware 3D (SPAR3D) 是 Stability AI 推出的先进3D生成模型。它能够在不到一秒的时间内，从单张图像中实现3D对象的实时编辑和完整结构生成。SPAR3D采用独特的架构，结合精确的点云采样与先进的网格生成技术，为3D资产创建提供了前所未有的控制力。该模型免费提供给商业和非商业用途，可在Hugging Face下载权重，GitHub获取代码，或通过Stability AI开发者平台API访问。

360度全场景生成

ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估，并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果，并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。

AI内容替换框架，保留对象身份

ReplaceAnything是一款基于AI的框架，可用于生成新内容并保持用户指定对象的身份。它适用于各种场景，如人物替换、服装替换和背景替换。该框架利用人工智能技术，可以精确地识别和替换图像中的对象，同时保持对象的身份不变。ReplaceAnything具有高度的灵活性和准确性，可以广泛应用于图像处理领域。

智能视频对象分割技术

SAM是一个先进的视频对象分割模型，它结合了光学流动和RGB信息，能够发现并分割视频中的移动对象。该模型在单对象和多对象基准测试中均取得了显著的性能提升，同时保持了对象的身份一致性。

AI生成个人形象照片

DreamPic.AI是一个革命性的平台，利用先进的人工智能技术，在各种风格中生成令人惊叹的个人形象照片。无论您想将自己变成名人、艺术品，甚至是动物，我们都可以满足您的需求。只需几个简单的点击，您就可以创建一张独一无二的照片，令人印象深刻。

个性化视觉编辑中任意对象交换

SwapAnything是一个新颖的框架，可以根据参考给出的个性化概念，交换图像中的任意对象，同时保持上下文不变。相较于现有的个性化主题交换方法，SwapAnything有三个独特优势：(1)精确控制任意对象和部分而非主题，(2)更忠实地保留上下文像素，(3)更好地将个性化概念适应到图像中。它通过有针对性的变量交换来在潜在特征图上实现区域控制，交换被遮罩的变量以保持忠实的上下文和初始的语义概念交换。然后，通过外观调整，无缝地将语义概念调整到原始图像中，包括目标位置、形状、风格和内容。在人工和自动评估上的广泛结果表明，我们的方法在个性化交换方面比基准方法有显著改进。此外，SwapAnything展示了在单个对象、多个对象、部分对象和跨领域交换任务上的精确和忠实交换能力。SwapAnything还在基于文本的交换和超出交换的任务上取得了出色表现，如对象插入。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

扩展3D场景生成模型

BlockFusion是一种基于扩散的模型，可以生成3D场景，并无缝地将新的块整合到场景中。它通过对随机裁剪自完整3D场景网格的3D块数据集进行训练。通过逐块拟合，所有训练块都被转换为混合神经场：其中包含几何特征的三面体，然后是用于解码有符号距离值的多层感知器（MLP）。变分自动编码器用于将三面体压缩到潜在的三面体空间，对其进行去噪扩散处理。扩散应用于潜在表示，可以实现高质量和多样化的3D场景生成。在生成过程中扩展场景时，只需附加空块以与当前场景重叠，并外推现有的潜在三面体以填充新块。外推是通过在去噪迭代过程中使用来自重叠三面体的特征样本来调节生成过程完成的。潜在三面体外推产生语义和几何上有意义的过渡，与现有场景和谐地融合。使用2D布局调节机制来控制场景元素的放置和排列。实验结果表明，BlockFusion能够生成多样化、几何一致且质量高的室内外大型3D场景。

一款强大的在线免费 AI 图片编辑工具。

Pixelfox AI 图片编辑器是一款先进的在线工具，利用人工智能技术简化图片编辑过程。用户无需下载任何软件，便可实现多种图像处理功能，包括对象移除、背景生成、图片增强等。其快速的处理速度和高精度的输出效果，使其在创作者和商家中倍受欢迎。Pixelfox 提供免费使用，极大地降低了专业图像处理的门槛，让每个人都能轻松创造出美丽的图像。

细粒度对象切割工具，用于精确编辑图像。

finegrain-object-cutter 是一个基于Hugging Face Spaces平台的图像编辑工具，它利用先进的机器学习技术来实现对图像中对象的细粒度切割。该工具的主要优点在于其高精度和易用性，用户可以通过简单的操作来实现复杂的图像编辑任务。它特别适合需要对图像进行精细处理的设计师和开发者，可以广泛应用于图像编辑、增强现实、虚拟现实等领域。

一站式小红书笔记创作工具，提供编辑、排版、内容检测等功能。

Reditor编辑器是一款专为小红书博主设计的一站式笔记创作工具。它通过提供笔记编辑、排版、内容检测、效果预览等功能，帮助用户掌握小红书笔记创作的底层逻辑，提高创作效率。产品的主要优点包括精准的违禁词检测、丰富的文案生成功能以及多端数据同步等。它面向小红书创作者，尤其是那些希望提高创作效率、避免内容违规的用户。产品提供免费会员和付费会员两种选择，付费会员可享受更多高级功能。

去除照片中的不需要的对象，轻松获得干净的照片

Pixelcut的免费在线Magic Eraser工具允许您快速去除照片中的任何不需要的对象，以秒级的速度获得干净的照片。无需技术知识，只需上传照片，刷掉不需要的对象，即可获得清晰、美观的照片。Magic Eraser还可以用于去除照片中的文字、人物、瑕疵等。该工具适用于个人用户、摄影爱好者、社交媒体用户等各种场景。Pixelcut的Magic Eraser已经被1500万用户信任，可在iPhone和Android设备上使用。

单文本/图像生成可导航3D场景

LucidDreamer是一种无域3D场景生成技术，通过充分利用现有大规模扩散生成模型的能力，可以从单个文本提示或单个图像生成可导航的3D场景。该方法具有梦境和对齐两个交替步骤，首先根据输入生成多视角一致的图像，然后将新生成的3D场景部分和谐地整合在一起。LucidDreamer生成的高度详细的高斯斑点与以往的3D场景生成方法相比没有目标场景域的限制。

一键删除背景和对象，强大的AI生成工具

Pixelart是一款专业的图片编辑工具，可一键删除背景和对象，并具有强大的AI生成功能。它可以轻松删除照片中的背景和对象，支持批量编辑，提供各种创意模板，并能将文字转化为照片和数字艺术品。此外，它还提供AI写作助手，帮助您轻松完成任何写作任务。Pixelart适用于个人、商业和教育等各种场景。

一个可以解释和生成梦境场景的ComfyUI插件

ComfyUI-Dream-Interpreter是一个ComfyUI插件,可以让用户输入自己的梦境描述,插件会解释这个梦境的潜在含义,并生成一个全景梦境场景图像。生成的不仅是静态图像,还是一个支持三维交互的Canvas,用户可以仿佛身临其境般探索自己的梦境世界。这个插件将梦境描述、解释和生成相结合,为用户提供一种独特的梦境体验。

SyncAnimation 是一种基于 NeRF 的音频驱动实时生成说话头像和上半身动作的技术框架。

SyncAnimation 是一种创新的音频驱动技术，能够实时生成高度逼真的说话头像和上半身动作。它通过结合音频与姿态、表情的同步技术，解决了传统方法在实时性和细节表现上的不足。该技术主要面向需要高质量实时动画生成的应用场景，如虚拟主播、在线教育、远程会议等，具有重要的应用价值。目前尚未明确其价格和具体市场定位。

图片和视频的通用对象基础模型

GLEE 是一个针对图片和视频的通用对象基础模型，通过统一的框架实现了定位和识别图像和视频中的对象，并能应用于各种对象感知任务。GLEE 通过联合训练来自不同监督水平的各种数据源，形成通用的对象表示，在保持最先进性能的同时，能够有效地进行零样本迁移和泛化。它还具备良好的可扩展性和鲁棒性。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

从单目视频生成高质量4D对象的新型框架

DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。

全能型图像生成与编辑模型

ControlNet++是一种基于ControlNet架构的新型网络设计，支持10多种控制类型，用于条件文本到图像的生成，并能生成与midjourney视觉可比的高分辨率图像。它通过两个新模块扩展了原有ControlNet，支持使用相同网络参数的不同图像条件，并支持多条件输入而不增加计算负担。该模型已开源，旨在让更多人享受图像生成与编辑的便利。

从单张图片创建可控3D和4D场景的视频扩散模型

DimensionX是一个基于视频扩散模型的3D和4D场景生成技术，它能够从单张图片中创建出具有可控视角和动态变化的三维和四维场景。这项技术的主要优点包括高度的灵活性和逼真度，能够根据用户提供的提示词生成各种风格和主题的场景。DimensionX的背景信息显示，它是由一群研究人员共同开发的，旨在推动图像生成技术的发展。目前，该技术是免费提供给研究和开发社区使用的。