需求人群:
["创意生产人员:可以通过单张照片扫描产品或道具,然后在Blender或游戏引擎中进行细化,加速游戏、CGI和社交内容的制作。", "电商从业者:利用单张产品照片实现“在房间中查看”功能,通过SAM 3分割和sam3d重建,在AR查看器中即时渲染产品,提升购物体验。", "机器人研发团队:在缺少深度信息时,从相机图像中推断形状和自由空间,为机器人感知提供3D先验知识,补充LiDAR感知堆栈。", "医学和科学研究人员:将2D扫描或显微镜图像转换为3D形式进行检查,针对解剖学、生物学或实验室领域对sam3d进行微调,辅助科研工作。"]
使用场景示例:
创意生产:通过单张照片扫描产品或道具,在Blender或游戏引擎中进行细化,加速游戏、CGI和社交内容的制作。
电商AR购物:利用单张产品照片实现“在房间中查看”功能,通过SAM 3分割和sam3d重建,在AR查看器中即时渲染产品。
机器人感知:在缺少深度信息时,从相机图像中推断形状和自由空间,为机器人感知提供3D先验知识,补充LiDAR感知堆栈。
产品特色:
单图像3D推理:能够从一张RGB照片中推断出完整的3D形状、纹理和布局,取代了许多工作流程中的多视图和LiDAR设置,大大简化了数据采集过程。
开放词汇分割:利用SAM 3的文本、点、框提示来隔离对象,根据自然语言或视觉线索生成有针对性的3D资产,实现更灵活的对象提取。
开放生态系统:提供检查点、推理代码和基准数据集,如Artist Objects和SAM 3D Body,便于进行可重复的研究和生产试点,促进学术和工业界的交流与合作。
XR就绪:为AR/VR管道提供支持,可将单图像扫描导入虚拟房间、混合现实场景和沉浸式故事讲述中,增强XR应用的内容创作能力。
高效输入:降低了数据采集的复杂度,可处理旧照片、用户生成内容和单产品照片,充分利用现有资源。
基准评估:包含明确的评估套件,团队可以通过这些套件测量模型性能,识别领域差距,并在需要时进行微调,确保模型在不同应用场景下的准确性和稳定性。
使用教程:
1. 捕获与提示:使用一张光线充足的RGB图像,可选择使用SAM 3的文本或框提示来隔离目标对象。
2. 重建:使用发布的检查点和代码运行推理,sam3d将直接预测几何、纹理和布局。
3. 导出与部署:导出网格和纹理,将其放置到AR查看器、3D引擎、机器人模拟器或营销体验中。
4. 最佳结果检查:确保图像清晰、照明平衡、遮挡最少,使用简单背景以提高掩码质量和几何精度;使用SAM 3提示隔离感兴趣的对象;在自己的数据上进行基准测试,针对特定领域进行微调;测量交互式AR/VR场景的延迟和成本。
浏览量:1
Meta的单图像3D重建模型,融合SAM 3分割与几何纹理布局预测生成3D资产
sam3d是Meta推出的研究级单图像3D重建模型,它将SAM 3的开放词汇分割与几何、纹理和布局预测相融合,能直接从单张RGB图像生成3D资产。该模型具有开源的检查点、推理代码和基准数据集,方便进行可重复的研究和生产试点。其重要性在于降低了3D重建的硬件和设置复杂度,提高了重建效率。主要优点包括单图像输入、开放词汇分割、开放生态系统、适用于XR、高效输入和有明确的评估套件等。产品免费开源,定位于创意工具、电商AR购物、机器人感知和科学可视化等领域。
AI 生成定制 3D 模型
3D AI Studio 是一款基于人工智能技术的在线工具,可以轻松生成定制的 3D 模型。适用于设计师、开发者和创意人士,提供高质量的数字资产。用户可以通过AI生成器快速创建3D模型,并以FBX、GLB或USDZ格式导出。3D AI Studio具有高性能、用户友好的界面、自动生成真实纹理等特点,可大幅缩短建模时间和降低成本。
快速从单张图片生成3D模型。
Stable Fast 3D (SF3D) 是一个基于TripoSR的大型重建模型,能够从单张物体图片生成带有纹理的UV展开3D网格资产。该模型训练有素,能在不到一秒的时间内创建3D模型,具有较低的多边形计数,并且进行了UV展开和纹理处理,使得模型在下游应用如游戏引擎或渲染工作中更易于使用。此外,模型还能预测每个物体的材料参数(粗糙度、金属感),在渲染过程中增强反射行为。SF3D适用于需要快速3D建模的领域,如游戏开发、电影特效制作等。
一种通过3D感知递归扩散生成3D模型的框架
Ouroboros3D是一个统一的3D生成框架,它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。该框架通过自条件机制联合训练这两个模块,使它们能够相互适应,以实现鲁棒的推理。在多视图去噪过程中,多视图扩散模型使用由重建模块在前一时间步渲染的3D感知图作为附加条件。递归扩散框架与3D感知反馈相结合,提高了整个过程的几何一致性。实验表明,Ouroboros3D框架在性能上优于将这两个阶段分开训练的方法,以及在推理阶段将它们结合起来的现有方法。
腾讯推出的3D生成框架,支持文本和图像到3D的生成。
Hunyuan3D-1是腾讯推出的一个统一框架,用于文本到3D和图像到3D的生成。该框架采用两阶段方法,第一阶段使用多视图扩散模型快速生成多视图RGB图像,第二阶段通过前馈重建模型快速重建3D资产。Hunyuan3D-1.0在速度和质量之间取得了令人印象深刻的平衡,显著减少了生成时间,同时保持了生成资产的质量和多样性。
腾讯混元3D驱动的图片转3D与STL转换器,快速生成高精度3D模型
Image3D AI是一款由腾讯混元3D(Hunyuan 3D)强力驱动的图片转3D与STL转换器。其核心技术基于腾讯尖端的混元3D AI大模型,能够理解复杂空间关系、纹理细节和几何结构。该产品的主要优点包括:多模态输入,可处理单张图或多视图;能生成高精细度的PBR材质;保证高精细度的模型输出;生成速度快,平均30 - 60秒完成。价格方面,暂未提及收费信息,推测有免费使用部分。产品定位是为不同行业提供图片转3D模型的解决方案,赋能工作流。
轻松创建和利用3D内容
3D Creation是一个提供给用户轻松创建和利用3D内容的网站。它提供了多种功能,包括AI纹理、我的模型、API等。用户可以使用AI纹理功能将图片转换为纹理,也可以使用文本转3D功能将文字描述转换为3D模型。此外,用户还可以使用Sketch to 3D功能将手绘草图转换为3D模型。3D Creation适用于各种场景,如设计、图像处理、视频制作等。该产品定位于提供简单易用的3D内容创作工具,并提供合理的定价策略。
基于多视图生成重建先验的拖拽式3D编辑工具
MVDrag3D是一个创新的3D编辑框架,它通过利用多视图生成和重建先验来实现灵活且具有创造性的拖拽式3D编辑。该技术的核心是使用多视图扩散模型作为强大的生成先验,以在多个渲染视图中执行一致的拖拽编辑,随后通过重建模型重建编辑对象的3D高斯。MVDrag3D通过视图特定的变形网络调整高斯的位置以实现良好的视图对齐,并提出多视图评分函数以从多个视图中提取生成先验,进一步增强视图一致性和视觉质量。这项技术对于3D建模和设计领域具有重要意义,因为它支持更多样化的编辑效果,并适用于多种对象类别和3D表示。
将图片轻松转换为3D资产的专业工具
TRELLIS 3D AI是一款利用人工智能技术将图片转换成3D资产的专业工具。它通过结合先进的神经网络和结构化潜在技术(Structured LATents, SLAT),能够保持输入图片的结构完整性和视觉细节,生成高质量的3D资产。产品背景信息显示,TRELLIS 3D AI被全球专业人士信赖,用于可靠的图像到3D资产的转换。与传统的3D建模工具不同,TRELLIS 3D AI提供了一个无需复杂操作的图像到3D资产的转换过程。产品价格为免费,适合需要快速、高效生成3D资产的用户。
文字转3D
Luma AI是一款基于人工智能技术的文字转3D工具,通过使用Luma AI,用户可以将文字快速转换成3D模型,并进行编辑和渲染,实现独特的视觉效果。Luma AI具有高效、易用和灵活的特点,适用于各种创意设计、广告制作和数字媒体项目。定价详细请参考官方网站。
从多视角图像创建3D场景
CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道,将生成的视图转化为可交互渲染的3D表示。整个处理时间(包括视图生成和3D重建)仅需一分钟。
创意3D绘图工具
Draw3D是一款创意3D绘图工具,帮助用户在三维空间中进行绘画和设计。它提供了丰富的绘图功能和工具,使用户可以轻松创建令人惊叹的3D作品。Draw3D具有直观的界面和简单易用的操作,适合初学者和专业设计师使用。它的定价包括基础版和专业版,用户可以根据自己的需求选择合适的版本。
首个同时支持文生和图生的3D开源模型
腾讯混元3D是一个开源的3D生成模型,旨在解决现有3D生成模型在生成速度和泛化能力上的不足。该模型采用两阶段生成方法,第一阶段使用多视角扩散模型快速生成多视角图像,第二阶段通过前馈重建模型快速重建3D资产。混元3D-1.0模型能够帮助3D创作者和艺术家自动化生产3D资产,支持快速单图生3D,10秒内完成端到端生成,包括mesh和texture提取。
无需相机校准信息的密集立体3D重建
DUSt3R是一种新颖的密集和无约束立体3D重建方法,适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息,通过将成对重建问题视为点图的回归,放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法,并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构,利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息,并且可以从中恢复像素匹配、相对和绝对相机信息。
3D模型查看器,支持在线查看和交互
CSM 3D Viewer是一个在线3D模型查看器,允许用户在网页上查看和交互3D模型。它支持多种3D文件格式,提供了旋转、缩放等基本操作,以及更高级的查看功能。CSM 3D Viewer适用于设计师、工程师和3D爱好者,帮助他们更直观地展示和分享3D作品。
3D实例分割的创新方法
SAM-guided Graph Cut for 3D Instance Segmentation是一种利用3D几何和多视图图像信息进行3D实例分割的深度学习方法。该方法通过3D到2D查询框架,有效利用2D分割模型进行3D实例分割,通过图割问题构建超点图,并通过图神经网络训练,实现对不同类型场景的鲁棒分割性能。
ComfyUI节点插件,支持3D处理
ComfyUI-3D-Pack是一个强大的3D处理节点插件包,它为ComfyUI提供了处理3D输入(网格、UV纹理等)的能力,使用了最前沿的算法,如3D高斯采样、神经辐射场等。这个项目可以让用户只用单张图片就可以快速生成3D高斯模型,并可以将高斯模型转换成网格,实现3D重建。它还支持多视图图像作为输入,允许在给定的3D网格上映射多视图渲染的纹理贴图。该插件包处于开发中,尚未正式发布到ComfyUI插件库,但已经支持诸如大型多视图高斯模型、三平面高斯变换器、3D高斯采样、深度网格三角剖分、3D文件加载保存等功能。它的目标是成为ComfyUI处理3D内容的强大工具。
快速生成带纹理的3D模型
SF3D是一个基于深度学习的3D资产生成模型,它能够从单张图片中快速生成具有UV展开和材质参数的带纹理3D模型。与传统方法相比,SF3D特别针对网格生成进行了训练,集成了快速UV展开技术,能够迅速生成纹理而不是依赖顶点颜色。此外,该模型还能学习材质参数和法线贴图,以提高重建模型的视觉质量。SF3D还引入了一个去照明步骤,有效去除低频照明效果,确保重建的网格在新的照明条件下易于使用。
ComfyUI 3D处理插件包
ComfyUI-3D-Pack是一个强大的3D处理插件集合,它为ComfyUI提供了处理3D模型(网格、纹理等)的能力,集成了各种前沿3D重建和渲染算法,如3D高斯采样、NeRF不同iable渲染等,可以实现单视角图像快速重建3D高斯模型,并可转换为三角网格模型,同时还提供了交互式3D可视化界面。
3D模型市场与AI驱动的3D模型创建
Mondial 3D是一个3D模型市场,提供各种类型的3D模型,并且还有AI驱动的3D模型创建工具。您可以在市场上浏览和购买现有的3D模型,或者使用AI技术创建定制的3D模型。无论您是设计师还是爱好者,Mondial 3D都能满足您的需求。
从单张图片或文本提示生成高质量3D资产
Flex3D是一个两阶段流程,能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展,可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持,并且团队成员在3D重建和计算机视觉领域有着深厚的背景。
手机上创造惊艳的3D设计
Glyf是一款手机应用,让你可以在几分钟内创建令人惊叹的3D设计。通过Glyf,你可以将文字、图片等转换成精美的3D艺术品,并且利用强大的人工智能功能,通过几句话创造出令人惊艳的AI艺术。Glyf将很快上线于Google Play Store和Apple App Store。
ReconFusion: 3D重建与扩散先验
ReconFusion是一种3D重建方法,利用扩散先验在只有少量照片的情况下重建真实世界场景。它结合Neural Radiance Fields(NeRFs)和扩散先验,能够在新的摄像机位置超出输入图像集合的情况下,合成逼真的几何和纹理。该方法通过在少量视图和多视图数据集上训练扩散先验,能够在不受约束的区域合成逼真的几何和纹理,同时保留观察区域的外观。ReconFusion在各种真实世界数据集上进行了广泛评估,包括前向和360度场景,展示出明显的性能改进。
从单张图片生成高质量3D视图和新颖视角的3D生成技术
Stable Video 3D是Stability AI推出的新模型,它在3D技术领域取得了显著进步,与之前发布的Stable Zero123相比,提供了大幅改进的质量和多视角支持。该模型能够在没有相机条件的情况下,基于单张图片输入生成轨道视频,并且能够沿着指定的相机路径创建3D视频。
3D模型动画生成
Animate3D是一个创新的框架,用于为任何静态3D模型生成动画。它的核心理念包括两个主要部分:1) 提出一种新的多视图视频扩散模型(MV-VDM),该模型基于静态3D对象的多视图渲染,并在我们提供的大规模多视图视频数据集(MV-Video)上进行训练。2) 基于MV-VDM,引入了一个结合重建和4D得分蒸馏采样(4D-SDS)的框架,利用多视图视频扩散先验来为3D对象生成动画。Animate3D通过设计新的时空注意力模块来增强空间和时间一致性,并通过多视图渲染来保持静态3D模型的身份。此外,Animate3D还提出了一个有效的两阶段流程来为3D模型生成动画:首先从生成的多视图视频中直接重建运动,然后通过引入的4D-SDS来细化外观和运动。
© 2025 AIbase 备案号:闽ICP备08105208号-14