DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。
DiffSplat 是一种创新的 3D 生成技术,能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型,实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题,同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度(1~2 秒内完成)、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景,尤其是在需要快速生成高质量 3D 模型的场景中。
高保真视频编码,适用于大运动场景的视频自编码器。
这是一个视频变分自编码器(VAE),旨在减少视频冗余并促进高效视频生成。该模型通过观察发现,将图像VAE直接扩展到3D VAE会引入运动模糊和细节失真,因此提出了时间感知的空间压缩以更好地编码和解码空间信息。此外,该模型还集成了一个轻量级的运动压缩模型以实现进一步的时间压缩。通过利用文本到视频数据集中固有的文本信息,并在模型中加入文本指导,显著提高了重建质量,特别是在细节保留和时间稳定性方面。该模型还通过在图像和视频上进行联合训练来提高其通用性,不仅提高了重建质量,还使模型能够执行图像和视频的自编码。广泛的评估表明,该方法的性能优于最近的强基线。
从单张图片重建逼真的3D人体模型
PSHuman是一个创新的框架,它利用多视图扩散模型和显式重构技术,从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题,并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征,实现了细节丰富且保持身份特征的新视角生成。此外,PSHuman还通过SMPL-X等参数化模型提供的身体先验,增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。
基于扩散模型的高保真服装重建虚拟试穿技术
TryOffDiff是一种基于扩散模型的高保真服装重建技术,用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同,它旨在提取规范的服装图像,这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明,其方法优于基于姿态转移和虚拟试穿的基线方法,并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量,还能推进生成模型的评估,并激发未来在高保真重建方面的工作。
4D场景创建工具,使用多视图视频扩散模型
CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频,并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息,为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示,CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发,是一个前沿的科研成果转化为实际应用的案例。
3D高斯生成技术,实现任意未摆姿势图像的3D重建
LucidFusion是一个灵活的端到端前馈框架,用于从未摆姿势、稀疏和任意数量的多视图图像中生成高分辨率3D高斯。该技术利用相对坐标图(RCM)来对齐不同视图间的几何特征,使其在3D生成方面具有高度适应性。LucidFusion能够与原始单图像到3D的流程无缝集成,生成512x512分辨率的详细3D高斯,适合广泛的应用场景。
腾讯推出的3D生成框架,支持文本和图像到3D的生成。
Hunyuan3D-1是腾讯推出的一个统一框架,用于文本到3D和图像到3D的生成。该框架采用两阶段方法,第一阶段使用多视图扩散模型快速生成多视图RGB图像,第二阶段通过前馈重建模型快速重建3D资产。Hunyuan3D-1.0在速度和质量之间取得了令人印象深刻的平衡,显著减少了生成时间,同时保持了生成资产的质量和多样性。
首个同时支持文生和图生的3D开源模型
腾讯混元3D是一个开源的3D生成模型,旨在解决现有3D生成模型在生成速度和泛化能力上的不足。该模型采用两阶段生成方法,第一阶段使用多视角扩散模型快速生成多视角图像,第二阶段通过前馈重建模型快速重建3D资产。混元3D-1.0模型能够帮助3D创作者和艺术家自动化生产3D资产,支持快速单图生3D,10秒内完成端到端生成,包括mesh和texture提取。
基于多视图生成重建先验的拖拽式3D编辑工具
MVDrag3D是一个创新的3D编辑框架,它通过利用多视图生成和重建先验来实现灵活且具有创造性的拖拽式3D编辑。该技术的核心是使用多视图扩散模型作为强大的生成先验,以在多个渲染视图中执行一致的拖拽编辑,随后通过重建模型重建编辑对象的3D高斯。MVDrag3D通过视图特定的变形网络调整高斯的位置以实现良好的视图对齐,并提出多视图评分函数以从多个视图中提取生成先验,进一步增强视图一致性和视觉质量。这项技术对于3D建模和设计领域具有重要意义,因为它支持更多样化的编辑效果,并适用于多种对象类别和3D表示。
高效3D高斯重建模型,实现大场景快速重建
Long-LRM是一个用于3D高斯重建的模型,能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像,并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块,通过高效的token合并和高斯修剪步骤,在保证质量的同时提高了效率。与传统的前馈模型相比,Long-LRM能够一次性重建整个场景,而不是仅重建场景的一小部分。在大规模场景数据集上,如DL3DV-140和Tanks and Temples,Long-LRM的性能可与基于优化的方法相媲美,同时效率提高了两个数量级。
从单目视频重建时间一致的4D人体模型
DressRecon是一个用于从单目视频重建时间一致的4D人体模型的方法,专注于处理非常宽松的服装或手持物体交互。该技术结合了通用的人体先验知识(从大规模训练数据中学习得到)和针对单个视频的特定“骨骼袋”变形(通过测试时优化进行拟合)。DressRecon通过学习一个神经隐式模型来分离身体与服装变形,作为单独的运动模型层。为了捕捉服装的微妙几何形状,它利用基于图像的先验知识,如人体姿势、表面法线和光流,在优化过程中进行调整。生成的神经场可以提取成时间一致的网格,或者进一步优化为显式的3D高斯,以提高渲染质量和实现交互式可视化。DressRecon在包含高度挑战性服装变形和物体交互的数据集上,提供了比以往技术更高的3D重建保真度。
从单张图片或文本提示生成高质量3D资产
Flex3D是一个两阶段流程,能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展,可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持,并且团队成员在3D重建和计算机视觉领域有着深厚的背景。
生成逼真的动态人脸视频。
Stable Video Portraits是一种创新的混合2D/3D生成方法,利用预训练的文本到图像模型(2D)和3D形态模型(3D)生成逼真的动态人脸视频。该技术通过人特定的微调,将一般2D稳定扩散模型提升到视频模型,通过提供时间序列的3D形态模型作为条件,并引入时间去噪过程,生成具有时间平滑性的人脸影像,可以编辑和变形为文本定义的名人形象,无需额外的测试时微调。该方法在定量和定性分析中均优于现有的单目头部化身方法。
24/7自动化根本原因分析,最小化停机时间,最大化效率。
Small Hours Assistant是一个为开发者设计的AI助手,它通过24小时自动化根本原因分析来帮助减少系统故障时间,提高工作效率。它支持多种编程语言和框架,能够与现有的代码库和运维手册无缝集成,提供智能化的故障排查和问题解决建议。产品由前亚马逊工程师团队开发,致力于开源社区的贡献。
快速创建个性化的二维码,提升品牌互动。
Adobe Express QR 码生成器是一个在线工具,允许用户无需下载任何软件即可快速生成可扫描的二维码。用户可以自定义二维码的颜色和样式,以匹配其品牌或个人风格。该工具支持多种文件格式下载,适用于商业营销、个人品牌推广等多种场景。Adobe Express 提供了大量模板和设计资源,使得即使是设计新手也能轻松创建引人注目的二维码。
高保真新视角合成的视频扩散模型
ViewCrafter 是一种新颖的方法,它利用视频扩散模型的生成能力以及基于点的表示提供的粗略3D线索,从单个或稀疏图像合成通用场景的高保真新视角。该方法通过迭代视图合成策略和相机轨迹规划算法,逐步扩展3D线索和新视角覆盖的区域,从而扩大新视角的生成范围。ViewCrafter 可以促进各种应用,例如通过优化3D-GS表示实现沉浸式体验和实时渲染,以及通过场景级文本到3D生成实现更富有想象力的内容创作。
StatusSight 是一款全面的监控工具。
StatusSight 是一款用于实时监控系统状态的工具,能够帮助企业及时了解其服务的运行状态。它提供直观的仪表板,用户可以轻松跟踪各项指标,确保系统的高可用性与性能。适合各种规模的企业,支持定制化配置,以满足不同需求。此工具通常以订阅方式收费,具体定价根据所需功能而定。
高保真动态城市场景重建技术
OmniRe 是一种用于高效重建高保真动态城市场景的全面方法,它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图,以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者,从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象,并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明,OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。
© 2025 AIbase 备案号:闽ICP备08105208号-14