需求人群:
["虚拟现实","游戏开发","自动内容创建"]
使用场景示例:
文本提示:“秋日公园”,生成室外自然风光场景
文本提示:“舒适的客厅”,生成室内家居场景
文本提示:“水彩夜晚街道”,生成有风格的城市夜景
产品特色:
从文本提示生成3D场景
支持室内外场景生成
支持风格化场景生成
使用2D扩散和深度估计模型
采用高斯云表示场景
插值和精炼高斯云以增强细节
浏览量:146
文本到3D沉浸场景生成
Text2Immersion是一个优雅的从文本提示生成高质量3D沉浸场景的方法。我们提出的流水线首先使用预训练的2D扩散和深度估计模型逐步生成高斯云。接下来是对高斯云进行精炼,插值和精炼以增强生成场景的细节。与仅关注单个物体或室内场景,或采用缩小轨迹的主流方法不同,我们的方法可以生成包含各种物体的不同场景,甚至扩展到创造想象中的场景。因此,Text2Immersion可以对各种应用产生广泛的影响,如虚拟现实、游戏开发和自动内容创建。大量的评估证明我们的系统在渲染质量和多样性方面优于其他方法,并且继续推进面向文本的3D场景生成。
1.3B参数的图像转视频模型,用于生成3D一致的新场景视图
Stable Virtual Camera是Stability AI开发的一个1.3B参数的通用扩散模型,属于Transformer图像转视频模型。其重要性在于为新型视图合成(NVS)提供了技术支持,能够根据输入视图和目标相机生成3D一致的新场景视图。主要优点是可自由指定目标相机轨迹,能生成大视角变化且时间上平滑的样本,无需额外神经辐射场(NeRF)蒸馏即可保持高一致性,还能生成长达半分钟的高质量无缝循环视频。该模型仅可免费用于研究和非商业用途,定位是为研究人员和非商业创作者提供创新的图像转视频解决方案。
从文本描述生成全息3D全景世界
HoloDreamer是一个文本驱动的3D场景生成框架,能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成:风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化,然后利用3D高斯散射(3D-GS)技术快速重建3D场景,从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。
© 2025 AIbase 备案号:闽ICP备08105208号-14