需求人群:
"SceneWiz3D可用于从文本中合成高保真的3D场景,适用于虚拟现实、游戏开发、影视特效等领域。"
使用场景示例:
虚拟现实应用中,通过SceneWiz3D可以从文本描述中合成逼真的3D场景。
游戏开发者可以利用SceneWiz3D从简单的文字描述中快速生成复杂的3D场景。
影视特效团队可以使用SceneWiz3D将文本概念转化为逼真的3D场景,节省制作时间。
产品特色:
从文本合成高保真3D场景
采用混合的3D表示
应用粒子群优化技术配置场景布局
引入RGBD全景扩散模型作为额外先验
浏览量:23
文本引导的高保真3D场景合成
SceneWiz3D是一种新颖的方法,可以从文本中合成高保真的3D场景。它采用混合的3D表示,对对象采用显式表示,对场景采用隐式表示。用户可以通过传统的文本到3D方法或自行提供对象来生成对象。为了配置场景布局并自动放置对象,我们在优化过程中应用了粒子群优化技术。此外,在文本到场景的情况下,对于场景的某些部分(例如角落、遮挡),很难获得多视角监督,导致几何形状劣质。为了缓解这种监督缺失,我们引入了RGBD全景扩散模型作为额外先验,从而实现了高质量的几何形状。广泛的评估支持我们的方法实现了比以前的方法更高的质量,可以生成详细且视角一致的3D场景。
高保真文本引导的音乐生成与编辑模型
MelodyFlow是一个基于文本控制的高保真音乐生成和编辑模型,它使用连续潜在表示序列,避免了离散表示的信息丢失问题。该模型基于扩散变换器架构,经过流匹配目标训练,能够生成和编辑多样化的高质量立体声样本,且具有文本描述的简单性。MelodyFlow还探索了一种新的正则化潜在反转方法,用于零样本测试时的文本引导编辑,并展示了其在多种音乐编辑提示中的优越性能。该模型在客观和主观指标上进行了评估,证明了其在标准文本到音乐基准测试中的质量与效率上与评估基线相当,并且在音乐编辑方面超越了以往的最先进技术。
文本引导的无形状物体修复模型
Diffree是一个基于文本引导的图像修复模型,它能够通过文本描述来添加新对象到图像中,同时保持背景的一致性、空间适宜性和对象的相关性和质量。该模型通过训练在OABench数据集上,使用稳定扩散模型和额外的掩码预测模块,能够独特地预测新对象的位置,实现仅通过文本指导的对象添加。
从文本生成高保真3D服装资产
ClotheDreamer是一个基于3D高斯的文本引导服装生成模型,能够从文本描述生成高保真的、可穿戴的3D服装资产。它采用了一种新颖的表示方法Disentangled Clothe Gaussian Splatting (DCGS),允许服装和人体分别进行优化。该技术通过双向Score Distillation Sampling (SDS)来提高服装和人体渲染的质量,并支持自定义服装模板输入。ClotheDreamer的合成3D服装可以轻松应用于虚拟试穿,并支持物理精确的动画。
使用扩散指引对文本感知图像进行细粒度风格控制
DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。
视频重渲染:零样本文本引导的视频到视频翻译
RERENDER A VIDEO是一种新颖的零样本文本引导的视频到视频翻译框架,用于将图像模型应用于视频领域。该框架包括两个部分:关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧,并应用分层跨帧约束来确保形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。我们的框架以低成本实现了全局风格和局部纹理的时间一致性(无需重新训练或优化)。该适应性与现有的图像扩散技术兼容,使我们的框架能够利用它们,例如使用LoRA自定义特定主题,并使用ControlNet引入额外的空间引导。大量实验证明了我们提出的框架在呈现高质量和时间一致性视频方面的有效性。
© 2024 AIbase 备案号:闽ICP备08105208号-14