1.3B参数的图像转视频模型，用于生成3D一致的新场景视图
Stable Virtual Camera是Stability AI开发的一个1.3B参数的通用扩散模型，属于Transformer图像转视频模型。其重要性在于为新型视图合成（NVS）提供了技术支持，能够根据输入视图和目标相机生成3D一致的新场景视图。主要优点是可自由指定目标相机轨迹，能生成大视角变化且时间上平滑的样本，无需额外神经辐射场（NeRF）蒸馏即可保持高一致性，还能生成长达半分钟的高质量无缝循环视频。该模型仅可免费用于研究和非商业用途，定位是为研究人员和非商业创作者提供创新的图像转视频解决方案。
基于现实世界的首个生成式AI产品
PhotoG是一个基于现实世界的生成式AI平台，它允许用户将任何物品放置到任何场景中，提供个性化定制和广泛的商品选择。PhotoG的技术优势在于实时控制和即时结果，能够100%准确地复制场景，无论是买家还是卖家，都能在任何上下文中可视化产品。该产品起源于开源社区孵化器AID Lab，由来自同济大学、清华大学和UCL等世界前30名QS大学的顶尖团队开发，超过90%的团队成员持有高级学位。PhotoG的目标是将这项技术带给全球数十亿人，并通过持续创新改善生活。
基于大型电影数据库的剧本可视化辅助工具
ScriptViz是一个基于斯坦福大学开发的MovieNet数据库的剧本可视化工具，它通过分析1100部电影的不同层级标注，包括电影级别的类型标签、场景级别的地点标签、镜头级别的电影风格标签以及帧级别的角色边界框注释，帮助编剧在创作过程中通过可视化的方式丰富对话细节和撰写未完成的对话。该工具的主要优点在于能够根据编剧输入的固定和可变属性检索相应的电影场景序列，从而辅助编剧在创作过程中做出更好的决策。ScriptViz的背景信息显示，它是由斯坦福大学的Anyi Rao、Jean-Peïc Chou和Maneesh Agrawala共同开发的，并且在ACM UIST 2024上展示。
场景感知的语义导航与指令引导控制模型
SCENIC是一个文本条件的场景交互模型，能够适应具有不同地形的复杂场景，并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示，来导航3D场景。SCENIC利用层次化推理场景的方法，结合运动与文本之间的帧对齐，实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作，对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。
从日常动态视频中快速、准确地估计相机和密集结构
MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。
AI驱动的情感丰富语音生成服务
nijivoiceにじボイス是一个利用人工智能技术实现的语音生成平台，用户可以通过选择不同的角色和输入文本来生成富有情感的语音。这项技术的重要性在于它能够提供个性化的声音，满足从娱乐到商业的多种需求，并且操作简便，易于上手。产品背景信息显示，にじボイス提供了多种声音选择，适用于不同的场景，包括VTuber、虚拟角色、企业介绍视频、产品宣传、教育内容等。价格方面，にじボイス提供免费计划以及多种付费计划，以适应不同用户的需求。
基于条件扩散模型的人类-物体交互合成技术
Controllable Human-Object Interaction Synthesis (CHOIS) 是一种先进的技术，它能够根据语言描述、初始物体和人类状态以及稀疏物体路径点来同时生成物体运动和人类运动。这项技术对于模拟真实的人类行为至关重要，尤其在需要精确手-物体接触和由地面支撑的适当接触的场景中。CHOIS通过引入物体几何损失作为额外的监督信息，以及在训练扩散模型的采样过程中设计指导项来强制执行接触约束，从而提高了生成物体运动与输入物体路径点之间的匹配度，并确保了交互的真实性。
4D场景创建工具，使用多视图视频扩散模型
CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频，并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息，为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示，CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发，是一个前沿的科研成果转化为实际应用的案例。
使用先进计算机视觉算法进行自动、准确计数的应用。
CountAnything是一个前沿应用，利用先进的计算机视觉算法实现自动、准确的物体计数。它适用于多种场景，包括工业、养殖业、建筑、医药和零售等。该产品的主要优点在于其高精度和高效率，能够显著提升计数工作的准确性和速度。产品背景信息显示，CountAnything目前已开放给非中国大陆地区用户使用，并且提供免费试用。
从单张图片创建可控3D和4D场景的视频扩散模型
DimensionX是一个基于视频扩散模型的3D和4D场景生成技术，它能够从单张图片中创建出具有可控视角和动态变化的三维和四维场景。这项技术的主要优点包括高度的灵活性和逼真度，能够根据用户提供的提示词生成各种风格和主题的场景。DimensionX的背景信息显示，它是由一群研究人员共同开发的，旨在推动图像生成技术的发展。目前，该技术是免费提供给研究和开发社区使用的。
文本驱动的3D头像生成与全身动画表达
DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。
可控角色视频合成技术
MIMO是一个通用的视频合成模型，能够模仿任何人在复杂动作中与物体互动。它能够根据用户提供的简单输入（如参考图像、姿势序列、场景视频或图像）合成具有可控属性（如角色、动作和场景）的角色视频。MIMO通过将2D视频编码为紧凑的空间代码，并将其分解为三个空间组成部分（主要人物、底层场景和浮动遮挡）来实现这一点。这种方法允许用户灵活控制，空间运动表达以及3D感知合成，适用于交互式真实世界场景。
高保真动态城市场景重建技术
OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。
高精度图像分割技术，适用于多种场景。
BiRefNet是一款专注于高精度图像分割的模型，它利用双边参考技术实现高分辨率的二元图像分割。这项技术在教育、医疗、地理等多个领域都有广泛的应用，特别是在需要精确分割图像以进行进一步分析的场合，如医学成像、自动驾驶车辆等。
视频内容的快速检索工具
Spottr是一个利用高级算法快速定位视频内容的工具，它通过自然语言处理技术，让用户能够在海量视频资料中迅速找到所需时刻，极大地提高了视频检索的效率和准确性。它适用于各种场景，如安全监控、野生动物监测、视频制作等，能够为不同行业的用户带来极大的便利。
从文本描述生成全息3D全景世界
HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。
3D场景重建与动态物体追踪技术
EgoGaussian是一项先进的3D场景重建与动态物体追踪技术，它能够仅通过RGB第一人称视角输入，同时重建3D场景并动态追踪物体的运动。这项技术利用高斯散射的独特离散特性，从背景中分割出动态交互，并通过片段级别的在线学习流程，利用人类活动的动态特性，以时间顺序重建场景的演变并追踪刚体物体的运动。EgoGaussian在野外视频的挑战中超越了先前的NeRF和动态高斯方法，并且在重建模型的质量上也表现出色。
自动驾驶与视觉语言模型的融合
DriveVLM是一个自动驾驶系统，它利用视觉语言模型(VLMs)来增强场景理解和规划能力。该系统通过独特的推理模块组合，包括场景描述、场景分析和分层规划，以提高对复杂和长尾场景的理解。此外，为了解决VLMs在空间推理和计算需求上的局限性，提出了DriveVLM-Dual，这是一个混合系统，结合了DriveVLM的优势和传统自动驾驶流程。在nuScenes数据集和SUP-AD数据集上的实验表明，DriveVLM和DriveVLM-Dual在处理复杂和不可预测的驾驶条件方面非常有效。最终，DriveVLM-Dual在生产车辆上进行了部署，验证了其在现实世界自动驾驶环境中的有效性。
© 2025 AIbase 备案号：闽ICP备08105208号-14