NeuralSVG：从文本提示生成矢量图形的隐式表示方法。
NeuralSVG是一种用于从文本提示生成矢量图形的隐式神经表示方法。它受到神经辐射场（NeRFs）的启发，将整个场景编码到一个小的多层感知器（MLP）网络的权重中，并使用分数蒸馏采样（SDS）进行优化。该方法通过引入基于dropout的正则化技术，鼓励生成的SVG具有分层结构，使每个形状在整体场景中具有独立的意义。此外，其神经表示还提供了推理时控制的优势，允许用户根据提供的输入动态调整生成的SVG，如颜色、宽高比等，且只需一个学习到的表示。通过广泛的定性和定量评估，NeuralSVG在生成结构化和灵活的SVG方面优于现有方法。该模型由特拉维夫大学和MIT CSAIL的研究人员共同开发，目前代码尚未公开。
你的生活搜索好帮手
点点是一款生活搜索助手APP，它通过全网全面的生活经验，帮助用户找到并总结出日常生活中各种问题的答案。点点的主要优点在于其便捷性、及时性和真实性，能够为用户提供精准的生活建议和避坑指南，同时还能展示全网真实用户的声音，帮助用户做出更明智的选择。
高效处理分钟级体素视频数据的新技术
Long Volumetric Video是一种用于重建多视角RGB视频中的长体素视频的新技术。该技术通过Temporal Gaussian Hierarchy这种新颖的4D表示方法，紧凑地模拟长体素视频，解决了传统动态视图合成方法在处理长视频时内存占用大、渲染速度慢的问题。这项技术的主要优点包括训练成本低、渲染速度快和存储使用少，是首个能够高效处理分钟级体素视频数据同时保持高质量渲染的技术。
3D生成模型，实现高质量多样化的3D资产创建
TRELLIS是一个基于统一结构化潜在表示和修正流变换器的原生3D生成模型，能够实现多样化和高质量的3D资产创建。该模型通过整合稀疏的3D网格和从强大的视觉基础模型提取的密集多视图视觉特征，全面捕获结构（几何）和纹理（外观）信息，同时在解码过程中保持灵活性。TRELLIS模型能够处理高达20亿参数，并在包含50万个多样化对象的大型3D资产数据集上进行训练。该模型在文本或图像条件下生成高质量结果，显著超越现有方法，包括规模相似的最近方法。TRELLIS还展示了灵活的输出格式选择和局部3D编辑能力，这些是以前模型所没有提供的。代码、模型和数据将被发布。
联合语音转录和实体识别的先进模型
Whisper-NER是一个创新的模型，它允许同时进行语音转录和实体识别。该模型支持开放类型的命名实体识别（NER），能够识别多样化和不断演变的实体。Whisper-NER旨在作为自动语音识别（ASR）和NER下游任务的强大基础模型，并且可以在特定数据集上进行微调以提高性能。
统一的开放命名实体和语音识别模型
WhisperNER是一个结合了自动语音识别（ASR）和命名实体识别（NER）的统一模型，具备零样本能力。该模型旨在作为ASR带NER的下游任务的强大基础模型，并可以在特定数据集上进行微调以提高性能。WhisperNER的重要性在于其能够同时处理语音识别和实体识别任务，提高了处理效率和准确性，尤其在多语言和跨领域的场景中具有显著优势。
首款通用型机器人基础模型
π0是一个通用型机器人基础模型，旨在通过实体化训练让AI系统获得物理智能，能够执行各种任务，就像大型语言模型和聊天机器人助手一样。π0通过训练在机器人上的实体经验获得物理智能，能够直接输出低级电机命令，控制多种不同的机器人，并可以针对特定应用场景进行微调。π0的开发代表了人工智能在物理世界应用方面的重要进步，它通过结合大规模多任务和多机器人数据收集以及新的网络架构，提供了迄今为止最有能力、最灵巧的通用型机器人政策。
通用角色图像动画框架，支持多种角色类型动画生成。
Animate-X是一个基于LDM的通用动画框架，用于各种角色类型（统称为X），包括人物拟态角色。该框架通过引入姿势指示器来增强运动表示，可以更全面地从驱动视频中捕获运动模式。Animate-X的主要优点包括对运动的深入建模，能够理解驱动视频的运动模式，并将其灵活地应用到目标角色上。此外，Animate-X还引入了一个新的Animated Anthropomorphic Benchmark (A2Bench) 来评估其在通用和广泛适用的动画图像上的性能。
从单目视频生成高质量4D对象的新型框架
DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。
文本驱动的3D头像生成与全身动画表达
DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。
3D高斯全身动态表情模型
ExAvatar是一种新型的3D全身动态表情模型，它结合了SMPL-X的全身驱动能力和3DGS的强外观建模能力。通过简单的手机扫描即可创建，支持各种姿势和表情的动画渲染。ExAvatar的混合表示方法提高了面部表情的自然度，减少了新表情和姿势的伪影，并且使模型与SMPL-X的面部表情空间完全兼容。
探索不同AI系统学习到的表示是否趋于一致。
Platonic Representation Hypothesis（柏拉图表示假设）是一个关于不同AI系统如何学习和表示现实世界的理论。该理论认为，尽管不同AI系统可能以不同的方式学习（例如图像、文本等），但它们的内部表示最终会趋于一致。这种观点基于所有数据（图像、文本、声音等）都是某种底层现实的投影这一直觉。该理论还探讨了如何衡量表示的一致性，以及导致一致性的因素，如任务和数据压力，以及模型容量的增加。此外，还讨论了这种一致性可能带来的意义和限制。
用于编辑动态场景的稀疏控制高斯溅射技术
SC-GS是一种新型表示技术,将动态场景的运动和外观分别用稀疏控制点和密集高斯函数表示。它使用少量控制点学习紧凑的6自由度变换基,这些基可通过插值权重在局部插值,得到3D高斯函数的运动场。它采用变形MLP预测每个控制点的时变6自由度变换,降低学习复杂度,增强学习能力,实现时空连贯的运动模式。同时联合学习3D高斯函数、控制点的规范空间位置和变形MLP,重建3D场景的外观、几何和动态。在训练过程中,控制点的位置和数量会自适应调整以适应不同区域的运动复杂度,并采用尽可能刚性的损失函数强制运动的空间连续性和局部刚性。由于运动表示的显式稀疏性和外观分离,该方法实现了用户控制的运动编辑,同时保留高保真度外观。大量实验表明,该方法在新视图合成和高速渲染方面优于现有方法,并支持新的保留外观的运动编辑应用。
基于实体表示的任意物体运动控制
DragAnything是一款利用实体表示实现任意物体运动控制的产品。与拖动像素的传统方式不同，DragAnything可以实现真正的实体级运动控制。它可以实现用户轨迹交互，并具有SAM功能。该产品可以精确控制物体的运动，生成高质量视频，用户只需在交互过程中绘制一条轨迹。DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。定位于设计领域，适用于需要对视频中物体进行精细控制的场景。产品定价未公开。
用于基于点的图像编辑的稳定拖拽框架
StableDrag是一种基于点的图像编辑框架,旨在解决现有拖拽方法存在的不准确点跟踪和运动监督不完整的问题。它设计了一种判别式点跟踪方法和基于置信度的潜在增强策略,前者可精确定位更新的手柄点,从而提高长距离操作的稳定性;后者则负责确保所有操作步骤中优化的潜在表示质量尽可能高。该框架实例化了两种图像编辑模型StableDrag-GAN和StableDrag-Diff,能够通过广泛的定性实验和DragBench上的定量评估,获得更稳定的拖拽性能。
高分辨率3D内容生成的多视图高斯模型
LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。
© 2025 AIbase 备案号：闽ICP备08105208号-14