用于理解任意视频中的相机运动的工具。
CameraBench 是一个用于分析视频中相机运动的模型，旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较，该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源，适合研究人员和开发者使用，且后续将推出更多改进版本。
通过AI驱动的重试机制减少订阅支付失败，最大化订阅收入。
Slicker是一款专注于减少订阅支付失败并最大化订阅收入的商业工具。它利用先进的AI技术，对每次失败的支付进行单独处理，将逾期发票转化为收入。Slicker的主要优点是能够通过智能重试机制显著提高支付成功率，从而减少非自愿流失。它适用于各种规模的企业，尤其是依赖订阅模式的公司，能够帮助他们优化收入管理和客户留存。Slicker的定价基于成功恢复的支付金额，这种模式使得企业无需承担过多风险即可尝试该服务。
VideoJAM 是一种用于增强视频生成模型运动连贯性的框架。
VideoJAM 是一种创新的视频生成框架，旨在通过联合外观 - 运动表示来提升视频生成模型的运动连贯性和视觉质量。该技术通过引入内指导机制（Inner-Guidance），利用模型自身预测的运动信号动态引导视频生成，从而在生成复杂运动类型时表现出色。VideoJAM 的主要优点是能够显著提高视频生成的连贯性，同时保持高质量的视觉效果，且无需对训练数据或模型架构进行大规模修改，即可应用于任何视频生成模型。该技术在视频生成领域具有重要的应用前景，尤其是在需要高度运动连贯性的场景中。
一种用于控制视频扩散模型运动模式的高效方法，支持运动模式的自定义和迁移。
Go with the Flow 是一种创新的视频生成技术，通过使用扭曲噪声代替传统的高斯噪声，实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改，即可在不增加计算成本的情况下，实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性，能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发，具有较高的学术价值和商业应用潜力，目前开源免费提供给公众使用。
一种从2D图像学习3D人体生成的结构化潜在扩散模型。
StructLDM是一个结构化潜在扩散模型，用于从2D图像学习3D人体生成。它能够生成多样化的视角一致的人体，并支持不同级别的可控生成和编辑，如组合生成和局部服装编辑等。该模型在无需服装类型或掩码条件的情况下，实现了服装无关的生成和编辑。项目由南洋理工大学S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出，相关论文发表于ECCV 2024。
基于Transformer实现的ViTPose模型集合
ViTPose是一系列基于Transformer架构的人体姿态估计模型。它利用Transformer的强大特征提取能力，为人体姿态估计任务提供了简单而有效的基线。ViTPose模型在多个数据集上表现出色，具有较高的准确性和效率。该模型由悉尼大学社区维护和更新，提供了多种不同规模的版本，以满足不同应用场景的需求。在Hugging Face平台上，ViTPose模型以开源的形式供用户使用，用户可以方便地下载和部署这些模型，进行人体姿态估计相关的研究和应用开发。
从日常动态视频中快速、准确地估计相机和密集结构
MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。
3D人体动作的言语和非言语语言统一模型
这是一个由斯坦福大学研究团队开发的多模态语言模型框架，旨在统一3D人体动作中的言语和非言语语言。该模型能够理解并生成包含文本、语音和动作的多模态数据，对于创建能够自然交流的虚拟角色至关重要，广泛应用于游戏、电影和虚拟现实等领域。该模型的主要优点包括灵活性高、训练数据需求少，并且能够解锁如可编辑手势生成和从动作中预测情感等新任务。
一种用于控制人类图像动画的方法
DisPose是一种用于控制人类图像动画的方法，它通过运动场引导和关键点对应来提高视频生成的质量。这项技术能够从参考图像和驱动视频中生成视频，同时保持运动对齐和身份信息的一致性。DisPose通过从稀疏的运动场和参考图像生成密集的运动场，提供区域级别的密集引导，同时保持稀疏姿态控制的泛化能力。此外，它还从参考图像中提取与姿态关键点对应的扩散特征，并将这些点特征转移到目标姿态，以提供独特的身份信息。DisPose的主要优点包括无需额外的密集输入即可提取更通用和有效的控制信号，以及通过即插即用的混合ControlNet提高生成视频的质量和一致性，而无需冻结现有模型参数。
将你的锻炼变成游戏
uRace是一款将日常运动转化为游戏的移动应用，通过游戏化挑战激励用户参与跑步、骑行、游泳和徒步等运动。它不仅是一款健身追踪器，更是一种免费、有趣的方式，帮助用户保持日常运动的动力。uRace支持全球范围内的虚拟比赛和挑战，让用户在享受运动的同时，也能体验到游戏的乐趣。
从单张图片重建逼真的3D人体模型
PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。
灵感激发与视频创作平台
跃问视频是一个集灵感激发与视频创作于一体的平台，它通过提供丰富的视觉和创意内容，帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点，尤其在中国风题材上表现出色。跃问视频的背景信息显示，它是由阶跃星辰公司推出的，该公司在多模态能力方面遥遥领先，提供了从文本到视频的生成技术。产品定位于中高端市场，以其高质量的视频生成和优化服务吸引用户。
EchoMimicV2：实现逼真、简化、半身人体动画的技术。
EchoMimicV2是由支付宝蚂蚁集团终端技术部研发的半身人体动画技术，它通过参考图像、音频剪辑和一系列手势来生成高质量的动画视频，确保音频内容与半身动作的连贯性。这项技术简化了以往复杂的动画制作流程，通过Audio-Pose动态协调策略，包括姿态采样和音频扩散，增强了半身细节、面部和手势的表现力，同时减少了条件冗余。此外，它还利用头部部分注意力机制将头像数据无缝整合到训练框架中，这一机制在推理过程中可以省略，为动画制作提供了便利。EchoMimicV2还设计了特定阶段的去噪损失，以指导动画在特定阶段的运动、细节和低级质量。该技术在定量和定性评估中均超越了现有方法，展现了其在半身人体动画领域的领先地位。
面向开放世界的检测与理解统一视觉模型
DINO-X是一个以物体感知为核心的视觉大模型，具备开集检测、智能问答、人体姿态、物体计数、服装换色等核心能力。它不仅能识别已知目标，还能灵活应对未知类别，凭借先进算法，模型具备出色的适应性和鲁棒性，能够精准应对各种不可预见的挑战，提供针对复杂视觉数据的全方位解决方案。DINO-X的应用场景广泛，包括机器人、农业、零售行业、安防监控、交通管理、制造业、智能家居、物流与仓储、娱乐媒体等，是DeepDataSpace公司在计算机视觉技术领域的旗舰产品。
零样本视觉跟踪模型，具有运动感知记忆。
SAMURAI是一种基于Segment Anything Model 2 (SAM 2)的视觉对象跟踪模型，专门设计用于处理快速移动或自遮挡对象的视觉跟踪任务。它通过引入时间运动线索和运动感知记忆选择机制，有效预测对象运动并优化掩膜选择，无需重新训练或微调即可实现鲁棒、准确的跟踪。SAMURAI能够在实时环境中运行，并在多个基准数据集上展现出强大的零样本性能，证明了其无需微调即可泛化的能力。在评估中，SAMURAI在成功率和精确度上相较于现有跟踪器取得了显著提升，例如在LaSOT-ext上AUC提升了7.1%，在GOT-10k上AO提升了3.5%。此外，与LaSOT上的全监督方法相比，SAMURAI也展现出了竞争力，强调了其在复杂跟踪场景中的鲁棒性以及在动态环境中的潜在实际应用价值。
基于扩散模型的音频驱动人像和动物图像动画技术
JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。
统一可控的视频生成方法
AnimateAnything是一个统一的可控视频生成方法，它支持在不同条件下进行精确和一致的视频操作，包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示，并将所有控制信息转换为逐帧光流，以此作为运动先导来指导视频生成。此外，为了减少大规模运动引起的闪烁问题，提出了基于频率的稳定模块，以确保视频在频域的一致性，增强时间连贯性。实验表明，AnimateAnything的方法优于现有的最先进方法。
AI个人训练师，提供健康洞察和日常训练指导
PeakWatch是一款AI个人训练师应用，通过个性化的健康洞察和日常训练指导，帮助用户优化训练计划，提升运动表现，并关注睡眠质量。它通过深度分析用户的运动数据，提供训练负荷平衡建议，以预防过度训练和训练不足。PeakWatch的背景信息显示，该产品致力于通过科技提升人们的健康和运动表现，其价格定位为免费试用，吸引用户下载体验。
快速生成个性化和富有表现力的3D会说话面部模型
MimicTalk是一种基于神经辐射场（NeRF）的个性化三维说话面部生成技术，它能够在几分钟内模仿特定身份的静态外观和动态说话风格。这项技术的主要优点包括高效率、高质量的视频生成以及对目标人物说话风格的精确模仿。MimicTalk通过一个通用的3D面部生成模型作为基础，并通过静态-动态混合适应流程来学习个性化的静态外观和面部动态，同时提出了一种上下文风格化的音频到运动（ICS-A2M）模型，以生成与目标人物说话风格相匹配的面部运动。MimicTalk的技术背景是基于深度学习和计算机视觉领域的最新进展，特别是在人脸合成和动画生成方面。目前，该技术是免费提供给研究和开发社区的。
© 2025 AIbase 备案号：闽ICP备08105208号-14