用于理解任意视频中的相机运动的工具。
CameraBench 是一个用于分析视频中相机运动的模型,旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较,该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源,适合研究人员和开发者使用,且后续将推出更多改进版本。
VideoJAM 是一种用于增强视频生成模型运动连贯性的框架。
VideoJAM 是一种创新的视频生成框架,旨在通过联合外观 - 运动表示来提升视频生成模型的运动连贯性和视觉质量。该技术通过引入内指导机制(Inner-Guidance),利用模型自身预测的运动信号动态引导视频生成,从而在生成复杂运动类型时表现出色。VideoJAM 的主要优点是能够显著提高视频生成的连贯性,同时保持高质量的视觉效果,且无需对训练数据或模型架构进行大规模修改,即可应用于任何视频生成模型。该技术在视频生成领域具有重要的应用前景,尤其是在需要高度运动连贯性的场景中。
一种用于控制视频扩散模型运动模式的高效方法,支持运动模式的自定义和迁移。
Go with the Flow 是一种创新的视频生成技术,通过使用扭曲噪声代替传统的高斯噪声,实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改,即可在不增加计算成本的情况下,实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性,能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发,具有较高的学术价值和商业应用潜力,目前开源免费提供给公众使用。
从日常动态视频中快速、准确地估计相机和密集结构
MegaSaM是一个系统,它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限,这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改,能够扩展到真实世界中复杂动态场景的视频,包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明,与先前和并行工作相比,MegaSaM在相机姿态和深度估计方面更为准确和稳健,运行时间更快或相当。
一种用于控制人类图像动画的方法
DisPose是一种用于控制人类图像动画的方法,它通过运动场引导和关键点对应来提高视频生成的质量。这项技术能够从参考图像和驱动视频中生成视频,同时保持运动对齐和身份信息的一致性。DisPose通过从稀疏的运动场和参考图像生成密集的运动场,提供区域级别的密集引导,同时保持稀疏姿态控制的泛化能力。此外,它还从参考图像中提取与姿态关键点对应的扩散特征,并将这些点特征转移到目标姿态,以提供独特的身份信息。DisPose的主要优点包括无需额外的密集输入即可提取更通用和有效的控制信号,以及通过即插即用的混合ControlNet提高生成视频的质量和一致性,而无需冻结现有模型参数。
将你的锻炼变成游戏
uRace是一款将日常运动转化为游戏的移动应用,通过游戏化挑战激励用户参与跑步、骑行、游泳和徒步等运动。它不仅是一款健身追踪器,更是一种免费、有趣的方式,帮助用户保持日常运动的动力。uRace支持全球范围内的虚拟比赛和挑战,让用户在享受运动的同时,也能体验到游戏的乐趣。
灵感激发与视频创作平台
跃问视频是一个集灵感激发与视频创作于一体的平台,它通过提供丰富的视觉和创意内容,帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点,尤其在中国风题材上表现出色。跃问视频的背景信息显示,它是由阶跃星辰公司推出的,该公司在多模态能力方面遥遥领先,提供了从文本到视频的生成技术。产品定位于中高端市场,以其高质量的视频生成和优化服务吸引用户。
零样本视觉跟踪模型,具有运动感知记忆。
SAMURAI是一种基于Segment Anything Model 2 (SAM 2)的视觉对象跟踪模型,专门设计用于处理快速移动或自遮挡对象的视觉跟踪任务。它通过引入时间运动线索和运动感知记忆选择机制,有效预测对象运动并优化掩膜选择,无需重新训练或微调即可实现鲁棒、准确的跟踪。SAMURAI能够在实时环境中运行,并在多个基准数据集上展现出强大的零样本性能,证明了其无需微调即可泛化的能力。在评估中,SAMURAI在成功率和精确度上相较于现有跟踪器取得了显著提升,例如在LaSOT-ext上AUC提升了7.1%,在GOT-10k上AO提升了3.5%。此外,与LaSOT上的全监督方法相比,SAMURAI也展现出了竞争力,强调了其在复杂跟踪场景中的鲁棒性以及在动态环境中的潜在实际应用价值。
基于扩散模型的音频驱动人像和动物图像动画技术
JoyVASA是一种基于扩散模型的音频驱动人像动画技术,它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性,还能扩展到动物面部动画,支持多语言,并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。
统一可控的视频生成方法
AnimateAnything是一个统一的可控视频生成方法,它支持在不同条件下进行精确和一致的视频操作,包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示,并将所有控制信息转换为逐帧光流,以此作为运动先导来指导视频生成。此外,为了减少大规模运动引起的闪烁问题,提出了基于频率的稳定模块,以确保视频在频域的一致性,增强时间连贯性。实验表明,AnimateAnything的方法优于现有的最先进方法。
AI个人训练师,提供健康洞察和日常训练指导
PeakWatch是一款AI个人训练师应用,通过个性化的健康洞察和日常训练指导,帮助用户优化训练计划,提升运动表现,并关注睡眠质量。它通过深度分析用户的运动数据,提供训练负荷平衡建议,以预防过度训练和训练不足。PeakWatch的背景信息显示,该产品致力于通过科技提升人们的健康和运动表现,其价格定位为免费试用,吸引用户下载体验。
快速生成个性化和富有表现力的3D会说话面部模型
MimicTalk是一种基于神经辐射场(NeRF)的个性化三维说话面部生成技术,它能够在几分钟内模仿特定身份的静态外观和动态说话风格。这项技术的主要优点包括高效率、高质量的视频生成以及对目标人物说话风格的精确模仿。MimicTalk通过一个通用的3D面部生成模型作为基础,并通过静态-动态混合适应流程来学习个性化的静态外观和面部动态,同时提出了一种上下文风格化的音频到运动(ICS-A2M)模型,以生成与目标人物说话风格相匹配的面部运动。MimicTalk的技术背景是基于深度学习和计算机视觉领域的最新进展,特别是在人脸合成和动画生成方面。目前,该技术是免费提供给研究和开发社区的。
AI双芯8K运动相机,与徕卡联合研发
影石Insta360 Ace Pro 2是一款旗舰级影像运动相机,与徕卡联合研发,搭载AI双芯,提供8K超高清视频录制和4K60fps的夜景录像能力。产品以其强悍的硬件配置、卓越的画质表现、硬核性能和智能易用性等特点,树立了运动影像新标杆。价格定位于高端市场,适合专业摄影师和高端影像爱好者。
通用角色图像动画框架,支持多种角色类型动画生成。
Animate-X是一个基于LDM的通用动画框架,用于各种角色类型(统称为X),包括人物拟态角色。该框架通过引入姿势指示器来增强运动表示,可以更全面地从驱动视频中捕获运动模式。Animate-X的主要优点包括对运动的深入建模,能够理解驱动视频的运动模式,并将其灵活地应用到目标角色上。此外,Animate-X还引入了一个新的Animated Anthropomorphic Benchmark (A2Bench) 来评估其在通用和广泛适用的动画图像上的性能。
基于重力视角坐标恢复世界定位的人体运动
GVHMR是一种创新的人体运动恢复技术,它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义,并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色,不仅在准确性和速度上超越了现有的最先进技术,而且其训练过程和模型权重对公众开放,具有很高的科研和实用价值。
AI驱动的图像增强和修复工具。
PicMa Studio是一款利用人工智能技术提供多种图像增强和修复服务的应用程序。它能够针对不同类型的照片,如肖像、老照片、家庭照片等,提供专业级的画质增强、PNG图像清晰度提升、文档和图像中文本的清晰度提升、野生动物摄影的图像增强、风景照的增强、运动模糊的消除与柔化、黑白照片上色以及去除照片上的折痕和划痕等功能。这些功能对于摄影师、设计师、企业家、家庭用户、市场营销人员、电子商务从业者以及博物馆等跨行业的用户来说非常重要,能够帮助他们改善图片质量,提升视觉体验。
AI辅助的临床运动分析工具
Joint Angels是一款利用人工智能技术帮助临床医生测量运动范围和执行运动分析的工具。它通过简化运动分析和测量过程,旨在提高临床实践的效率和生产力。该工具可以实时记录和分析运动数据,帮助医生更准确地评估患者的运动能力,从而提供更有效的治疗建议。
AI辅助的运动训练助手,实现无损伤训练
Athlabs是一个利用人工智能技术为用户提供运动训练反馈的数字教练平台。它通过多模态AI模型提供即时、校正性反馈,帮助用户在没有运动损伤的情况下进行训练。平台还提供个性化指导,由专业体育专家提供精确的指导,以及为用户定制的挑战训练计划。此外,Athlabs还计划提供专家洞察,以进一步提升用户的表现。
© 2025 AIbase 备案号:闽ICP备08105208号-14