需求人群:
"MiraData适合需要大规模长视频数据集和高质量字幕的研究人员和开发者,特别是在视频理解和生成、机器学习模型训练等领域。"
使用场景示例:
研究人员使用MiraData训练视频内容理解模型。
开发者利用MiraData进行视频生成算法的测试和优化。
教育机构使用MiraData作为教学资源,教授视频处理和字幕生成技术。
产品特色:
长视频时长:平均72秒的视频片段,全面建模视频内容。
结构化字幕:提供不同视角的详细描述,平均318字。
数据集版本:发布四个版本的数据集,包含不同数量的数据。
视频收集与注释:从YouTube等平台手动选择频道,下载并分割视频。
字幕生成:使用GPT-4V生成多维度字幕,提高语义理解的准确性。
评估基准:设计17个评估指标,从六个角度评估长视频生成。
许可协议:数据集仅供信息目的使用,版权归原始视频所有者所有。
使用教程:
1. 从Google Drive或HuggingFace Dataset下载MiraData的元数据文件。
2. 使用提供的脚本下载视频样本。
3. 根据需要对视频样本进行分割和处理。
4. 使用GPT-4V等工具生成视频字幕。
5. 利用MiraBench评估生成的视频质量。
6. 遵循许可协议,合理使用数据集进行研究或开发。
浏览量:16
大规模长视频数据集,结构化字幕
MiraData是一个大规模的视频数据集,专注于长视频片段,平均时长72秒,提供结构化字幕,平均字幕长度318字,丰富了视频内容的描述。通过使用GPT-4V等技术,MiraData在视频理解和字幕生成方面展现出高准确性和语义连贯性。
长视频理解基准测试
LVBench是一个专门设计用于长视频理解的基准测试,旨在推动多模态大型语言模型在理解数小时长视频方面的能力,这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。
多模态多视角视频数据集和基准挑战
Ego-Exo4D 是一个多模态多视角视频数据集和基准挑战,以捕捉技能人类活动的自我中心和外部中心视频为中心。它支持日常生活活动的多模态机器感知研究。该数据集由 839 位佩戴摄像头的志愿者在全球 13 个城市收集,捕捉了 1422 小时的技能人类活动视频。该数据集提供了专家评论、参与者提供的教程样式的叙述和一句话的原子动作描述等三种自然语言数据集,配对视频使用。Ego-Exo4D 还捕获了多视角和多种感知模态,包括多个视角、七个麦克风阵列、两个 IMUs、一个气压计和一个磁强计。数据集记录时严格遵守隐私和伦理政策,参与者的正式同意。欲了解更多信息,请访问官方网站。
© 2024 AIbase 备案号:闽ICP备08105208号-14