需求人群:
"用于人脸文本-视频生成任务的研究"
使用场景示例:
使用CelebV-Text数据集进行人脸文本-视频生成任务的研究
使用CelebV-Text数据集进行人脸文本-视频相关性分析
使用CelebV-Text数据集构建人脸文本-视频生成任务的基准
产品特色:
大规模人脸文本-视频数据集
70,000个野外人脸视频剪辑
每个视频剪辑都配有20个文本
涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向
全面的统计分析验证数据集的优越性
构建了一个基准来标准化人脸文本-视频生成任务的评估
浏览量:136
最新流量情况
月访问量
498
平均访问时长
00:00:00
每次访问页数
1.02
跳出率
40.07%
流量来源
直接访问
1.96%
自然搜索
94.30%
邮件
0.01%
外链引荐
1.53%
社交媒体
1.96%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
100.00%
大规模人脸文本-视频数据集
CelebV-Text是一个大规模、高质量、多样化的人脸文本-视频数据集,旨在促进人脸文本-视频生成任务的研究。数据集包含70,000个野外人脸视频剪辑,每个视频剪辑都配有20个文本,涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向。CelebV-Text通过全面的统计分析验证了其在视频、文本和文本-视频相关性方面的优越性,并构建了一个基准来标准化人脸文本-视频生成任务的评估。
Aria每日活动数据集,加速机器感知和人工智能发展
Aria每日活动数据集是Aria项目发布的首个试点数据集的重新发布版本,该数据集利用新的工具和位置数据进行了更新,以加速机器感知和人工智能技术的发展。数据集包含日常生活场景下的第一人称视频序列,并配有丰富的传感器数据、注释数据以及由Aria机器感知服务生成的3D点云数据等。研究人员可以使用Aria提供的专用工具快速上手使用该数据集开展研究。
LiveFood是一个美食视频高光检测数据集和全局原型编码模型
LiveFood是一个包含超过5100个美食视频的数据集,视频包括食材、烹饪、呈现和食用四个领域,所有视频均由专业工人精细注释,并采用严格的双重检查机制进一步保证注释质量。我们还提出了全局原型编码(GPE)模型来处理这个增量学习问题,与传统技术相比获得了竞争性的性能。
大规模视频自动配音数据集
ANIM-400K是一个包含超过425,000个对齐的日语和英语动画视频片段的综合数据集,支持自动配音、同声翻译、视频摘要、流派/主题/风格分类等各种视频相关任务。该数据集公开用于研究目的。
数据驱动的框架,增强大型语言模型的工作流编排能力
WorkflowLLM是一个以数据为中心的框架,旨在增强大型语言模型(LLMs)在工作流编排方面的能力。核心是WorkflowBench,这是一个大规模的监督式微调数据集,包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型,创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明,WorkflowLlama在编排复杂工作流方面表现出色,并且能够很好地泛化到未见过的API。
将图像和文本转换成短视频的AI驱动平台
img2video是一个利用先进AI技术将静态图像和文本转换成短视频的平台,特别适合社交媒体内容创作。它通过简化视频创作流程,使得用户能够轻松创建引人注目的视频内容,提升内容的吸引力和传播力。该产品背景信息显示,它适用于多种视频创作场景,如产品展示、舞蹈视频、旧照片动画等,并且提供了多种视频生成选项,满足不同用户的需求。价格方面,虽然页面上没有明确说明,但提到了'定价'页面,可能意味着有付费服务。
生成任何3D和4D场景的先进框架
GenXD是一个专注于3D和4D场景生成的框架,它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据,GenXD首先提出了一个数据策划流程,从视频中获取相机姿态和物体运动强度。基于此流程,GenXD引入了一个大规模的现实世界4D场景数据集:CamVid-30K。通过利用所有3D和4D数据,GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块,这些模块分离相机和物体运动,无缝地从3D和4D数据中学习。此外,GenXD还采用了掩码潜在条件,以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估,展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。
自监督触觉表示,用于基于视觉的触觉传感。
Sparsh是一系列通过自监督算法(如MAE、DINO和JEPA)训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示,并在TacBench提出的下游任务中大幅度超越端到端模型,同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。
教育滚动应用,用学习取代浪费时间
JustLearn是一个教育性质的滚动应用,旨在用快速、有趣且共享的学习机会替代我们在社交媒体上的无效时间消耗。开发者通过观察到许多人在社交媒体上浪费大量时间,决定创建一个平台,让人们在短短5分钟内学到新知识,就像刷TikTok一样轻松有趣。JustLearn提供选择话题、浏览验证过的视频、回答问题、进行测验和参加由顶尖教授制作的迷你课程等功能,让用户在短时间内学到超过90%的人一天所学。产品背景是创造一个让学习变得吸引人、快速且社区化的平台。
AI驱动的多语言翻译平台,支持文档、图片和视频翻译。
Transmonkey是一个AI驱动的在线翻译平台,支持超过130种语言的文档、图片和视频翻译。该平台利用大型语言模型提供高精度的翻译服务,同时保持文件原有格式和布局。Transmonkey以其高效的翻译速度、广泛的文件格式支持和用户友好的操作界面受到用户青睐。产品背景信息显示,Transmonkey致力于打破语言障碍,提升用户的数字体验。价格方面,Transmonkey提供免费试用,并有付费订阅服务。
视频面试软件,简化招聘流程
interview.co是一个专注于简化招聘流程的视频面试软件。它通过提供在线视频面试、AI问题生成器和面试管理工具,帮助企业高效地筛选和评估候选人。产品背景信息显示,interview.co旨在解决传统面试中的时间消耗、日程安排困难和成本高昂等问题。价格方面,interview.co提供试用版,具体定价信息需进一步探索。
实时语音和视频AI平台
Outspeed是一个为构建快速、实时语音和视频AI应用提供网络和推理基础设施的平台。它由Google和MIT的工程师开发,旨在为实时AI应用提供直观且强大的工具,无论是构建下一个大型应用还是扩展现有解决方案,Outspeed都能帮助用户更快、更有信心地进行创新。
精选优质AI内容,遇见未来
360AI导航是一个集合了多种人工智能工具和资源的平台,旨在为用户提供一站式的AI服务体验。该平台涵盖了从AI资讯、AI搜索、AI绘画到AI写作等多个领域的工具,帮助用户更高效地利用AI技术解决实际问题。360AI导航不仅提供了丰富的AI工具,还通过360智脑等产品展示了其在AI领域的技术实力和创新能力。
高效单遍统一生成和检索框架,适用于大型语言模型。
OneGen是一个为大型语言模型(LLMs)设计的高效单遍生成和检索框架,用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中,通过将检索任务分配给以自回归方式生成的检索令牌,使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本,还显著减少了推理成本,因为它避免了对查询进行两次前向传递计算的需求。
为机器人提供虚拟模拟和评估的先进世界模型。
1X 世界模型是一种机器学习程序,能够模拟世界如何响应机器人的行为。它基于视频生成和自动驾驶汽车世界模型的技术进步,为机器人提供了一个虚拟模拟器,能够预测未来的场景并评估机器人策略。这个模型不仅能够处理复杂的对象交互,如刚体、掉落物体的影响、部分可观察性、可变形物体和铰接物体,还能够在不断变化的环境中进行评估,这对于机器人技术的发展至关重要。
生成开放世界视频游戏的扩散变换模型
GameGen-O 是首个为生成开放世界视频游戏而定制的扩散变换模型。该模型通过模拟游戏引擎的多种特性,如创新角色、动态环境、复杂动作和多样化事件,实现了高质量、开放领域的生成。此外,它还提供了交互式可控性,允许游戏玩法模拟。GameGen-O 的开发涉及从零开始的全面数据收集和处理工作,包括构建首个开放世界视频游戏数据集(OGameData),通过专有的数据管道进行高效的排序、评分、过滤和解耦标题。这个强大且广泛的 OGameData 构成了模型训练过程的基础。
内容风格合成在文本到图像生成中的应用
CSGO是一个基于内容风格合成的文本到图像生成模型,它通过一个数据构建管道生成并自动清洗风格化数据三元组,构建了首个大规模的风格迁移数据集IMAGStyle,包含210k图像三元组。CSGO模型采用端到端训练,明确解耦内容和风格特征,通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成,具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。
开源云平台,实现超低延迟的语音和视频AI。
Daily Bots是一个开源云平台,专注于提供超低延迟的语音和视频人工智能服务。它支持开发者构建和托管实时的全球基础设施上的代理,并利用快速增长的开源实时框架。该平台拥有全球实时云,提供5亿终端用户的13毫秒首跳延迟,符合SOC 2、HIPAA和GDPR标准。此外,Daily Bots提供了电话和工作流程的一站式企业连接解决方案,以及完整的PSTN和SIP堆栈。
利用强大的生成式 AI 释放视频创作的全部潜力。
PixVerse 是一款创新的 AI 视频创作平台,旨在帮助用户轻松创建高质量的视频内容。通过先进的生成式 AI 技术,PixVerse 能够将文本、图像和角色转换为生动的视频,极大地提升了创作的效率与灵活性。无论是专业的内容创作者还是普通用户,PixVerse 都提供了强大的工具来实现他们的创意。此平台的易用性和强大的功能使其在市场中独树一帜,适合各类视频制作需求。
大规模多模态医学数据集
MedTrinity-25M是一个大规模多模态数据集,包含多粒度的医学注释。它由多位作者共同开发,旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤,支持多种医学图像分析任务,如视觉问答(VQA)、病理学图像分析等。
人工智能驱动的病毒视频创作者
MukuAI 是一个革命性的在线平台,使用人工智能技术帮助用户将想法转化为具有病毒式传播潜力的视频。它通过提供AI配音、视觉风格定制和个性化的AI呈现者,使视频内容创作变得简单而高效。平台支持多种视频风格和声音选项,满足不同创作者的需求。MukuAI 旨在释放创造潜力,吸引观众,推动内容创作者的成功。
通过简单输入,轻松生成个性化短视频。
星火绘镜是一款创新的视频创作平台,通过简单的歌词或情节输入,用户能够快速生成个性化的音乐视频和 AI 故事短片。该平台利用先进的 AI 技术,降低了视频创作的门槛,使每个人都能成为创作者。产品定位于广大用户,尤其是对短视频创作有需求的年轻人和创作者。星火绘镜的主要优点在于其高效便捷的操作方式,以及丰富的模板和素材选择,让创作变得更加简单和有趣。
一万亿Token和34亿张图像的多模态数据集
MINT-1T是由Salesforce AI开源的多模态数据集,包含一万亿个文本标记和34亿张图像,规模是现有开源数据集的10倍。它不仅包含HTML文档,还包括PDF文档和ArXiv论文,丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤,确保了数据的高质量和多样性。
用于训练通用目标分割模型的视频数据集
SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集,包含51K个多样化视频和643K个时空分割掩模(masklets)。该数据集用于计算机视觉研究,允许在CC BY 4.0许可下使用。视频内容多样,包括地点、对象和场景等主题,掩模从建筑物等大规模对象到室内装饰等细节不等。
一种用于图像和视频的视觉分割基础模型。
Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型,它通过简单的变换器架构和流式内存设计,实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎,收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练,提供了在广泛任务和视觉领域中的强大性能。
© 2024 AIbase 备案号:闽ICP备08105208号-14