产品库

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

一种优化扩散模型采样时间表的方法，以提高生成模型的输出质量。

Align Your Steps 是一种用于优化扩散模型（Diffusion Models, DMs）采样时间表的方法。这种方法利用随机微积分的方法，为不同的求解器、训练有素的DMs和数据集找到特定的最优采样时间表。它通过最小化KLUB项来优化时间离散化，即采样调度，从而在相同的计算预算下提高输出质量。该方法在图像、视频以及2D玩具数据合成基准测试中表现出色，优化的采样时间表在几乎所有实验中都优于之前手工制定的时间表。

智能一键抠图、高清、修复、转卡通

图可丽利用人工智能和计算机视觉的力量，提供各种产品，使生活更容易，工作更富有成效。提供一键抠图、视频抠图、照片动漫化等功能，满足不同用户需求。

视频超分辨率模型，细节丰富

VideoGigaGAN是一款基于大规模图像上采样器GigaGAN的视频超分辨率(VSR)模型。它能够生成具有高频细节和时间一致性的视频。该模型通过添加时间注意力层和特征传播模块，显著提高了视频的时间一致性，并使用反锯齿块减少锯齿效应。VideoGigaGAN在公共数据集上与最先进的VSR模型进行了比较，并展示了8倍超分辨率的视频结果。

为开源世界构建高质量视频数据集的计划

Open-Sora-Plan是一个开源项目,旨在为开源社区提供高质量的视频数据集。该项目已经爬取并处理了40258个来自开源网站的高质量视频,涵盖了60%的横屏视频。同时还提供了自动生成的密集字幕,供机器学习等应用使用。该项目免费开源,欢迎大家共同参与和支持。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

Jax 库，计算机视觉研究及更多

Scenic 是一个专注于基于注意力模型的计算机视觉研究的代码库，提供优化训练和评估循环、基线模型等功能，适用于图像、视频、音频等多模态数据。提供 SOTA 模型和基线，支持快速原型设计，价格免费。

AI社区共建未来,开源开放科学推进AI民主化

Hugging Face是一个AI社区平台,致力于通过开源和开放科学的方式来推进人工智能的发展和民主化。它为机器学习社区提供了协作模型、数据集和应用程序的环境。主要优势包括:1)协作平台,可无限托管和共享模型、数据集和应用程序。2)开源堆栈,加速ML开发流程。3)支持多模态(文本、图像、视频、音频、3D等)。4)建立ML作品集,在全球分享你的作品。5)付费计算和企业解决方案,提供优化的推理端点、GPU支持等。

Etna是七火山科技开发的AIGC模型，专注于根据文本描述生成相应的视频内容

Etna模型采用了Diffusion架构，并结合了时空卷积和注意力层，使其能够处理视频数据并理解时间连续性，从而生成具有时间维度的视频内容。该模型在大型视频数据集上进行训练，使用了深度学习技术策略，包括大规模训练、超参数优化和微调，以确保强大的性能和生成能力。

视频理解基础模型

VideoPrism是一个通用的视频编码模型,能够在各种视频理解任务上取得领先的性能,包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样,包含3600万高质量的视频-文本对,以及5.82亿带有嘈杂文本的视频剪辑。预训练采用两阶段策略,先利用对比学习匹配视频和文本,然后预测遮蔽的视频块,充分利用不同的监督信号。一个固定的VideoPrism模型可以直接适配到下游任务,并在30个视频理解基准上刷新状态最优成绩。

Aria每日活动数据集,加速机器感知和人工智能发展

Aria每日活动数据集是Aria项目发布的首个试点数据集的重新发布版本,该数据集利用新的工具和位置数据进行了更新,以加速机器感知和人工智能技术的发展。数据集包含日常生活场景下的第一人称视频序列,并配有丰富的传感器数据、注释数据以及由Aria机器感知服务生成的3D点云数据等。研究人员可以使用Aria提供的专用工具快速上手使用该数据集开展研究。

YOLOv8目标检测跟踪模型

YOLOv8是YOLO系列目标检测模型的最新版本,能够在图像或视频中准确快速地识别和定位多个对象,并实时跟踪它们的移动。相比之前版本,YOLOv8在检测速度和精确度上都有很大提升,同时支持多种额外的计算机视觉任务,如实例分割、姿态估计等。YOLOv8可通过多种格式部署在不同硬件平台上,提供一站式的端到端目标检测解决方案。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

大型世界模型，理解视频与语言

Large World Models是一个利用RingAttention技术训练的神经网络，专注于处理长视频和语言序列，以理解人类知识和多模态世界。它通过大规模数据集训练，实现了前所未有的上下文大小，并开源了一系列70亿参数的模型，能够处理超过100万标记的文本和视频。

这是一个使用深度学习为文字描述生成动画视频的模型

AnimateLCM是一个使用深度学习生成动画视频的模型。它可以仅使用极少的采样步骤就生成高保真的动画视频。与直接在原始视频数据集上进行一致性学习不同,AnimateLCM采用了解耦的一致性学习策略,将图像生成先验知识和运动生成先验知识的萃取进行解耦,从而提高了训练效率并增强了生成的视觉质量。此外,AnimateLCM还可以与Stable Diffusion社区的插件模块配合使用,实现各种可控生成功能。AnimateLCM已经在基于图像的视频生成和基于布局的视频生成中验证了其性能。

多模态引导的共语言面部动画生成

Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。

ActAnywhere是一个主体感知视频背景生成模型。

ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景,同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量,并专门定制用于此任务。ActAnywhere以一系列前景主体分割作为输入,以描述所需场景的图像作为条件,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。该模型在大规模人机交互视频数据集上进行训练。大量评估表明该模型的性能明显优于基准,可以泛化到各种分布样本,包括非人类主体。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

大规模视频自动配音数据集

ANIM-400K是一个包含超过425,000个对齐的日语和英语动画视频片段的综合数据集，支持自动配音、同声翻译、视频摘要、流派/主题/风格分类等各种视频相关任务。该数据集公开用于研究目的。

一个统一的用于图像和视频对象分割的模型

UniRef是一个统一的用于图像和视频参考对象分割的模型。它支持语义参考图像分割(RIS)、少样本分割(FSS)、语义参考视频对象分割(RVOS)和视频对象分割(VOS)等多种任务。UniRef的核心是UniFusion模块,它可以高效地将各种参考信息注入到基础网络中。 UniRef可以作为SAM等基础模型的插件组件使用。UniRef提供了在多个基准数据集上训练好的模型,同时也开源了代码以供研究使用。

AI与计算机视觉结合的摔跤耐力挑战

Wrestling Endurance Challenge是一个结合了人工智能和计算机视觉的摔跤耐力挑战应用。该应用通过AI分配任务，利用计算机视觉检测用户的持续时间。用户可通过扬声器或耳机接收指令，以参与耐力挑战。应用使用持续的机器学习在云端进行计算，并保证隐私安全，不会发送视频，仅导出关节坐标和轨迹数据。

用AI生成吸引人的视频片段

CutLabs利用最新的AI和计算机视觉技术，帮助创作者将现有内容制作成有趣的视频片段，帮助他们在短时间内迅速走红。通过使用大型语言模型，我们的AI可以自动识别和剪辑长视频中的多个有趣片段。同时，我们还提供自定义样式的自动字幕和自动调整视频帧的功能，让视频更加吸引人。

360度全场景生成

ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估，并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果，并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。

AI数据引擎，涵盖标注、工作流、数据集和人工智能

V7是一个AI数据引擎，提供企业级训练数据的完整基础设施，涵盖标注、工作流、数据集和人工在循环中。它能够帮助用户快速高效地标注、处理和管理训练数据，提高AI模型的准确性和性能。V7支持自动化标注、视频标注、文档处理等功能，适用于各种行业和应用场景。

标签平台，高质量训练数据

Kili Technology是一个标签平台，帮助企业将非结构化数据转化为高质量数据集，用于训练AI模型，实现成功的项目。该平台具有快速标注、发现和修复错误、简化数据操作等功能，并提供专家标注服务。Kili Technology支持文本、图像、视频、OCR和地理空间等多种类型的数据标注。

学习交互式真实世界模拟器

UniSim是一个学习交互式真实世界模拟器的产品。它通过生成建模来模拟人类、机器人和其他类型的交互式代理所进行的行为，并产生逼真的体验。UniSim可以用于游戏和电影中可控内容的创建，以及在模拟中训练的代理直接部署到真实世界中。UniSim利用多样的数据集进行训练，模拟高级指令和低级控制的视觉结果。它可以用于训练高级视觉语言规划器和低级强化学习策略，并在真实世界中展现显著的迁移效果。UniSim还可以用于视频字幕和检测模型等其他类型的智能任务。通过UniSim，用户可以进行长期规划、强化学习和决策优化。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

将 GPT-4 Code Interpreter 铺陈在你的终端

Open Interpreter 是一款开源的本地运行实现,能让语言模型在你的电脑上运行代码(Python、JavaScript、Shell等)。你可以通过终端中的 ChatGPT 风格界面与 Open Interpreter 进行交互,只需在安装后运行 $ interpreter 即可。这为你提供了利用计算机通用功能的自然语言接口:创建和编辑图片、视频、PDF等;控制 Chrome 浏览器进行调研;绘制、清理和分析大型数据集等。值得注意的是,在代码执行前,你会被要求批准代码。

AI模型数据集平台

始智AI是一家提供AI模型和数据集的平台，致力于为科研单位、企事业单位和个人提供高质量的AI模型和数据集。始智AI的优势在于提供多种类型的AI模型和数据集，包括图像、视频、自然语言处理等，用户可以根据自己的需求选择合适的模型和数据集。始智AI的定价合理，用户可以根据自己的需求选择不同的套餐，满足不同的需求。始智AI的定位是成为AI模型和数据集领域的领先平台。

Apple官方机器学习模型训练框架

Create ML是一个Apple官方发布的机器学习模型训练框架,可以非常方便地在Mac设备上训练Core ML模型。它提供了图像、视频、文本等多种模型类型,用户只需要准备数据集和设置参数,就可以开始模型训练。Create ML还提供了Swift API,支持在iOS等平台进行模型训练。