产品库

一种优化扩散模型采样时间表的方法，以提高生成模型的输出质量。

Align Your Steps 是一种用于优化扩散模型（Diffusion Models, DMs）采样时间表的方法。这种方法利用随机微积分的方法，为不同的求解器、训练有素的DMs和数据集找到特定的最优采样时间表。它通过最小化KLUB项来优化时间离散化，即采样调度，从而在相同的计算预算下提高输出质量。该方法在图像、视频以及2D玩具数据合成基准测试中表现出色，优化的采样时间表在几乎所有实验中都优于之前手工制定的时间表。

视频超分辨率模型，细节丰富

VideoGigaGAN是一款基于大规模图像上采样器GigaGAN的视频超分辨率(VSR)模型。它能够生成具有高频细节和时间一致性的视频。该模型通过添加时间注意力层和特征传播模块，显著提高了视频的时间一致性，并使用反锯齿块减少锯齿效应。VideoGigaGAN在公共数据集上与最先进的VSR模型进行了比较，并展示了8倍超分辨率的视频结果。

为开源世界构建高质量视频数据集的计划

Open-Sora-Plan是一个开源项目,旨在为开源社区提供高质量的视频数据集。该项目已经爬取并处理了40258个来自开源网站的高质量视频,涵盖了60%的横屏视频。同时还提供了自动生成的密集字幕,供机器学习等应用使用。该项目免费开源,欢迎大家共同参与和支持。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

AI社区共建未来,开源开放科学推进AI民主化

Hugging Face是一个AI社区平台,致力于通过开源和开放科学的方式来推进人工智能的发展和民主化。它为机器学习社区提供了协作模型、数据集和应用程序的环境。主要优势包括:1)协作平台,可无限托管和共享模型、数据集和应用程序。2)开源堆栈,加速ML开发流程。3)支持多模态(文本、图像、视频、音频、3D等)。4)建立ML作品集,在全球分享你的作品。5)付费计算和企业解决方案,提供优化的推理端点、GPU支持等。

Etna是七火山科技开发的AIGC模型，专注于根据文本描述生成相应的视频内容

Etna模型采用了Diffusion架构，并结合了时空卷积和注意力层，使其能够处理视频数据并理解时间连续性，从而生成具有时间维度的视频内容。该模型在大型视频数据集上进行训练，使用了深度学习技术策略，包括大规模训练、超参数优化和微调，以确保强大的性能和生成能力。

视频理解基础模型

VideoPrism是一个通用的视频编码模型,能够在各种视频理解任务上取得领先的性能,包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样,包含3600万高质量的视频-文本对,以及5.82亿带有嘈杂文本的视频剪辑。预训练采用两阶段策略,先利用对比学习匹配视频和文本,然后预测遮蔽的视频块,充分利用不同的监督信号。一个固定的VideoPrism模型可以直接适配到下游任务,并在30个视频理解基准上刷新状态最优成绩。

大型世界模型，理解视频与语言

Large World Models是一个利用RingAttention技术训练的神经网络，专注于处理长视频和语言序列，以理解人类知识和多模态世界。它通过大规模数据集训练，实现了前所未有的上下文大小，并开源了一系列70亿参数的模型，能够处理超过100万标记的文本和视频。

这是一个使用深度学习为文字描述生成动画视频的模型

AnimateLCM是一个使用深度学习生成动画视频的模型。它可以仅使用极少的采样步骤就生成高保真的动画视频。与直接在原始视频数据集上进行一致性学习不同,AnimateLCM采用了解耦的一致性学习策略,将图像生成先验知识和运动生成先验知识的萃取进行解耦,从而提高了训练效率并增强了生成的视觉质量。此外,AnimateLCM还可以与Stable Diffusion社区的插件模块配合使用,实现各种可控生成功能。AnimateLCM已经在基于图像的视频生成和基于布局的视频生成中验证了其性能。

多模态引导的共语言面部动画生成

Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。

ActAnywhere是一个主体感知视频背景生成模型。

ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景,同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量,并专门定制用于此任务。ActAnywhere以一系列前景主体分割作为输入,以描述所需场景的图像作为条件,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。该模型在大规模人机交互视频数据集上进行训练。大量评估表明该模型的性能明显优于基准,可以泛化到各种分布样本,包括非人类主体。

LiveFood是一个美食视频高光检测数据集和全局原型编码模型

LiveFood是一个包含超过5100个美食视频的数据集,视频包括食材、烹饪、呈现和食用四个领域,所有视频均由专业工人精细注释,并采用严格的双重检查机制进一步保证注释质量。我们还提出了全局原型编码(GPE)模型来处理这个增量学习问题,与传统技术相比获得了竞争性的性能。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

大规模视频自动配音数据集

ANIM-400K是一个包含超过425,000个对齐的日语和英语动画视频片段的综合数据集，支持自动配音、同声翻译、视频摘要、流派/主题/风格分类等各种视频相关任务。该数据集公开用于研究目的。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

一个统一的用于图像和视频对象分割的模型

UniRef是一个统一的用于图像和视频参考对象分割的模型。它支持语义参考图像分割(RIS)、少样本分割(FSS)、语义参考视频对象分割(RVOS)和视频对象分割(VOS)等多种任务。UniRef的核心是UniFusion模块,它可以高效地将各种参考信息注入到基础网络中。 UniRef可以作为SAM等基础模型的插件组件使用。UniRef提供了在多个基准数据集上训练好的模型,同时也开源了代码以供研究使用。

360度全场景生成

ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估，并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果，并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。

AI数据引擎，涵盖标注、工作流、数据集和人工智能

V7是一个AI数据引擎，提供企业级训练数据的完整基础设施，涵盖标注、工作流、数据集和人工在循环中。它能够帮助用户快速高效地标注、处理和管理训练数据，提高AI模型的准确性和性能。V7支持自动化标注、视频标注、文档处理等功能，适用于各种行业和应用场景。

标签平台，高质量训练数据

Kili Technology是一个标签平台，帮助企业将非结构化数据转化为高质量数据集，用于训练AI模型，实现成功的项目。该平台具有快速标注、发现和修复错误、简化数据操作等功能，并提供专家标注服务。Kili Technology支持文本、图像、视频、OCR和地理空间等多种类型的数据标注。

学习交互式真实世界模拟器

UniSim是一个学习交互式真实世界模拟器的产品。它通过生成建模来模拟人类、机器人和其他类型的交互式代理所进行的行为，并产生逼真的体验。UniSim可以用于游戏和电影中可控内容的创建，以及在模拟中训练的代理直接部署到真实世界中。UniSim利用多样的数据集进行训练，模拟高级指令和低级控制的视觉结果。它可以用于训练高级视觉语言规划器和低级强化学习策略，并在真实世界中展现显著的迁移效果。UniSim还可以用于视频字幕和检测模型等其他类型的智能任务。通过UniSim，用户可以进行长期规划、强化学习和决策优化。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

将 GPT-4 Code Interpreter 铺陈在你的终端

Open Interpreter 是一款开源的本地运行实现,能让语言模型在你的电脑上运行代码(Python、JavaScript、Shell等)。你可以通过终端中的 ChatGPT 风格界面与 Open Interpreter 进行交互,只需在安装后运行 $ interpreter 即可。这为你提供了利用计算机通用功能的自然语言接口:创建和编辑图片、视频、PDF等;控制 Chrome 浏览器进行调研;绘制、清理和分析大型数据集等。值得注意的是,在代码执行前,你会被要求批准代码。

AI模型数据集平台

始智AI是一家提供AI模型和数据集的平台，致力于为科研单位、企事业单位和个人提供高质量的AI模型和数据集。始智AI的优势在于提供多种类型的AI模型和数据集，包括图像、视频、自然语言处理等，用户可以根据自己的需求选择合适的模型和数据集。始智AI的定价合理，用户可以根据自己的需求选择不同的套餐，满足不同的需求。始智AI的定位是成为AI模型和数据集领域的领先平台。

Apple官方机器学习模型训练框架

Create ML是一个Apple官方发布的机器学习模型训练框架,可以非常方便地在Mac设备上训练Core ML模型。它提供了图像、视频、文本等多种模型类型,用户只需要准备数据集和设置参数,就可以开始模型训练。Create ML还提供了Swift API,支持在iOS等平台进行模型训练。

一键换脸

Roop是一款可以将视频中的人脸替换成你想要的人脸的桌面客户端。它不需要数据集或训练，只需要一张你想要替换的人脸图片。Roop可以帮助艺术家完成角色动画和服装模型等任务，但是我们也意识到了潜在的伦理问题，因此我们已经采取措施防止软件被用于不当用途，如裸体等。用户需要遵守当地法律并负责使用该软件。如果使用真实人脸，请获得同意并在分享时清楚标记深度伪造。开发人员不对用户行为负责。

大规模人脸文本-视频数据集

CelebV-Text是一个大规模、高质量、多样化的人脸文本-视频数据集，旨在促进人脸文本-视频生成任务的研究。数据集包含70,000个野外人脸视频剪辑，每个视频剪辑都配有20个文本，涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向。CelebV-Text通过全面的统计分析验证了其在视频、文本和文本-视频相关性方面的优越性，并构建了一个基准来标准化人脸文本-视频生成任务的评估。

生成视频的模型，根据文本生成真实感视频。

Phenaki是一个可以根据一系列文本提示生成逼真视频的模型。它通过将视频压缩为离散令牌的小表示来学习视频表达。模型使用时间上的因果注意力来生成视频令牌，并根据预先计算的文本令牌来条件生成视频。与之前的视频生成方法相比，Phenaki可以根据一系列提示（例如时间可变的文本或故事）生成任意长的视频。它的定位是在开放领域中生成视频。该模型还具有超出现有视频数据集范围的泛化能力。为了更好地满足用户需求，Phenaki还提供了交互式示例和其他应用场景。

提取音视频内容的洞见

Steno AI是一款基于人工智能的工具，帮助专业人士获取有价值的信息，追踪品牌，研究竞争对手，了解公众意见。它具有AI生成的智能技术，能够将音频和视频内容转化为有用的洞见和摘要。使用Steno AI，您可以轻松提取各种Podcast和YouTube等内容中的关键见解。此外，Steno AI还有一个庞大的专有数据集，拥有4900万小时的内容和数十万个文本转录。Steno AI以其高效的提取和整理信息的能力，帮助用户更好地理解行业动态，追踪品牌发展，进行竞争分析等。

实现面部交换的机器学习工具

Faceswap 是一款使用深度学习技术实现面部交换的工具。通过训练模型，可以将一个人的脸替换为另一个人的脸。它具有用户友好的界面，支持多种模型选择，可以自定义训练数据集和模型配置。Faceswap 适用于各种应用场景，包括视频编辑、娱乐创作等。它的功能强大，使用灵活，是实现面部交换的理想选择。

AI 插件，内容发现与分析

VoxScript 是由 Allwire 开发的一款先进的 AI 插件，利用自然语言处理技术，革新了探索和分析数字内容的方式。它可以与各种在线平台无缝集成，为用户提供实时信息、视频分析、股市趋势分析等功能。VoxScript 的核心是 OpenAI 最先进的语言模型，经过大规模、多样化的数据集训练，提供无与伦比的准确性和多功能性。无论您是内容创作者、金融分析师，还是对科学技术等领域充满好奇心的学习者，VoxScript 都是您获取有价值见解、扩展知识的理想助手。