产品库

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

自监督学习框架，用于音视觉语音处理

AV-HuBERT是一个自监督表示学习框架，专门用于音视觉语音处理。它在LRS3音视觉语音基准测试中实现了最先进的唇读、自动语音识别（ASR）和音视觉语音识别结果。该框架通过掩蔽多模态聚类预测来学习音视觉语音表示，并且提供了鲁棒的自监督音视觉语音识别。

一种自监督的视听特征对齐模型。

DenseAV是一种新颖的双编码器定位架构，通过观看视频学习高分辨率、语义有意义的视听对齐特征。它能够无需明确定位监督即可发现单词的“意义”和声音的“位置”，并且自动发现并区分这两种关联类型。DenseAV的定位能力来自于一种新的多头特征聚合操作符，它直接比较密集的图像和音频表示进行对比学习。此外，DenseAV在语义分割任务上显著超越了先前的艺术水平，并且在使用参数少于一半的情况下，在跨模态检索上超越了ImageBind。

构建无代码监督学习模型

Supervised AI是一个无代码AI开发平台，可帮助用户构建监督学习模型。利用OpenAI的GPT引擎，结合用户的数据，构建高准确性的AI模型。用户可以使用Supervised API将AI模型集成到任何地方。

DINOv2: 无监督学习的稳健视觉特征

DINOv2 是一种无监督学习的自我监督学习方法，可以生成高性能的视觉特征，适用于计算机视觉任务。它不需要微调，具有稳健性和跨领域性能。

自监督触觉表示，用于基于视觉的触觉传感。

Sparsh是一系列通过自监督算法（如MAE、DINO和JEPA）训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，并在TacBench提出的下游任务中大幅度超越端到端模型，同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。

一种基于潜在扩散模型的自监督层次化化妆迁移技术

SHMT是一种自监督的层次化化妆迁移技术，通过潜在扩散模型实现。该技术能够在不需要显式标注的情况下，将一种面部妆容自然地迁移到另一种面部上。其主要优点在于能够处理复杂的面部特征和表情变化，提供高质量的迁移效果。该技术在NeurIPS 2024上被接受，展示了其在图像处理领域的创新性和实用性。

Miqu 1-70b是一个开源的大规模语言模型

Miqu 1-70b是一个开源大规模语言模型,采用了新颖的自我监督学习方法,可以处理各种自然语言任务。该模型参数量达170亿,支持多种prompt格式,可fine-tuning生成高质量的文本。其强大的理解和生成能力,使其可广泛应用于聊天机器人、文本摘要、问答系统等领域。

学习模型间字符串关系，检查视觉世界

这篇论文系统评估了大型语言模型（LLMs）生成和识别逐渐复杂的视觉概念的能力，并展示了如何使用文本模型训练初步的视觉表示学习系统。虽然语言模型不能直接处理像素级的视觉信息，但使用代码表示图像进行研究。LLM 生成的图像虽然不像自然图像，但在图像生成和纠正方面的结果表明，准确建模字符串可以教会语言模型许多关于视觉世界的方面。此外，利用文本模型生成的图像进行自监督视觉表示学习的实验，突出了只使用 LLMs 就能训练能够对自然图像进行语义评估的视觉模型的潜力。

零样本图像编辑，一键模仿参考图像风格

MimicBrush是一种创新的图像编辑模型，它允许用户通过指定源图像中的编辑区域和提供一张野外参考图像来实现零样本图像编辑。该模型能够自动捕捉两者之间的语义对应关系，并一次性完成编辑。MimicBrush的开发基于扩散先验，通过自监督学习捕捉不同图像间的语义关系，实验证明其在多种测试案例下的有效性及优越性。

视频到声音的同步生成系统

Video-Foley是一个创新的视频到声音生成系统，它通过使用均方根(RMS)作为时间事件条件，结合语义音色提示（音频或文本），实现高控制性和同步性的视频声音合成。该系统采用无需标注的自监督学习框架，包括Video2RMS和RMS2Sound两个阶段，结合了RMS离散化和RMS-ControlNet等新颖概念，与预训练的文本到音频模型相结合。Video-Foley在声音时间、强度、音色和细节的音视频对齐和控制性方面达到了最先进的性能。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

将静态肖像和输入音频转化为生动的动画对话视频

AniTalker是一个创新的框架，它能够从单一的肖像生成逼真的对话面部动画。它通过两个自监督学习策略增强了动作表现力，同时通过度量学习开发了一个身份编码器，有效减少了对标记数据的需求。AniTalker不仅能够创建详细且逼真的面部动作，还强调了其在现实世界应用中制作动态头像的潜力。

用Journey讲述您的故事，通过响应式幻灯片、视频录制和交互式嵌入物来吸引、闭环和引导客户。

Journey是一款帮助用户通过响应式幻灯片、视频录制和交互式嵌入物来讲述故事的工具。它可以帮助用户创建演讲稿、销售演示文稿和教育课件等。Journey提供了多种功能，包括自动生成初稿、个性化定制、品牌化主题、丰富的内容块等。用户可以使用Journey创建富有吸引力的故事，并在移动设备上跟踪详细的数据分析。

1.58-bit量化的先进文本到图像生成模型

1.58-bit FLUX是一种先进的文本到图像生成模型，通过使用1.58位权重（即{-1, 0, +1}中的值）来量化FLUX.1-dev模型，同时保持生成1024x1024图像的可比性能。该方法无需访问图像数据，完全依赖于FLUX.1-dev模型的自监督。此外，开发了一种定制的内核，优化了1.58位操作，实现了模型存储减少7.7倍，推理内存减少5.1倍，并改善了推理延迟。在GenEval和T2I Compbench基准测试中的广泛评估表明，1.58-bit FLUX在保持生成质量的同时显著提高了计算效率。

视听源分离系统

PixelPlayer是一个能够通过观看大量无标注视频学会定位产生声音的图像区域并分离输入声音成一组表示每个像素声音的组件的系统。我们的方法利用视觉和听觉双模态的自然同步特点,在不需要额外人工标注的情况下学习联合解析声音和图像的模型。该系统使用大量包含不同乐器组合独奏和二重奏演奏的训练视频进行训练。对每个视频没有提供出现了哪些乐器、它们在哪里以及它们是什么声音的监督。在测试阶段,系统的输入是一个展示不同乐器演奏的视频和单声道听觉输入。系统执行音频视觉源分离和定位,将输入声音信号分离成N个声音通道,每个通道对应不同的乐器类别。此外,系统可以定位声音并为输入视频中的每个像素分配不同的音频波形。

高效率自回归视频生成模型

Pyramid Flow miniFLUX是一个基于流匹配的自回归视频生成方法，专注于训练效率和开源数据集的使用。该模型能够生成高质量的10秒768p分辨率、24帧每秒的视频，并自然支持图像到视频的生成。它是视频内容创作和研究领域的一个重要工具，尤其在需要生成连贯动态图像的场合。

自动化生物标志物发现与解释

JADBio是一款无代码机器学习平台，通过自动化生物标志物发现和解释，加速药物研发过程。它能够处理多组学数据，包括基因组学、转录组学、代谢组学等，为研究人员提供快速高效的数据分析和洞察。JADBio的优势在于其简单易用的界面和自动化功能，大大减少了药物研发的时间和成本。定价信息请参考官方网站。

AI模型在线编程和交互学习平台

Promptclub是一个AI模型在线编程和交互学习平台。它提供了多个AI模型供开发者使用，包括gpt-3.5-turbo、gpt-4-32k、gpt-4等。用户可以在Promptclub上编写代码并与AI模型进行交互，实时获取模型的响应。Promptclub还支持保存和加载代码，方便用户进行项目开发和测试。平台提供了丰富的设置选项，如温度、最大标记数、Top P等，用户可以根据需求自定义模型的行为。无论是初学者还是专业开发者，Promptclub都是一个强大而易用的编程学习工具。

AI视频编辑工具

FilmBase是一款AI视频编辑工具，它可以帮助用户自动删除视频中的沉默和填充词，让视频编辑人员能够更专注于创造性的视频编辑工作。FilmBase使用AI技术来检测视频中不需要的部分，并通过转录编辑器让用户能够进行编辑。支持导出到多种视频编辑软件。提供Starter和Plus两种定价计划，适用于个人创作者和内容机构。

编辑您的视频通过编辑文字

Streamlabs Podcast Editor 是一个快速、动态且高效的工具，可帮助您编辑播客和访谈内容。您可以通过编辑文字，将您的视频转换为小段视频片段，并在社交媒体上进行推广。Podcast Editor 提供基于文本的快速播客编辑，添加图像和字幕，自定义视频剪辑等功能。使用 Streamlabs Talk Studio 录制视频，然后使用 Podcast Editor 进行编辑和自定义。优化和跨平台共享您的内容，让您的播客获得更广泛的受众参与度和品牌知名度。

AI视频编辑

Aug X Labs是一个基于人工智能的视频技术和发布创业公司，通过将文字转化为引人入胜、相关和吸引人的视频内容，使视频创作变得简单。我们帮助您将想法转化为引人注目的视觉创作。我们的产品利用先进的自然语言处理和图像处理技术，可以根据用户提供的文字自动生成优质的视频内容。我们的优势是简化视频创作过程，提高视频制作效率，同时降低制作成本。我们的定价策略灵活多样，根据用户的需求和使用情况来定价。我们的产品定位于广大视频创作者、企业和个人用户，帮助他们快速、高效地创建各种类型的视频内容。

AI视频编辑

Aug X Labs是一个AI驱动的视频技术和发布初创公司，通过将文字转化为引人入胜、相关且吸引人的视频内容，实现视频创作的民主化。我们帮助您将想法转化为引人入胜的视觉作品。我们的产品具有以下优势：通过AI技术将文字转化为视频内容，提供丰富的视频编辑功能，可定制化的视频模板，支持多种输出格式，简化视频创作流程，降低制作成本。

AI视频编辑器

TopView.ai可能是最好的AI视频编辑器，您可以免费试用。只需提供原始素材和想法，AI会从剧本创作到选择镜头、编辑、配音和美化您的视频。

视频素描生成与编辑

Sketch Video Synthesis是一个基于优化的视频素描生成框架，通过帧间贝塞尔曲线表示视频，利用语义损失和一种新设计的一致性损失进行曲线位置优化，生成具有印象派风格的视频素描并保持时间上的连贯性。可用于视频编辑和视频涂鸦，支持SVG线条的灵活渲染，包括调整大小、填充颜色以及在原始背景图像上叠加涂鸦。

语音交互式语言学习App

Natulang是一个语音交互式的语言学习App。它利用语音生成和识别技术,让用户可以通过大声朗读对话来学习语言。相比其他注重打字的语言学习App,Natulang更注重语音交流,让用户培养语言表达的自信心。

AI视频编辑，自动剪辑无用片段

Gling AI是一款AI视频编辑工具，自动识别和剪辑视频中的无用片段和不流畅的部分，让用户更多时间专注于创作。它支持导入各种视频文件，包括语音配音文件。用户可以对编辑后的视频进行进一步修改，并支持导出到Final Cut Pro、DaVinci Resolve和Adobe Premiere等编辑软件，或者直接导出为MP4或MP3媒体文件和SRT字幕。

创新视频编辑，打造独特转场

Tonic - AI Video Editing是一款专为iPhone设计的视频编辑应用，通过AI技术，用户可以将自己融入喜爱的音乐视频、变身成动漫角色、体验2D世界，并且轻松将现实与其他世界融合。该应用提供新颖的视频编辑方式，用户可以在其中体验到前所未有的创意和乐趣。

在线 AI 视频编辑器和照片编辑器

HeyEditor 是一款易于使用的 AI 视频编辑器和照片编辑器，用户可以上传视频或照片进行人脸交换，将视频或图像转换为动漫风格，并增强照片的分辨率和细节。定价合理，定位于为用户提供简单而强大的视觉编辑工具。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。