需求人群:
"Video-Foley主要面向多媒体制作人员、视频编辑者和声音设计师,他们需要在视频制作过程中同步音频和视频,增强用户体验。该系统能够自动化繁琐的Foley声音生成过程,提供高控制性和灵活性,适合需要精确音频同步和丰富音色表达的专业用户。"
使用场景示例:
视频编辑者使用Video-Foley为一段安静的猫咪视频生成相应的喵喵声。
声音设计师利用系统为游戏设计具有特定RMS形态的声音效果。
多媒体制作人员为一段打字视频生成逼真的键盘敲击声。
产品特色:
利用均方根(RMS)作为时间特征,实现高控制性和同步性的视频声音合成。
无需人工标注,采用自监督学习框架,降低成本并提高效率。
RMS-ControlNet结合预训练的文本到音频模型,提供可控的音频生成。
通过文本提示控制音频语义,如声源、音色和细节。
支持多种输入条件,包括不同形状的RMS条件和文本提示。
提供DEMO展示,直观感受产品功能和效果。
使用教程:
访问Video-Foley的DEMO页面。
根据需要选择或输入视频和文本提示。
调整RMS条件以控制声音的强度和形态。
点击生成按钮,系统将自动生成与视频同步的声音。
在生成的声音中选择最符合需求的音频。
将生成的声音应用到视频中,完成音视频同步。
浏览量:35
视频到声音的同步生成系统
Video-Foley是一个创新的视频到声音生成系统,它通过使用均方根(RMS)作为时间事件条件,结合语义音色提示(音频或文本),实现高控制性和同步性的视频声音合成。该系统采用无需标注的自监督学习框架,包括Video2RMS和RMS2Sound两个阶段,结合了RMS离散化和RMS-ControlNet等新颖概念,与预训练的文本到音频模型相结合。Video-Foley在声音时间、强度、音色和细节的音视频对齐和控制性方面达到了最先进的性能。
一种基于潜在扩散模型的自监督层次化化妆迁移技术
SHMT是一种自监督的层次化化妆迁移技术,通过潜在扩散模型实现。该技术能够在不需要显式标注的情况下,将一种面部妆容自然地迁移到另一种面部上。其主要优点在于能够处理复杂的面部特征和表情变化,提供高质量的迁移效果。该技术在NeurIPS 2024上被接受,展示了其在图像处理领域的创新性和实用性。
1.58-bit量化的先进文本到图像生成模型
1.58-bit FLUX是一种先进的文本到图像生成模型,通过使用1.58位权重(即{-1, 0, +1}中的值)来量化FLUX.1-dev模型,同时保持生成1024x1024图像的可比性能。该方法无需访问图像数据,完全依赖于FLUX.1-dev模型的自监督。此外,开发了一种定制的内核,优化了1.58位操作,实现了模型存储减少7.7倍,推理内存减少5.1倍,并改善了推理延迟。在GenEval和T2I Compbench基准测试中的广泛评估表明,1.58-bit FLUX在保持生成质量的同时显著提高了计算效率。
自监督触觉表示,用于基于视觉的触觉传感。
Sparsh是一系列通过自监督算法(如MAE、DINO和JEPA)训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示,并在TacBench提出的下游任务中大幅度超越端到端模型,同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。
视频编辑中的手-物交互意识
HOI-Swap是一个基于扩散模型的视频编辑框架,专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练,能够在单帧中实现物体交换,并学习根据物体属性变化调整手的交互模式,如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列,通过运动对齐和视频生成,实现高质量的视频编辑。
零样本图像编辑,一键模仿参考图像风格
MimicBrush是一种创新的图像编辑模型,它允许用户通过指定源图像中的编辑区域和提供一张野外参考图像来实现零样本图像编辑。该模型能够自动捕捉两者之间的语义对应关系,并一次性完成编辑。MimicBrush的开发基于扩散先验,通过自监督学习捕捉不同图像间的语义关系,实验证明其在多种测试案例下的有效性及优越性。
一种自监督的视听特征对齐模型。
DenseAV是一种新颖的双编码器定位架构,通过观看视频学习高分辨率、语义有意义的视听对齐特征。它能够无需明确定位监督即可发现单词的“意义”和声音的“位置”,并且自动发现并区分这两种关联类型。DenseAV的定位能力来自于一种新的多头特征聚合操作符,它直接比较密集的图像和音频表示进行对比学习。此外,DenseAV在语义分割任务上显著超越了先前的艺术水平,并且在使用参数少于一半的情况下,在跨模态检索上超越了ImageBind。
将静态肖像和输入音频转化为生动的动画对话视频
AniTalker是一个创新的框架,它能够从单一的肖像生成逼真的对话面部动画。它通过两个自监督学习策略增强了动作表现力,同时通过度量学习开发了一个身份编码器,有效减少了对标记数据的需求。AniTalker不仅能够创建详细且逼真的面部动作,还强调了其在现实世界应用中制作动态头像的潜力。
自监督学习框架,用于音视觉语音处理
AV-HuBERT是一个自监督表示学习框架,专门用于音视觉语音处理。它在LRS3音视觉语音基准测试中实现了最先进的唇读、自动语音识别(ASR)和音视觉语音识别结果。该框架通过掩蔽多模态聚类预测来学习音视觉语音表示,并且提供了鲁棒的自监督音视觉语音识别。
© 2025 AIbase 备案号:闽ICP备08105208号-14