产品库

基于音频条件的潜在扩散模型的唇部同步框架

LatentSync 是由字节跳动开发的一款基于音频条件的潜在扩散模型的唇部同步框架。它能够直接利用 Stable Diffusion 的强大能力，无需任何中间运动表示，即可建模复杂的音视频关联。该框架通过提出的时间表示对齐（TREPA）技术，有效提升了生成视频帧的时间一致性，同时保持了唇部同步的准确性。该技术在视频制作、虚拟主播、动画制作等领域具有重要应用价值，能够显著提高制作效率，降低人工成本，为用户带来更加逼真、自然的视听体验。LatentSync 的开源特性也使其能够被广泛应用于学术研究和工业实践，推动相关技术的发展和创新。

统一音视频同步的面部表演者生成

ReSyncer是一个创新的框架，致力于通过先进的风格注入Transformer技术，实现音频与视频的高效同步。它不仅能够生成高保真的唇形同步视频，还支持快速个性化微调、视频驱动的唇形同步、说话风格的转换，甚至面部交换等特性。这些功能对于创建虚拟主持人和表演者至关重要，能够显著提升视频内容的自然度和真实感。

实时交互流式数字人技术，实现音视频同步对话。

metahuman-stream是一个开源的实时交互数字人模型项目，它通过先进的技术实现数字人与用户的音视频同步对话，具有商业应用潜力。该项目支持多种数字人模型，包括ernerf、musetalk、wav2lip等，并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。

基于Google Veo 3视频技术的AI视频生成器，通过文字或图片生成电影级视频，实现同步音视频，体验谷歌最先进的视频生成模型。

Veo 3 AI视频生成器是基于Google Veo 3视频技术的先进产品，采用最先进的视频AI模型技术，实现同步音频、自然运动和电影级输出。其主要优点在于高质量视频输出、智能场景理解和逼真运动模拟。Veo 3 AI定位于提供快速原型设计和高质量内容生成。

视频到音乐生成框架，实现音视频内容的语义对齐和节奏同步。

MuVi是一个创新的框架，它通过分析视频内容提取与上下文和时间相关的特征，生成与视频情绪、主题、节奏和节奏相匹配的音乐。该框架引入了对比性音乐-视觉预训练方案，确保音乐短语的周期性同步，并展示了基于流匹配的音乐生成器具有上下文学习能力，允许控制生成音乐的风格和类型。MuVi在音频质量和时间同步方面展现出优越的性能，为音视频内容的融合和沉浸式体验提供了新的解决方案。

AI音视频生成工具

LuDe是一款基于人工智能的音视频生成工具，可以通过提供的音频或文本内容快速创建视频。它具有智能转写、视频背景更换和视频生成等功能。LuDe可以帮助用户轻松创建各种类型的视频，如YT Shorts和Insta Reels。它简化了视频制作的流程，节省了时间和精力。

AI一键总结，节省时间

BibiGPT · AI 音视频助理是一款智能插件，支持B站、油管、小红书、抖音、推特、小宇宙、苹果播客、谷歌播客、本地视频、本地音频、微信公众号等任意网页链接。通过输入链接，即可获得AI一键总结、思维导图、字幕列表、AI改写图文、AI对话追问、热门视频总结等功能。帮助用户快速获取音视频内容的核心信息。

GPU加速AI SDK，提升实时音视频质量

NVIDIA Maxine是一套GPU加速的AI SDK，通过人工智能技术提升实时音频、视频和增强现实效果的质量。Maxine的先进模型可以在标准麦克风和摄像头设备上实现高质量的效果。Maxine可在本地、云端或边缘部署。定价请咨询官方网站。

提取音视频内容的洞见

Steno AI是一款基于人工智能的工具，帮助专业人士获取有价值的信息，追踪品牌，研究竞争对手，了解公众意见。它具有AI生成的智能技术，能够将音频和视频内容转化为有用的洞见和摘要。使用Steno AI，您可以轻松提取各种Podcast和YouTube等内容中的关键见解。此外，Steno AI还有一个庞大的专有数据集，拥有4900万小时的内容和数十万个文本转录。Steno AI以其高效的提取和整理信息的能力，帮助用户更好地理解行业动态，追踪品牌发展，进行竞争分析等。

AI音视频聊天机器人

Context是一款AI音视频聊天机器人，通过语音和视频进行沟通，具备智能回答问题、情感识别、语音合成等功能。它可以用于在线客服、虚拟助手、教育辅助等场景。定价根据使用量计费。

稳定签名：将水印根植于潜在扩散模型中

Stable Signature是一种将水印嵌入图像中的方法，它使用潜在扩散模型（LDM）来提取和嵌入水印。该方法具有高度的稳定性和鲁棒性，可以在多种攻击下保持水印的可读性。Stable Signature提供了预训练模型和代码实现，用户可以使用它来嵌入和提取水印。

提供一站式音视频云服务平台

萤石开放平台基于萤石云智能视频技术,提供一站式音视频设备云接入、视频存储、视频处理、视频分发等服务,覆盖从设备端到应用端的全流程服务,支持多场景的音视频需求。平台支持设备云规模化接入,提供低成本、便捷、可靠的全球视频云基础设施服务;支持丰富的视频云能力开放,助力众多行业用户实现业务创新。

为视频生成同步音轨的先进技术

视频到音频(V2A)技术是DeepMind公司的一项创新，它结合了视频像素与自然语言文本提示，生成与屏幕上动作同步的丰富音景。这项技术可以与视频生成模型如Veo相结合，为视频生成戏剧性配乐、逼真的音效或与视频角色和基调相匹配的对话。它还能为传统素材生成音轨，包括档案材料、无声电影等，开拓了更广泛的创作机会。

精准识别音视频转文本或SRT字幕

33字幕是一款桌面端精准识别音视频转文字或SRT字幕的软件,支持50多种语言识别和翻译,翻译支持DeepL和ChatGPT,可搜索和编辑字幕,支持批量处理,还可以一键剪切口播和播客。

快速转录音视频并添加字幕

ScriptMe是一款快速、简单、安全的音视频转录工具，利用人工智能的力量和出色的编辑和导出工具，自动化转录过程，让您可以专注于重要事项。支持31种语言，提供定制化的字幕编辑功能，并支持多种文件格式导出。ScriptMe让转录、字幕和翻译变得更加高效。

AI音视频转录与总结工具，提升学习和工作效率。

Ai好记是一款专注于音视频内容处理的AI工具，通过先进的技术将音视频转录为文字、生成翻译、总结等内容。它能够帮助用户高效地处理和吸收音视频信息，节省时间并提升学习和工作效率。该产品适用于多种场景，如学习、工作、内容创作等，具有较高的实用性和便捷性。目前尚不清楚具体价格和详细定位信息。

高清视频逆问题求解器，使用潜在扩散模型

VISION XL是一个利用潜在扩散模型解决高清视频逆问题的框架。它通过伪批量一致性采样策略和批量一致性反演方法，优化了视频处理的效率和时间，支持多种比例和高分辨率重建。该技术的主要优点包括支持多比例和高分辨率重建、内存和采样时间效率、使用开源潜在扩散模型SDXL。它通过集成SDXL，在各种时空逆问题上实现了最先进的视频重建，包括复杂的帧平均和各种空间退化的组合，如去模糊、超分辨率和修复。

由人工智能驱动的一站式语音翻译、音色定制、配音等音视频服务

米可智能是由人工智能驱动的一站式语音翻译、音色定制、配音等音视频服务。它通过 AI 技术将复杂操作极致简化，提高工作效率超过 90%。功能包括语音翻译，将音视频的语音翻译为其他语言的语音，全流程 AI 驱动，精准度超过 98%；音色定制，定制个性化的音色，用于语音翻译、配音等功能；语音合成，将文字转为自然生动的语音。产品定价合理，使用场景广泛，适用于跨境市场营销、教育、媒体等领域。

一种基于潜在扩散模型的自监督层次化化妆迁移技术

SHMT是一种自监督的层次化化妆迁移技术，通过潜在扩散模型实现。该技术能够在不需要显式标注的情况下，将一种面部妆容自然地迁移到另一种面部上。其主要优点在于能够处理复杂的面部特征和表情变化，提供高质量的迁移效果。该技术在NeurIPS 2024上被接受，展示了其在图像处理领域的创新性和实用性。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

基于AI技术的智能娱乐办公助手，提供音视频转文字、文稿编辑、翻译等多功能服务

悦录是一款依托同花顺智能语音和自然语言处理技术开发的智能办公助手。它通过高效的转文字功能，帮助用户快速将音视频内容转化为文字，极大地提升了办公效率。产品支持多语种识别，准确率高，能满足不同场景下的需求。其背景是基于现代办公中对高效记录和信息整理的需求，旨在解放白领和学生群体，激发创造力。目前产品提供免费服务，定位为智能办公领域的创新工具。

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

视频生成的时空扩散模型

Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时间超分辨率处理，这种方法本质上使得全局时间一致性难以实现。通过部署空间和（重要的是）时间的下采样和上采样，并利用预训练的文本到图像扩散模型，我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果，并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用，包括图像到视频、视频修补和风格化生成。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

一种从2D图像学习3D人体生成的结构化潜在扩散模型。

StructLDM是一个结构化潜在扩散模型，用于从2D图像学习3D人体生成。它能够生成多样化的视角一致的人体，并支持不同级别的可控生成和编辑，如组合生成和局部服装编辑等。该模型在无需服装类型或掩码条件的情况下，实现了服装无关的生成和编辑。项目由南洋理工大学S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出，相关论文发表于ECCV 2024。

自监督学习框架，用于音视觉语音处理

AV-HuBERT是一个自监督表示学习框架，专门用于音视觉语音处理。它在LRS3音视觉语音基准测试中实现了最先进的唇读、自动语音识别（ASR）和音视觉语音识别结果。该框架通过掩蔽多模态聚类预测来学习音视觉语音表示，并且提供了鲁棒的自监督音视觉语音识别。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

高精度视频唇形同步技术

Wav2Lip 是一个开源项目，旨在通过深度学习技术实现视频中人物的唇形与任意目标语音高度同步。该项目提供了完整的训练代码、推理代码和预训练模型，支持任何身份、声音和语言，包括CGI面孔和合成声音。Wav2Lip 背后的技术基于论文 'A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild'，该论文在ACM Multimedia 2020上发表。项目还提供了一个交互式演示和Google Colab笔记本，方便用户快速开始使用。此外，项目还提供了一些新的、可靠的评估基准和指标，以及如何在论文中计算这些指标的说明。

AI视频生成器，一键重写和配音视频。

Vozo是一个AI视频生成器，它允许用户通过AI提示重写视频脚本、自动配音和唇形同步，从而快速生成新的视频内容。它支持将视频翻译成多种语言，并且可以针对不同的受众群体定制视频内容。Vozo的主要优点包括易用性、高效性以及能够保持原有视频的魅力。