产品库

音频生成与自动字幕生成模型

GenAU是一个由Snap Research开发的音频生成模型，它通过AutoCap自动字幕生成模型和GenAu音频生成架构，显著提升了音频生成的质量。它在生成环境声音和效果方面具有挑战性，特别是在数据稀缺和字幕质量不足的情况下。GenAU模型能够生成高质量的音频，并且在音频合成领域具有很大的潜力。

视频生成的轨迹导向扩散变换器

Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。

SeedVR: 一种用于通用视频修复的扩散变换器模型

SeedVR 是一种创新的扩散变换器模型，专门用于处理真实世界中的视频修复任务。该模型通过其独特的移位窗口注意力机制，能够高效地处理任意长度和分辨率的视频序列。SeedVR 的设计使其在生成能力和采样效率方面都取得了显著的提升，相较于传统的扩散模型，它在合成和真实世界的基准测试中均表现出色。此外，SeedVR 还结合了因果视频自编码器、混合图像和视频训练以及渐进式训练等现代实践，进一步提高了其在视频修复领域的竞争力。作为一种前沿的视频修复技术，SeedVR 为视频内容创作者和后期制作人员提供了一种强大的工具，能够显著提升视频质量，尤其是在处理低质量或损坏的视频素材时。

利用扩散变换器生成高质量的3D资产。

3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。

基于预训练的纯视觉变换器提升图像抠图

ViTMatte是一个基于预训练纯视觉变换器（Plain Vision Transformers, ViTs）的图像抠图系统。它利用混合注意力机制和卷积颈部来优化性能与计算之间的平衡，并引入了细节捕获模块以补充抠图所需的细节信息。ViTMatte是首个通过简洁的适配释放ViT在图像抠图领域潜力的工作，继承了ViT在预训练策略、简洁的架构设计和灵活的推理策略等方面的优势。在Composition-1k和Distinctions-646这两个最常用的图像抠图基准测试中，ViTMatte达到了最先进的性能，并以较大优势超越了先前的工作。

探索多模态扩散变换器中的注意力控制，实现无需调优的多提示长视频生成

DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的视频生成模型，它专注于无需额外训练即可生成具有多个连续提示的连贯场景视频。该模型通过分析MM-DiT的注意力机制，实现了在不同提示间精确的语义控制和注意力共享，从而生成具有平滑过渡和一致对象运动的视频。DiTCtrl的主要优点包括无需训练、能够处理多提示视频生成任务，并能展示电影风格的过渡效果。此外，DiTCtrl还提供了一个新基准MPVBench，专门用于评估多提示视频生成的性能。

一种基于扩散变换器网络的高动态、逼真肖像图像动画技术。

Hallo3是一种用于肖像图像动画的技术，它利用预训练的基于变换器的视频生成模型，能够生成高度动态和逼真的视频，有效解决了非正面视角、动态对象渲染和沉浸式背景生成等挑战。该技术由复旦大学和百度公司的研究人员共同开发，具有强大的泛化能力，为肖像动画领域带来了新的突破。

MakeAnything 是一个用于多领域程序化序列生成的扩散变换器模型。

MakeAnything 是一个基于扩散变换器的模型，专注于多领域程序化序列生成。该技术通过结合先进的扩散模型和变换器架构，能够生成高质量的、逐步的创作序列，如绘画、雕塑、图标设计等。其主要优点在于能够处理多种领域的生成任务，并且可以通过少量样本快速适应新领域。该模型由新加坡国立大学 Show Lab 团队开发，目前以开源形式提供，旨在推动多领域生成技术的发展。

一种用于扩散变换器的上下文LoRA微调技术

In-Context LoRA是一种用于扩散变换器（DiTs）的微调技术，它通过结合图像而非仅仅文本，实现了在保持任务无关性的同时，对特定任务进行微调。这种技术的主要优点是能够在小数据集上进行有效的微调，而不需要对原始DiT模型进行任何修改，只需改变训练数据即可。In-Context LoRA通过联合描述多张图像并应用任务特定的LoRA微调，生成高保真度的图像集合，更好地符合提示要求。该技术对于图像生成领域具有重要意义，因为它提供了一种强大的工具，可以在不牺牲任务无关性的前提下，为特定任务生成高质量的图像。

InstantCharacter 是一种基于扩散变换器的角色个性化框架。

InstantCharacter 是一个基于扩散变换器的角色个性化框架，旨在克服现有学习基础自定义方法的局限性。该框架的主要优点在于开放域个性化、高保真结果以及有效的角色特征处理能力，适合各种角色外观、姿势和风格的生成。该框架利用一个包含千万级样本的大规模数据集进行训练，以实现角色一致性和文本可编辑性的同时优化。该技术为角色驱动的图像生成设定了新的基准。

精准的 AI 视频字幕识别和字幕翻译软件

33 字幕是一款精准的 AI 视频字幕识别和字幕翻译软件。它可以将音频、视频转换成文本或 SRT 字幕文件，并支持字幕翻译成其他语言。它使用优化后的 Whisper AI 语音转写模型，准确度接近人类水平。集成多种 AI 翻译引擎，支持 ChatGPT、DeepL、微软、百度等翻译接口。它还提供高效易用的可视化字幕编辑器，支持字幕摘要和预提取人声功能。33 字幕支持英语、日语、韩语、法语、泰语等 50 多种语言。

PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型（Diffusion Transformer）

PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型，相较于前身PixArt-α，它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程，它通过结合更高质量的数据，从“较弱”的基线模型进化到“更强”的模型，这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。

在线字幕生成工具

字幕酱利用 AI 深度学习技术，提供自动在线字幕生成、字幕制作、语音转字幕、字幕翻译、字幕格式转换等功能。支持多种语种和常见音视频格式，60 秒内短视频免费。

高质量音频生成框架

AudioLM是由Google Research开发的一个框架，用于高质量音频生成，具有长期一致性。它将输入音频映射到离散标记序列，并将音频生成视为这一表示空间中的语言建模任务。AudioLM通过在大量原始音频波形上训练，学习生成自然且连贯的音频续篇，即使在没有文本或注释的情况下，也能生成语法和语义上合理的语音续篇，同时保持说话者的身份和韵律。此外，AudioLM还能生成连贯的钢琴音乐续篇，尽管它在训练时没有使用任何音乐的符号表示。

Qihoo-T2X，一款针对文本到任意任务的高效扩散变换器模型。

Qihoo-T2X是由360CVGroup开发的一个开源项目，它代表了一种创新的文本到任意任务（Text-to-Any）的扩散变换器（DiT）架构范式。该项目旨在通过代理令牌技术，提高文本到任意任务的处理效率。Qihoo-T2X项目是一个正在进行中的项目，其团队承诺将持续优化和增强其功能。

视频到音频生成模型

vta-ldm是一个专注于视频到音频生成的深度学习模型，能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破，特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发，具有生成与视频内容高度一致的音频的能力，对于视频制作、音频后期处理等领域具有重要的应用价值。

为视频自动添加字幕，字幕翻译，字幕制作软件

绘影字幕为您提供视频加字幕、字幕制作、字幕翻译服务。软件采用先进的语音识别技术，自动识别视频中的人声，转化成字幕。并提供翻译服务，轻松制作中英字幕、中日字幕等双语字幕。为抖音、vlog、快手、自媒体、教育课程等视频创作者提供快捷的加字幕服务。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。

Meta旗下AI音频生成研究

Audiobox是Meta的新一代音频生成研究模型，可以利用语音输入和自然语言文本提示生成声音和音效，轻松为各种用例创建定制音频。Audiobox系列模型还包括专业模型Audiobox Speech和Audiobox Sound，所有Audiobox模型都是基于共享的自监督模型Audiobox SSL构建的。

智能提取视频字幕

青梧字幕是一款视频字幕自动提取工具，用户可以通过选中本地视频文件自动生成字幕，进行编辑和翻译，最终可以下载多种格式的字幕文件。产品功能全面，支持高质量翻译和多种字幕格式下载，适用于视频制作、学习教育等场景。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

基于LLM的智能字幕助手，一键生成高质量视频字幕

卡卡字幕助手（VideoCaptioner）是一款功能强大的视频字幕配制软件，利用大语言模型进行字幕智能断句、校正、优化、翻译，实现字幕视频全流程一键处理。产品无需高配置，操作简单，内置基础LLM模型，保证开箱即用，且消耗模型Token少，适合视频制作者和内容创作者。

高效并行音频生成技术

SoundStorm是由Google Research开发的一种音频生成技术，它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频，并且可以与文本到语义模型结合，控制说话内容、说话者声音和说话轮次，实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题，提高了音频生成的效率和质量。

自动字幕生成器

使用Simplified的免费自动字幕生成器，可以在视频中自动添加字幕。它是一个100%准确的基于AI技术的字幕生成器。您可以上传最多5MB大小的视频，自定义字幕样式，并在几秒钟内创建视觉一致的视频。

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

高度逼真的多语言文本到音频生成模型

Bark是由Suno开发的基于Transformer的文本到音频模型，能够生成逼真的多语言语音以及其他类型的音频，如音乐、背景噪声和简单音效。它还支持生成非语言交流，例如笑声、叹息和哭泣声。Bark支持研究社区，提供预训练模型检查点，适用于推理并可用于商业用途。

音频转文字及视频字幕服务

Happy Scribe 提供自动和人工转录服务，将音频转换为文本，准确率达到 85-99%，支持 120 多种语言和 45 多种格式。定位于为用户提供高效的音视频转录及字幕服务。

3D资产的自动生成工具

MeshAnything是一个利用自回归变换器进行艺术家级网格生成的模型，它可以将任何3D表示形式的资产转换为艺术家创建的网格(AMs)，这些网格可以无缝应用于3D行业。它通过较少的面数生成网格，显著提高了存储、渲染和模拟效率，同时实现了与先前方法相当的精度。