产品库

高保真、时间连贯的视频编辑

MagicEdit是一款高保真、时间连贯的视频编辑模型，通过明确分离外观和运动的学习，支持视频风格化、局部编辑、视频混合和视频外扩等多种编辑应用。MagicEdit还支持视频外扩任务，无需重新训练即可实现。

使用频域分解进行高保真、可迁移的NeRF编辑

Freditor是一种基于频域分解的NeRF编辑方法。它可以实现高保真的NeRF场景编辑,并且可迁移到其他场景。该方法将NeRF场景划分为高频和低频两部分,对低频部分进行风格迁移,并将高频细节重新集成,从而生成高保真的编辑结果。Freditor还支持在推理过程中对编辑强度进行控制。实验表明,该方法在保真度和可迁移性方面都优于现有的NeRF编辑方法。

Genmo 的视频生成模型，具有高保真运动和强提示遵循性。

这是一个先进的视频生成模型，采用 AsymmDiT 架构，可免费试用。它能生成高保真视频，缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。

高保真图像到视频生成框架

AtomoVideo是一个新颖的高保真图像到视频（I2V）生成框架，它从输入图像生成高保真视频，与现有工作相比，实现了更好的运动强度和一致性，并且无需特定调整即可与各种个性化T2I模型兼容。

高保真文本引导的音乐生成与编辑模型

MelodyFlow是一个基于文本控制的高保真音乐生成和编辑模型，它使用连续潜在表示序列，避免了离散表示的信息丢失问题。该模型基于扩散变换器架构，经过流匹配目标训练，能够生成和编辑多样化的高质量立体声样本，且具有文本描述的简单性。MelodyFlow还探索了一种新的正则化潜在反转方法，用于零样本测试时的文本引导编辑，并展示了其在多种音乐编辑提示中的优越性能。该模型在客观和主观指标上进行了评估，证明了其在标准文本到音乐基准测试中的质量与效率上与评估基线相当，并且在音乐编辑方面超越了以往的最先进技术。

高保真视频编码，适用于大运动场景的视频自编码器。

这是一个视频变分自编码器（VAE），旨在减少视频冗余并促进高效视频生成。该模型通过观察发现，将图像VAE直接扩展到3D VAE会引入运动模糊和细节失真，因此提出了时间感知的空间压缩以更好地编码和解码空间信息。此外，该模型还集成了一个轻量级的运动压缩模型以实现进一步的时间压缩。通过利用文本到视频数据集中固有的文本信息，并在模型中加入文本指导，显著提高了重建质量，特别是在细节保留和时间稳定性方面。该模型还通过在图像和视频上进行联合训练来提高其通用性，不仅提高了重建质量，还使模型能够执行图像和视频的自编码。广泛的评估表明，该方法的性能优于最近的强基线。

Stability AI 高保真文本转语音模型

Stability AI 高保真文本转语音模型旨在提供对大规模数据集进行训练的语音合成模型的自然语言引导。它通过标注不同的说话者身份、风格和录音条件来进行自然语言引导。然后将此方法应用于45000小时的数据集，用于训练语音语言模型。此外，该模型提出了提高音频保真度的简单方法，尽管完全依赖于发现的数据，但在很大程度上表现出色。

视频生成模型,支持无限长度高保真虚拟人视频生成

MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。

集成空间编织注意力，提升扩散模型的高保真条件

HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。

高保真头部混合与色键技术

CHANGER是一个创新的工业级头部混合技术，通过色键技术实现高保真度的头部混合效果，特别适用于视觉效果(VFX)、数字人物创建和虚拟头像等领域。该技术通过分离背景集成和前景混合，利用色键生成无瑕疵的背景，并引入头部形状和长发增强(H^2增强)以及前景预测性注意力转换器(FPAT)模块，以提高对各种真实世界情况的泛化能力。CHANGER的主要优点包括高保真度、工业级结果、以及对真实世界案例的广泛适用性。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

基于扩散模型的高保真服装重建虚拟试穿技术

TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。

音频驱动的高保真3D人头化身合成技术

GaussianSpeech是一种新颖的方法，它能够从语音信号中合成高保真度的动画序列，创建逼真、个性化的3D人头化身。该技术通过结合语音信号与3D高斯绘制技术，捕捉人类头部表情和细节动作，包括皮肤皱褶和更细微的面部运动。GaussianSpeech的主要优点包括实时渲染速度、自然的视觉动态效果，以及能够呈现多样化的面部表情和风格。该技术背后是大规模多视角音频-视觉序列数据集的创建，以及音频条件变换模型的开发，这些模型能够直接从音频输入中提取唇部和表情特征。

Lyria 2 是一款高保真音乐生成模型。

Lyria 2 是最新的音乐生成模型，能够创作多种风格的高保真音乐，适用于复杂的音乐作品。该模型不仅为音乐创作者提供了强大的工具，还推动了音乐生成技术的发展，提升了创作效率。Lyria 2 的目标是让音乐创作变得更加简单和可及，为专业音乐人和爱好者提供灵活的创作支持。

Animate Anyone 2 是一款高保真角色图像动画生成工具，支持环境适配。

Animate Anyone 2 是一种基于扩散模型的角色图像动画技术，能够生成与环境高度适配的动画。它通过提取环境表示作为条件输入，解决了传统方法中角色与环境缺乏合理关联的问题。该技术的主要优点包括高保真度、环境适配性强以及动态动作处理能力出色。它适用于需要高质量动画生成的场景，如影视制作、游戏开发等领域，能够帮助创作者快速生成具有环境交互的角色动画，节省时间和成本。

一个自定义时间轴节点系统，简化视频/动画编辑流程。

TimeUi是一个为ComfyUI设计的自定义时间轴节点系统，旨在创建类似于视频/动画编辑工具的时间轴，但无需依赖传统的时间代码。用户可以轻松添加、删除或重新排列行，提供流畅的用户体验。系统支持图像上传和管理，允许用户直接将图像上传到节点或附加其他“上传图像”节点，简化工作流程。此外，每个时间轴行包含多种自定义设置，如切换图像遮罩的可见性，增强对图像调整的控制。节点可以独立工作或与其他外部节点一起工作，轻松切换设置如IP适配器、图像负片、注意力遮罩、剪辑视觉、遮罩等，以微调输出。

CRM是一个高保真的单图像到3D纹理网格的卷积重建模型

CRM是一个高保真的单图像到3D纹理网格的生成模型，它通过整合几何先验到网络设计中，能够从单个输入图像生成六个正交视图图像，然后利用卷积U-Net创建高分辨率的三平面（triplane）。CRM进一步使用Flexicubes作为几何表示，便于在纹理网格上进行直接的端到端优化。整个模型能够在10秒内从图像生成高保真的纹理网格，无需测试时优化。

基于AI技术的时间线生成工具

AI时间线是一个利用人工智能技术帮助用户以时间线的形式展现特定事件的在线工具，适用于创建时间轴图、思维导图等。

开创高保真、可控视频生成新领域。

Gen-3 Alpha 是 Runway 训练的一系列模型中的首个，它在新的基础设施上训练，专为大规模多模态训练而建。它在保真度、一致性和动作方面相较于 Gen-2 有重大改进，并朝着构建通用世界模型迈进了一步。该模型能够生成具有丰富动作、手势和情感的表达性人物角色，为叙事提供了新的机会。

基于参考的线稿视频上色技术

LVCD 是一种基于参考的线稿视频上色技术，采用大规模预训练的视频扩散模型，生成色彩化动画视频。该技术通过Sketch-guided ControlNet和Reference Attention，实现了对快速和大幅度运动的动画视频进行色彩化处理，同时保证了时间上的连贯性。LVCD的主要优点包括生成色彩化动画视频的时间连贯性、处理大运动的能力以及高质量的输出结果。

高保真新视角合成的视频扩散模型

ViewCrafter 是一种新颖的方法，它利用视频扩散模型的生成能力以及基于点的表示提供的粗略3D线索，从单个或稀疏图像合成通用场景的高保真新视角。该方法通过迭代视图合成策略和相机轨迹规划算法，逐步扩展3D线索和新视角覆盖的区域，从而扩大新视角的生成范围。ViewCrafter 可以促进各种应用，例如通过优化3D-GS表示实现沉浸式体验和实时渲染，以及通过场景级文本到3D生成实现更富有想象力的内容创作。

AI驱动的快速时间流逝视频编辑器。

Photolapse是一款利用人工智能技术，帮助用户在几秒钟内制作出专业视频编辑效果的产品。它通过AI技术自动将用户的面部保持在视频中心，实现快速时间流逝的视觉效果。Photolapse的灵感来源于视觉叙事者使用高级软件创造专业视频效果，尤其是快速剪辑的迷人效果。但Photolapse让创作者无需成为昂贵编辑软件的大师，也能轻松制作出这种效果。

高保真稠密SLAM

Gaussian SLAM能够从RGBD数据流重建可渲染的3D场景。它是第一个能够以照片级真实感重建现实世界场景的神经RGBD SLAM方法。通过利用3D高斯作为场景表示的主要单元，我们克服了以往方法的局限性。我们观察到传统的3D高斯在单目设置下很难使用：它们无法编码准确的几何信息，并且很难通过单视图顺序监督进行优化。通过扩展传统的3D高斯来编码几何信息，并设计一种新颖的场景表示以及增长和优化它的方法，我们提出了一种能够重建和渲染现实世界数据集的SLAM系统，而且不会牺牲速度和效率。高斯SLAM能够重建和以照片级真实感渲染现实世界场景。我们在常见的合成和真实世界数据集上对我们的方法进行了评估，并将其与其他最先进的SLAM方法进行了比较。最后，我们证明了我们得到的最终3D场景表示可以通过高效的高斯飞溅渲染实时渲染。

AI快速为视频添加时间戳章节

ChapterMe ChapterGPT是一款AI快速为视频添加时间戳章节的工具。它能够帮助用户节省大量时间和精力，并提供互动式目录、搜索引擎优化的章节、自定义品牌风格的播放器等功能。用户可以在网站上嵌入播放器，通过章节列表快速定位到感兴趣的内容。ChapterMe ChapterGPT适用于各种视频创作者，帮助他们更好地吸引观众，提高视频观看时长。

VideoJAM 是一种用于增强视频生成模型运动连贯性的框架。

VideoJAM 是一种创新的视频生成框架，旨在通过联合外观 - 运动表示来提升视频生成模型的运动连贯性和视觉质量。该技术通过引入内指导机制（Inner-Guidance），利用模型自身预测的运动信号动态引导视频生成，从而在生成复杂运动类型时表现出色。VideoJAM 的主要优点是能够显著提高视频生成的连贯性，同时保持高质量的视觉效果，且无需对训练数据或模型架构进行大规模修改，即可应用于任何视频生成模型。该技术在视频生成领域具有重要的应用前景，尤其是在需要高度运动连贯性的场景中。

高保真几何渲染

这款产品是一种3D GAN技术，通过学习基于神经体积渲染的方法，能够以前所未有的细节解析细粒度的3D几何。产品采用学习型采样器，加速3D GAN训练，使用更少的深度采样，实现在训练和推断过程中直接渲染完整分辨率图像的每个像素，同时学习高质量的表面几何，合成高分辨率3D几何和严格视角一致的图像。产品在FFHQ和AFHQ上展示了最先进的3D几何质量，为3D GAN中的无监督学习建立了新的标准。

AI视频编辑工具

FilmBase是一款AI视频编辑工具，它可以帮助用户自动删除视频中的沉默和填充词，让视频编辑人员能够更专注于创造性的视频编辑工作。FilmBase使用AI技术来检测视频中不需要的部分，并通过转录编辑器让用户能够进行编辑。支持导出到多种视频编辑软件。提供Starter和Plus两种定价计划，适用于个人创作者和内容机构。

编辑您的视频通过编辑文字

Streamlabs Podcast Editor 是一个快速、动态且高效的工具，可帮助您编辑播客和访谈内容。您可以通过编辑文字，将您的视频转换为小段视频片段，并在社交媒体上进行推广。Podcast Editor 提供基于文本的快速播客编辑，添加图像和字幕，自定义视频剪辑等功能。使用 Streamlabs Talk Studio 录制视频，然后使用 Podcast Editor 进行编辑和自定义。优化和跨平台共享您的内容，让您的播客获得更广泛的受众参与度和品牌知名度。

AI视频编辑

Aug X Labs是一个基于人工智能的视频技术和发布创业公司，通过将文字转化为引人入胜、相关和吸引人的视频内容，使视频创作变得简单。我们帮助您将想法转化为引人注目的视觉创作。我们的产品利用先进的自然语言处理和图像处理技术，可以根据用户提供的文字自动生成优质的视频内容。我们的优势是简化视频创作过程，提高视频制作效率，同时降低制作成本。我们的定价策略灵活多样，根据用户的需求和使用情况来定价。我们的产品定位于广大视频创作者、企业和个人用户，帮助他们快速、高效地创建各种类型的视频内容。