产品库

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

快速并行化视频到视频的AI合成

Fairy是一个针对视频编辑应用的简约但强大的图像编辑扩散模型的适应。它的核心是基于锚的跨帧注意机制，这种机制隐式地在帧之间传播扩散特征，确保了更好的时间连贯性和高保真度合成。Fairy不仅解决了以前模型的内存和处理速度限制，还通过独特的数据增强策略改善了时间一致性。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

提升文本到图像生成的可控性

ControlNet++是一种新型的文本到图像扩散模型，通过显式优化生成图像与条件控制之间的像素级循环一致性，显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件，并优化输入条件控制与提取条件之间的一致性损失。此外，ControlNet++引入了一种高效的奖励策略，通过向输入图像中添加噪声来扰动图像，然后使用单步去噪图像进行奖励微调，避免了与图像采样相关的大量时间和内存成本。

训练免费高分辨率图像合成的频率视角

FouriScale从频域分析的角度探讨从预先训练的扩散模型生成高分辨率图像，通过创新的、无需训练的方法，通过将预先训练的扩散模型中的原始卷积层替换为结合膨胀技术和低通操作的方法，通过填充然后裁剪策略进一步增强，实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，该方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量生成的惊人能力。通过其简单性和兼容性，该方法可以为未来对超高分辨率图像合成的探索提供有价值的见解。

通过文本指令自动生成和动画化卡通人物的3D纹理

Make-It-Vivid是一种创新的模型,能够根据文本指令自动生成和动画化卡通人物的3D纹理。它解决了传统方式制作3D卡通角色纹理的挑战,提供了高效、灵活的解决方案。该模型通过预训练的文本到图像扩散模型生成高质量的UV纹理图,并引入对抗性训练来增强细节。它可以根据不同的文本prompt生成各种风格的角色纹理,并将其应用到3D模型上进行动画制作,为动画、游戏等领域提供了便利的创作工具。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

稳定扩散：距离快速多样的文本生成3D仅一步之遥

HexaGen3D是一种用于从文本提示生成高质量3D资产的创新方法。它利用大型预训练的2D扩散模型，通过微调预训练的文本到图像模型来联合预测6个正交投影和相应的潜在三面体，然后解码这些潜在值以生成纹理网格。HexaGen3D不需要每个样本的优化，可在7秒内从文本提示中推断出高质量且多样化的对象，相较于现有方法，提供了更好的质量与延迟权衡。此外，HexaGen3D对于新对象或组合具有很强的泛化能力。

秒速零拍照生成身份保留

InstantID是一种基于强大扩散模型的解决方案，能够在各种风格下使用单张面部图像进行图像个性化处理，同时确保高保真度。我们设计了一个新颖的IdentityNet，通过施加强大的语义和弱空间条件，将面部和地标图像与文本提示集成，引导图像生成。InstantID在实际应用中表现出色，并且能够与流行的预训练文本到图像扩散模型（如SD1.5和SDXL）无缝集成，作为一个可适配的插件。我们的代码和预训练检查点将在此URL上提供。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

文本兼容图像提示适配器，用于文本到图像扩散模型。

IP-Adapter是一款轻量级的适配器，可为预训练的文本到图像扩散模型实现图像提示功能。其关键设计是解耦的交叉注意力机制，可将文本特征和图像特征的交叉注意力层分离。IP-Adapter不仅可以与现有的可控工具兼容，还可以与文本提示一起实现多模态图像生成。与其他现有方法相比，IP-Adapter不仅在图像质量方面表现更好，而且可以生成更符合多模态提示的图像。

只有这个真正有效的AI产品照片生成器，使用AI为产品图片添加背景，秒速生成能卖出的AI产品图片

AI产品照片生成器是一个能够在几秒钟内生成增加销售的产品图片和照片的工具。它可以将产品图片转化为专业的产品照片，提高销售效果。使用这个工具，您可以添加AI背景，避免标签模糊或形状变化的问题。我们的AI照片生成器采用了全新的文本到图像扩散模型，专门为销售进行了训练和优化。您可以从Shopify中直接生成照片，并将其与我们的视频模板配合使用。生成的产品图片可以免费使用，并且您只需要为您真正喜欢的图片付费。

基于2D扩散的文本到3D生成

DreamFusion是一款基于预训练的2D文本到图像扩散模型，用于生成高保真度的、可调光的3D对象。它通过使用梯度下降优化随机初始化的3D模型（Neural Radiance Field）来生成3D对象，并且可以从任意角度观察、任意照明重新照亮或与任何3D环境合成。DreamFusion不需要3D训练数据，也不需要对图像扩散模型进行修改，展示了预训练图像扩散模型作为先验的有效性。

将任何文本、文章或故事快速转化为视频

Tellers是一个AI驱动的视频编辑平台，它允许用户将书面内容快速转化为视频，无需视频编辑专业知识。该平台通过使用机器学习和信号处理算法，为用户提供了一种创新和实用的方式来扩展内容的覆盖范围，提高SEO排名，触及新的社区，并提高内容的可访问性。Tellers还提供了商业版，支持企业整合和定制化服务，满足数据隐私和内部软件集成的需求。

专业视频编辑软件，提升工作流效率。

Final Cut Pro 是 Apple 推出的专业视频编辑软件，适用于 iPad 和 Mac 设备。最新版本利用了 M4 芯片的强大性能，提供了更快的渲染速度和对 ProRes RAW 视频流的增强支持。新增的 AI 功能，包括“优化光线和颜色”和“流畅慢动作”，以及改进的素材管理工具，极大地提升了视频编辑的效率和质量。

革命性深度学习工具，用于面部转换和视频生成。

DeepFuze是与ComfyUI无缝集成的先进深度学习工具，用于革新面部转换、lipsyncing、视频生成、声音克隆和lipsync翻译。利用先进的算法，DeepFuze使用户能够以无与伦比的真实性结合音频和视频，确保完美的面部动作同步。这一创新解决方案非常适合内容创作者、动画师、开发者以及任何希望以先进的AI驱动功能提升其视频编辑项目的人士。

将文本转换为声音效果的API。

ElevenLabs Texts to Sounds Effects API是一个编程接口，允许开发者将文本转换为相应的声音效果，适用于视频编辑、游戏开发等多种场景。该API是开源的，可在GitHub上找到代码，便于开发者进行个性化定制和二次开发。

一站式AI视频编辑器，为社交媒体视频创作而生。

CoCoClip.AI是一个专注于社交媒体视频内容创作的AI视频编辑器，提供多种视频生成模板和编辑工具，助力用户快速制作适合YouTube Shorts、TikTok和Instagram Reels的视频内容。它利用先进的AI技术，简化视频制作流程，提高内容的吸引力和传播力，帮助创作者在社交媒体上获得更高的关注度和收益。

快速制作社交媒体短视频。

Latercut是一个专注于短视频制作的在线平台，支持快速剪辑和发布到各大社交媒体平台。它利用AI模板技术，简化视频编辑流程，帮助用户节省时间，提高内容创作效率。

视频制作新标杆，AI助力视频编辑。

Detail是一款专为iPad设计的APP，适用于TikTok爱好者、播客创作者和Instagram影响者。它集成了强大的视频编辑器、便捷的提词器、智能字幕和尖端的摄像技术，通过AI驱动的编辑功能和即时视频预设，使创建惊人视频变得快速而简单。

快手官方视频剪辑神器，创作有趣的视频

快影是快手官方推出的视频剪辑应用，提供全面的视频编辑功能，包括剪辑、音频、字幕、特效等，旨在帮助用户轻松创作出有趣且专业的视频内容。它具备AI动漫视频功能，能够将视频转化为动漫风格，提供多种风格选择，如动漫风、国潮风、日漫风等。此外，快影还拥有AI创作工具，如AI绘画、AI文生图、AI文案库，以辅助用户进行创作。快影还提供创作中心，帮助用户查看数据、寻找灵感，以及提供强大的素材库，包括贴纸、热梗等，以提升用户的网感。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

视频重制，精确控制内容与运动

ReVideo是一个创新的视频编辑技术，它允许用户在特定区域进行精确的视频编辑，通过指定内容和运动来实现。这项技术通过修改第一帧来实现内容编辑，而基于轨迹的运动控制提供了直观的用户交互体验。ReVideo解决了内容和运动控制之间耦合和训练不平衡的新任务。通过开发三阶段训练策略，逐步从粗到细解耦这两方面，并提出一种时空自适应融合模块，以在不同的采样步骤和空间位置整合内容和运动控制。

实时视频生成与增强工具

KREA Video 是一款在线视频生成和增强工具，它利用先进的人工智能技术，为用户提供实时视频生成和编辑功能。它允许用户上传图片或文本提示，生成具有动画效果的视频，并且可以调整视频的时长和关键帧。KREA Video 的主要优点是操作简便，用户界面友好，能够快速生成高质量的视频内容，适用于内容创作者、广告制作者和视频编辑专业人士。