产品库

高分辨率、长时音频驱动的人像图像动画技术

Hallo2是一种基于潜在扩散生成模型的人像图像动画技术，通过音频驱动生成高分辨率、长时的视频。它通过引入多项设计改进，扩展了Hallo的功能，包括生成长时视频、4K分辨率视频，并增加了通过文本提示增强表情控制的能力。Hallo2的主要优点包括高分辨率输出、长时间的稳定性以及通过文本提示增强的控制性，这使得它在生成丰富多样的肖像动画内容方面具有显著优势。

生成逼真动态人像视频的先进技术

EchoMimic是一个先进的人像图像动画模型，能够通过音频和选定的面部特征点单独或组合驱动生成逼真的肖像视频。它通过新颖的训练策略，解决了传统方法在音频驱动时可能的不稳定性以及面部关键点驱动可能导致的不自然结果。EchoMimic在多个公共数据集和自收集数据集上进行了全面比较，并在定量和定性评估中展现出了卓越的性能。

高分辨率文本到图像合成模型

Meissonic是一个非自回归的掩码图像建模文本到图像合成模型，能够生成高分辨率的图像。它被设计为可以在消费级显卡上运行。这项技术的重要性在于其能够利用现有的硬件资源，为用户带来高质量的图像生成体验，同时保持了较高的运行效率。Meissonic的背景信息包括其在arXiv上发表的论文，以及在Hugging Face上的模型和代码。

基于AI的快速在线制作证件照工具

photo4you是一个基于人工智能技术的在线证件照制作网站，用户无需下载或安装任何软件即可轻松创建证件照片。该网站支持多种标准尺寸，适用于护照、签证、驾照等官方文件。它通过智能背景移除功能，自动去除照片背景，确保证件照具有清晰、专业的外观。用户可以立即下载制作好的证件照，节省了时间和麻烦。photo4you提供高分辨率的输出，适合打印或数字提交。

基于级联扩散的文本到图像生成系统

CogView3是一个基于级联扩散的文本到图像生成系统，使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段，并通过中继超分辨率过程，在低分辨率生成结果上添加高斯噪声，从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL，具有更快的生成速度和更高的图像质量。

高分辨率视频外延与内容生成技术

Follow-Your-Canvas 是一种基于扩散模型的视频外延技术，它能够生成高分辨率的视频内容。该技术通过分布式处理和空间窗口合并，解决了GPU内存限制问题，同时保持了视频的空间和时间一致性。它在大规模视频外延方面表现出色，能够将视频分辨率显著提升，如从512 X 512扩展到1152 X 2048，同时生成高质量和视觉上令人愉悦的结果。

Loopy，仅凭音频驱动肖像头像，实现逼真动态。

Loopy是一个端到端的音频驱动视频扩散模型，专门设计了跨剪辑和内部剪辑的时间模块以及音频到潜在表示模块，使模型能够利用数据中的长期运动信息来学习自然运动模式，并提高音频与肖像运动的相关性。这种方法消除了现有方法中手动指定的空间运动模板的需求，实现了在各种场景下更逼真、高质量的结果。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

高效的人像动画工具，具备拼接和重定向控制功能。

LivePortrait是一个用于人像动画的高效工具，它通过拼接和重定向控制技术，能够将静态图片转化为生动的动画。这项技术在图像处理和动画制作领域具有重要意义，可以大幅度提升动画制作的效率和质量。产品背景信息显示，它是由shadowcz007开发，并且与comfyui-mixlab-nodes配合使用，可以更好地实现人像动画效果。

高效的人像动画生成工具

LivePortrait是一个基于隐式关键点框架的人像动画生成模型，它通过使用单一源图像作为外观参考，并从驱动视频、音频、文本或生成中获取动作（如面部表情和头部姿势），来合成逼真的视频。该模型不仅在计算效率和可控性之间取得了有效平衡，而且通过扩展训练数据、采用混合图像-视频训练策略、升级网络架构以及设计更好的运动转换和优化目标，显著提高了生成质量和泛化能力。

自由风格人像动画框架

Follow-Your-Emoji是一个基于扩散模型的人像动画框架，能够将目标表情序列动画化到参考人像上，同时保持人像身份的一致性、表情的传递、时间的连贯性和保真度。它通过采用表情感知标志和面部细粒度损失技术，显著提升了模型在控制自由风格人像表情方面的表现，包括真实人物、卡通、雕塑甚至动物。此外，它还通过简单有效的逐步生成策略，扩展到稳定的长期动画，增加了其潜在的应用价值。

生成无限长度视频的文本条件视频生成技术

FIFO-Diffusion是一种基于预训练扩散模型的新颖推理技术，用于文本条件视频生成。它能够无需训练生成无限长的视频，通过迭代执行对角去噪，同时处理队列中一系列连续帧的逐渐增加的噪声水平；该方法在头部出队一个完全去噪的帧，同时在尾部入队一个新的随机噪声帧。此外，引入了潜在分割来减少训练推理差距，并通过前瞻去噪来利用前向引用的好处。

基于SDXL的ControlNet Tile模型，适用于Stable Diffusion SDXL ControlNet的高分辨率图像修复。

这是一个基于SDXL的ControlNet Tile模型,使用Hugging Face Diffusers训练集,适用于Stable Diffusion SDXL ControlNet。它最初是为我自己的逼真模型训练,用于终极放大过程以提高图像细节。使用合适的工作流程,它可以为高细节、高分辨率的图像修复提供良好的结果。由于大多数开源没有SDXL Tile模型,我决定分享这个模型。该模型支持高分辨率修复、风格迁移和图像修复等功能,可以为你提供高质量的图像处理体验。

生成会说话、唱歌的动态视频

AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。

高分辨率多模态感知 LVLM

Griffon 是第一个具有本地化能力的高分辨率（超过1K）LVLM，可以描述您感兴趣的区域中的所有内容。在最新版本中，Griffon 支持视觉语言共指。您可以输入图像或一些描述。Griffon 在 REC、目标检测、目标计数、视觉/短语定位和 REG 方面表现出色。定价：免费试用。

PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型（Diffusion Transformer）

PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型，相较于前身PixArt-α，它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程，它通过结合更高质量的数据，从“较弱”的基线模型进化到“更强”的模型，这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。

AI图片放大增强

ClarityAI.cc是一款高分辨率图片放大增强工具，采用最新的AI技术，可增强图片细节并提供超高分辨率。适用于风景、肖像、插图、动漫、室内设计等各种场景。提供免费选项。

一步生成高分辨率图像

SDXL-Lightning是字节跳动开发的图像生成模型,能够在一步或少步骤内生成高达1024像素分辨率的高质量图像。该模型通过渐进式对抗式蒸馏,显著提升了图像生成速度,使其可应用于需要快速响应的场景。模型已开源,支持兼容LoRA模块和其他控制插件,可广泛用于文本到图像生成任务。

高分辨率3D内容生成的多视图高斯模型

LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。

准确的3D编辑器，支持文本和图像提示

TIP-Editor是一款准确的3D编辑器，支持文本和图像提示，用户可以通过文本和图像提示以及3D边界框来精确控制编辑区域的外观和位置。采用逐步的2D个性化策略来更好地学习现有场景和参考图像的表示，通过本地编辑来实现精确的外观控制。TIPEditor利用明确灵活的3D高斯飞溅作为3D表示，以便在保持背景不变的同时进行局部编辑。经过大量实验证明，TIP-Editor在指定边界框区域内根据文本和图像提示进行准确编辑，编辑质量和与提示的对齐性在定性和定量上均优于基线。

基于图像扩散模型的得分蒸馏采样方法

Score Distillation Sampling（SDS）是一种新近但已经广泛流行的方法，依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析，确定了其制定中的固有问题，并提出了一个出人意料但有效的修复方法。具体而言，我们将损失分解为不同因素，并分离出产生噪声梯度的组件。在原始制定中，使用高文本指导来账户噪声，导致了不良副作用。相反，我们训练了一个浅层网络，模拟图像扩散模型的时间步相关去噪不足，以有效地将其分解出来。我们通过多个定性和定量实验（包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成）展示了我们新颖损失制定的多功能性和有效性。

高分辨率图像生成的无门槛解决方案

DemoFusion 是一款无需高额费用的高分辨率图像生成解决方案。通过使用渐进式升采样、跳跃残差和扩张采样等机制，DemoFusion 扩展了开源生成人工智能模型，实现了更高分辨率的图像生成。它具有简单易用的特点，无需调整参数和大量内存，适用于广泛的用户群体。DemoFusion 可以与其他基于潜在扩散模型的应用程序无缝集成，实现可控的高分辨率图像生成。

生成逼真、唇同步的说唱视频

VividTalk是一种一次性音频驱动的头像生成技术，基于3D混合先验。它能够生成具有表情丰富、自然头部姿态和唇同步的逼真说唱视频。该技术采用了两阶段通用框架，支持生成具有上述所有特性的高视觉质量的说唱视频。具体来说，在第一阶段，通过学习两种运动（非刚性表情运动和刚性头部运动），将音频映射到网格。对于表情运动，采用混合形状和顶点作为中间表示，以最大化模型的表征能力。对于自然头部运动，提出了一种新颖的可学习头部姿势码本，并采用两阶段训练机制。在第二阶段，提出了一个双分支运动VAE和一个生成器，将网格转换为密集运动，并逐帧合成高质量视频。大量实验证明，VividTalk能够生成具有唇同步和逼真增强的高视觉质量说唱视频，且在客观和主观比较中优于以往的最先进作品。该技术的代码将在发表后公开发布。

高分辨率图像合成

luosiallen/latent-consistency-model 是一个用于合成高分辨率图像的模型。它使用少量的推理步骤来生成具有良好一致性的图像。该模型支持自定义的输入提示和参数调整，可生成逼真的艺术品、人像等图像。

音频驱动的视频编辑，实现高质量唇形同步

VideoReTalking是一个新的系统，可以根据输入的音频编辑真实世界的说话头部视频的面部，产生高质量的唇形同步输出视频，即使情感不同。该系统将此目标分解为三个连续的任务：（1）使用表情编辑网络生成带有规范表情的面部视频；（2）音频驱动的唇形同步；（3）用于提高照片逼真度的面部增强。给定一个说话头部视频，我们首先使用表情编辑网络根据相同的表情模板修改每个帧的表情，从而得到具有规范表情的视频。然后将该视频与给定的音频一起输入到唇形同步网络中，生成唇形同步视频。最后，我们通过一个身份感知的面部增强网络和后处理来提高合成面部的照片逼真度。我们对所有三个步骤使用基于学习的方法，所有模块都可以在顺序管道中处理，无需任何用户干预。

生成逼真的人类图像

HyperHuman是一个生成逼真的人类图像的模型。该模型通过捕捉人类图像的结构性特征，从粗略的身体骨架到细粒度的空间几何形状，生成具有连贯性和自然性的人类图像。HyperHuman包括三个部分：1）构建一个大规模的人类数据集HumanVerse，其中包含340M张图像和全面的注释，如人体姿势、深度和表面法线；2）提出一个潜在结构扩散模型，该模型同时去噪深度、表面法线和合成的RGB图像。我们的模型在一个统一的网络中强制学习图像外观、空间关系和几何形状，模型中的每个分支都具有结构感知性和纹理丰富性；3）最后，为了进一步提高视觉质量，我们提出了一个结构引导的细化器，用于更详细的高分辨率生成。大量实验证明，我们的模型在各种场景下生成了具有高真实感和多样性的人类图像，达到了最先进的性能。

免费高分辨率AI生成的库存图片

CGFaces是一个提供免费高分辨率AI生成的库存图片的网站。它提供了各种各样的图片，包括人物、动物、食物、自然等。用户可以通过搜索或浏览所有图片来找到自己需要的图片。所有图片都可以免费下载和使用，无需注册。CGFaces的优势在于它提供了高质量的图片，而且完全免费。

图像转换为文本提示的AI工具

ImageToPromptAI是一个AI工具，可以将图像转换为文本提示。用户可以上传图像并创建一系列文本提示，AI会根据图像生成相应的文本描述。该工具可以用于稳定扩散，生成可比较的图像/绘画变化。用户可以根据自己的需求选择不同的套餐，无需订阅。

升级和恢复旧照片，生成高分辨率图形

Mimiko是一款应用，可以升级和恢复旧照片，根据您的输入操作图像，生成高分辨率图形。它还可以删除图片背景，从详细描述中生成图形，并从图像的特定方面获得答案。Mimiko提供了未来会有更多功能的承诺。