图像序列着色模型,保留细粒度身份信息
ColorFlow是一个为图像序列着色而设计的模型,特别注重在着色过程中保留角色和对象的身份信息。该模型利用上下文信息,能够根据参考图像池为黑白图像序列中的不同元素(如角色的头发和服装)准确生成颜色,并确保与参考图像的颜色一致性。ColorFlow通过三个阶段的扩散模型框架,提出了一种新颖的检索增强着色流程,无需每个身份的微调或显式身份嵌入提取,即可实现具有相关颜色参考的图像着色。ColorFlow的主要优点包括其在保留身份信息的同时,还能提供高质量的着色效果,这对于卡通或漫画系列的着色具有重要的市场价值。
高质量身份保留的人像动画合成工具。
StableAnimator是首个端到端身份保留的视频扩散框架,能够在不进行后处理的情况下合成高质量视频。该技术通过参考图像和一系列姿势进行条件合成,确保了身份一致性。其主要优点在于无需依赖第三方工具,适合需要高质量人像动画的用户。
一种用于增强身份保留文本到图像生成的反馈学习框架
ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架,它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留,并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型,通过广泛的实验验证了其有效性。
一目了然,将任何人插入任何场景
StableIdentity是一个基于大型预训练文本到图像模型的最新进展,能够实现高质量的以人为中心的生成。与现有方法不同的是,StableIdentity能够确保稳定的身份保留和灵活的可编辑性,即使在训练过程中只使用了每个主体的一张面部图像。它利用面部编码器和身份先验对输入的面部进行编码,然后将面部表示投射到一个可编辑的先验空间中。通过结合身份先验和可编辑性先验,学习到的身份可以在各种上下文中注入。此外,StableIdentity还设计了一个掩蔽的两阶段扩散损失,以提升对输入面部的像素级感知,并保持生成的多样性。大量实验证明,StableIdentity的性能优于以往的定制方法。学习到的身份还可以灵活地与ControlNet等现成模块结合使用。值得注意的是,我们是首个能够直接将从单张图像学习到的身份注入到视频/3D生成中而无需微调的方法。我们相信,StableIdentity是统一图像、视频和3D定制生成模型的重要一步。
© 2025 AIbase 备案号:闽ICP备08105208号-14