4K文本到图像生成的扩散变换器
PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合,用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成,提供了多种功能和优势,如快速体验、用户友好的代码库和多种模型选择。
先进的文本到图像生成系统
Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。
基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。
ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。
文本到图像生成中风格保留的 InstantStyle。
InstantStyle 是一个通用框架,利用两种简单但强大的技术,实现对参考图像中风格和内容的有效分离。其原则包括将内容从图像中分离出来、仅注入到风格块中,并提供样式风格的合成和图像生成等功能。InstantStyle 可以帮助用户在文本到图像生成过程中保持风格,为用户提供更好的生成体验。
提高文本到图像模型中空间一致性的解决方案
SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集,显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练,从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平,同时提高了图像质量评分。
通过 AI 文本生成图像,给你完美适合的创作灵感。
Canva 的 AI 图像生成器应用程序让你随时拥有完美的图像——即使它还不存在。使用"文本到图像"功能,您只需输入文字,就能生成用于创意项目(如演示文稿或社交媒体帖子)的图像。选择不同的图像风格,如水彩、电影、霓虹灯等。您还可以使用 Canva 的其他 AI 生成器应用程序,如 DALL·E 和 Imagen。无论您是内容创作者、企业家还是艺术家,都可以使用这些工具高效创建独特的图像和品牌素材。Canva 提供免费和付费订阅,付费版可以每月生成更多图像。
基于稳定扩散生成高质量动漫风格图像的文本到图像模型
Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。
用于精细文本控制图像生成的空间对齐文本注入
FineControlNet是一个基于Pytorch的官方实现,用于生成可通过空间对齐的文本控制输入(如2D人体姿势)和实例特定的文本描述来控制图像实例的形状和纹理的图像。它可以使用从简单的线条画作为空间输入,到复杂的人体姿势。FineControlNet确保了实例和环境之间自然的交互和视觉协调,同时获得了Stable Diffusion的质量和泛化能力,但具有更多的控制能力。
通过LLM增强语义对齐的扩散模型适配器
ELLA(Efficient Large Language Model Adapter)是一种轻量级方法,可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力,使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器,从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征,有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越,尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。
Muse Pro是一款由AI引导的实时绘画工具,旨在增强艺术家的绘画体验
Muse Pro通过GPT-4 Vision技术提供无与伦比的速度和质量,支持实时AI引导,让艺术家可以使用熟悉的工具和创新的AI释放创造力。它具备文本到图像的功能、随机化创作、细节增强、视觉描述、直观的AI控制滑块、暂停功能以及图层和画笔库等多样化工具。
官方实现的自纠正LLM控制的扩散模型
SLD是一个自纠正的LLM控制的扩散模型框架,它通过集成检测器增强生成模型,以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑,并且与任何图像生成器兼容,如DALL-E 3,无需额外训练或数据。
PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型(Diffusion Transformer)
PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型,相较于前身PixArt-α,它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程,它通过结合更高质量的数据,从“较弱”的基线模型进化到“更强”的模型,这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。
提高文本到图像合成质量的一致性蒸馏技术
TCD是一种用于文本到图像合成的一致性蒸馏技术,它通过轨迹一致性函数(TCF)和策略性随机采样(SSS)来减少合成过程中的错误。TCD在低NFE(噪声自由能量)时显著提高图像质量,并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督,即可在低NFE和高NFE时均保持优越的生成质量。
参数高效微调个性化扩散模型
DiffuseKronA 是一种参数高效的微调方法,用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块,显著降低参数数量,提升图像合成质量。该方法减少了对超参数的敏感性,在不同超参数下生成高质量图像,为文本到图像生成模型领域带来重大进展。
OpenDiT:一款简单、快速、高效的DiT训练和推理系统
OpenDiT是一个开源项目,提供了一个基于Colossal-AI的Diffusion Transformer(DiT)的高性能实现,专为增强DiT应用(包括文本到视频生成和文本到图像生成)的训练和推理效率而设计。OpenDiT通过以下技术提升性能:在GPU上高达80%的加速和50%的内存减少;包括FlashAttention、Fused AdaLN和Fused layernorm核心优化;包括ZeRO、Gemini和DDP的混合并行方法,还有对ema模型进行分片进一步降低内存成本;FastSeq:一种新颖的序列并行方法,特别适用于DiT等工作负载,其中激活大小较大但参数大小较小;单节点序列并行可以节省高达48%的通信成本;突破单个GPU的内存限制,减少整体训练和推理时间;通过少量代码修改获得巨大性能改进;用户无需了解分布式训练的实现细节;完整的文本到图像和文本到视频生成流程;研究人员和工程师可以轻松使用和调整我们的流程到实际应用中,无需修改并行部分;在ImageNet上进行文本到图像训练并发布检查点。
AI图像生成器
Stable Diffusion 是一个深度学习模型,可以从文本描述生成图像。它提供高质量的图像生成,可以根据简单的文本输入创建逼真的图像。它具有快速生成的优势,可以通过修复和扩展图像的大小来添加或替换图像的部分。Stable Diffusion XL是该模型的最新版本,使用更大的UNet骨干网络生成更高质量的图像。您可以免费在Stable Diffusion在线使用这个AI图像生成器。
让每个像素根据指定地图的强度变化
Differential Diffusion是一个图像生成和编辑的平台,可以根据文本提示以及指定每个区域变化量的地图来修改图片。它能够为每个像素或图像区域提供定制化的变化量控制。这种细粒度的变化量控制为各种新的编辑能力打开了大门,例如控制个别对象被修改的程度,或者引入渐变的空间变化等。此外,该平台展示了该框架在图像补全领域的有效性,即在无缝融合新的内容时微调周边区域。它还提供了探索不同变化量效果的新工具。该框架仅在推理时运行,不需要模型训练或微调。展示了它与当前最先进的开源模型的集成效果,并通过定量、定性比较和用户研究进行了验证。
Snap视频:用于文本到视频合成的可扩展空间时间转换器
Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。
© 2024 AIbase 备案号:闽ICP备2023012347号-1