需求人群:
"AuraFlow适用于需要生成高质量图像的设计师、艺术家和研究人员。无论是进行艺术创作还是科学研究,用户都可以通过简单的文本提示来生成所需的图像,极大地提高了图像创作的效率和多样性。"
使用场景示例:
设计师使用AuraFlow根据文本描述生成产品宣传图
艺术家利用AuraFlow创作具有特定主题的视觉艺术作品
研究人员使用AuraFlow生成数据集进行图像识别算法训练
产品特色:
基于文本描述生成高分辨率图像
支持在特定硬件上运行,如CUDA
提供多种参数设置以调整生成图像的细节
使用torch.Generator进行随机性控制
支持高保真度和超现实感的图像生成
模型仍在开发中,持续集成社区反馈进行优化
使用教程:
安装必要的依赖库,如diffusers和torch
从预训练模型库中加载AuraFlowPipeline
设置生成图像的参数,如尺寸、推理步骤数等
定义文本提示,描述希望生成的图像内容
调用pipeline生成图像,并获取结果
浏览量:159
开源的基于流的文本到图像生成模型
AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型,它在GenEval上达到了最先进的结果。目前模型处于beta阶段,正在不断改进中,社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实,以及为该项目奠定基础的研究人员。
一种先进的文本到图像的生成模型。
FLUX.1-dev-Controlnet-Union-alpha是一个文本到图像的生成模型,属于Diffusers系列,使用ControlNet技术进行控制。目前发布的是alpha版本,尚未完全训练完成,但已经展示了其代码的有效性。该模型旨在通过开源社区的快速成长,推动Flux生态系统的发展。尽管完全训练的Union模型可能在特定领域如姿势控制上不如专业模型,但随着训练的进展,其性能将不断提升。
基于潜在扩散模型的大规模文本到图像生成模型
Kolors是由快手Kolors团队开发的大规模文本到图像生成模型,基于潜在扩散模型,训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面,均优于开源和闭源模型。Kolors支持中英文输入,尤其在理解及生成中文特定内容方面表现突出。
内容风格合成在文本到图像生成中的应用
CSGO是一个基于内容风格合成的文本到图像生成模型,它通过一个数据构建管道生成并自动清洗风格化数据三元组,构建了首个大规模的风格迁移数据集IMAGStyle,包含210k图像三元组。CSGO模型采用端到端训练,明确解耦内容和风格特征,通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成,具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。
开源文本到图像生成模型
AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比,该模型经过了更多的计算训练,并在美学数据集上进行了微调,支持各种宽高比,宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果,目前处于beta测试阶段,正在不断改进中,社区反馈非常重要。
创造独特的半插图半照片图像。
half_illustration是一个基于Flux Dev 1模型的文本到图像生成模型,能够结合摄影和插图元素,创造出具有艺术感的图像。该模型使用了LoRA技术,可以通过特定的触发词来保持风格一致性,适合用于艺术创作和设计领域。
开源AI图像生成器,功能强大且免费。
Flux Image Generator是一个开源的AI图像生成器,它利用大型神经网络Flux,能够根据文本生成图像。Flux是近年来最大的开源项目之一,其神经网络模型大小大约为4到5GB。除了生成图像,该工具还支持对图像进行编辑,例如填充缺失部分或根据文本指令生成图像的无限变体。尽管AI技术在绘图方面表现出色,但它们并不是在当前意义上具有意识的,它们只是复杂的数学算法。
基于FLUX.1-dev模型的LoRA文本到图像生成技术。
flux-RealismLora是由XLabs AI团队发布的基于FLUX.1-dev模型的LoRA技术,用于生成逼真的图像。该技术通过文本提示生成图像,支持多种风格,如动画风格、幻想风格和自然电影风格。XLabs AI提供了训练脚本和配置文件,以方便用户进行模型训练和使用。
基于ControlNet的文本到图像生成模型
flux-controlnet-canny是由XLabs AI团队开发的基于FLUX.1-dev模型的ControlNet Canny模型,用于文本到图像的生成。该模型通过训练,能够根据文本提示生成高质量的图像,广泛应用于创意设计和视觉艺术领域。
12亿参数的图像生成模型
FLUX.1 [schnell] 是一个具有12亿参数的修正流变换器,能够从文本描述生成图像。它以其尖端的输出质量和竞争性的提示跟随能力而著称,与闭源替代品的性能相匹配。该模型使用潜在对抗性扩散蒸馏进行训练,能够在1到4步内生成高质量的图像。FLUX.1 [schnell] 在apache-2.0许可证下发布,可以用于个人、科学和商业目的。
12亿参数的文本到图像生成模型
FLUX.1-dev是一个拥有12亿参数的修正流变换器,能够根据文本描述生成图像。它代表了文本到图像生成技术的最新发展,具有先进的输出质量,仅次于其专业版模型FLUX.1 [pro]。该模型通过指导蒸馏训练,提高了效率,并且开放权重以推动新的科学研究,并赋予艺术家开发创新工作流程的能力。生成的输出可以用于个人、科学和商业目的,具体如flux-1-dev-non-commercial-license所述。
ViPer是一种个性化方法,通过要求用户对几张图片发表评论,解释他们的喜好和不喜好,提取个人偏好。这些偏好指导文本到图像模型生成符合个人口味的图像。
ViPer是一种个性化生成模型,可以根据用户的视觉偏好生成符合个人口味的图像。该模型使用了稳定扩散XL技术,可以在保持图像质量的同时实现个性化生成。ViPer的主要优点是可以为用户提供个性化的图像生成服务,满足用户的个性化需求。
创意生成AI工具
Adobe Firefly Vector AI是Adobe推出的一系列创意生成AI模型,旨在通过生成AI功能增强创意工作。Firefly模型和服务于Photoshop、Illustrator、Lightroom等Adobe创意应用中。它通过文本到图像、生成填充、生成扩展等功能,帮助用户以前所未有的控制力和创造力生成丰富、逼真的图像和艺术作品。Firefly的训练数据包括Adobe Stock的授权内容、公开许可内容和公共领域内容,确保其商业使用安全。Adobe致力于负责任地开发生成AI,并通过与创意社区的紧密合作,不断改进技术,支持和提升创意过程。
全能型图像生成与编辑模型
ControlNet++是一种基于ControlNet架构的新型网络设计,支持10多种控制类型,用于条件文本到图像的生成,并能生成与midjourney视觉可比的高分辨率图像。它通过两个新模块扩展了原有ControlNet,支持使用相同网络参数的不同图像条件,并支持多条件输入而不增加计算负担。该模型已开源,旨在让更多人享受图像生成与编辑的便利。
复古风格卡通模型,融合动漫与北欧卡通元素。
Midsommar Cartoon是一款将复古风格与动漫元素结合的图像生成模型。它基于stable-diffusion技术,通过文本到图像的转换,能够生成具有北欧卡通特色的插画。该模型支持在Inference API上加载,使用户能够轻松地将文本描述转化为视觉图像。
AI内容生成研究组织
InstantX是一个专注于AI内容生成的独立研究组织,致力于文本到图像的生成技术。其研究项目包括风格保持的文本到图像生成(InstantStyle)和零样本身份保持生成(InstantID)。该组织通过GitHub社区进行项目更新和交流,推动AI在图像生成领域的应用和发展。
快速个性化文本到图像模型
HyperDreamBooth是由Google Research开发的一种超网络,用于快速个性化文本到图像模型。它通过从单张人脸图像生成一组小型的个性化权重,结合快速微调,能够在多种上下文和风格中生成具有高主题细节的人脸图像,同时保持模型对多样化风格和语义修改的关键知识。
生成卡通插值研究论文
ToonCrafter是一个开源的研究项目,专注于使用预训练的图像到视频扩散先验来插值两张卡通图像。该项目旨在积极影响AI驱动的视频生成领域,为用户提供创造视频的自由,但要求用户遵守当地法律并负责任地使用。
一种新的文本条件高分辨率生成模型
Phased Consistency Model(PCM)是一种新型的生成模型,旨在解决Latent Consistency Model(LCM)在文本条件高分辨率生成中的局限性。PCM通过创新的策略在训练和推理阶段提高了生成质量,并通过广泛的实验验证了其在不同步骤(1步、2步、4步、8步、16步)下与Stable Diffusion和Stable Diffusion XL基础模型的结合效果。
高效能的文本到图像生成模型
SDXL Flash是由SD社区与Project Fluently合作推出的文本到图像生成模型。它在保持生成图像质量的同时,提供了比LCM、Turbo、Lightning和Hyper更快的处理速度。该模型基于Stable Diffusion XL技术,通过优化步骤和CFG(Guidance)参数,实现了图像生成的高效率和高质量。
一个统一的文本到任意模态生成框架
Lumina-T2X是一个先进的文本到任意模态生成框架,它能够将文本描述转换为生动的图像、动态视频、详细的多视图3D图像和合成语音。该框架采用基于流的大型扩散变换器(Flag-DiT),支持高达7亿参数,并能扩展序列长度至128,000个标记。Lumina-T2X集成了图像、视频、3D对象的多视图和语音频谱图到一个时空潜在标记空间中,可以生成任何分辨率、宽高比和时长的输出。
自托管的开源OpenAI替代品,支持文本、音频、图像生成
LocalAI 是一个自托管的开源 OpenAI 替代品,可在消费级硬件上运行,支持本地或本地部署的文本、音频、图像生成。它提供了 GPT 等模型的文本生成功能,同时支持文本转语音、图像生成等多种功能。由于其开源自托管的特性,用户可以自由定制和部署,不受云端 API 限制,适合对数据隐私和安全性有要求的用户。LocalAI 的定位是为那些寻求自主控制、不依赖于第三方服务的个人用户或组织提供强大的 AI 生成能力。
先进的文本到图像生成系统
Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。
基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。
ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。
文本到图像生成中风格保留的 InstantStyle。
InstantStyle 是一个通用框架,利用两种简单但强大的技术,实现对参考图像中风格和内容的有效分离。其原则包括将内容从图像中分离出来、仅注入到风格块中,并提供样式风格的合成和图像生成等功能。InstantStyle 可以帮助用户在文本到图像生成过程中保持风格,为用户提供更好的生成体验。
用于精细文本控制图像生成的空间对齐文本注入
FineControlNet是一个基于Pytorch的官方实现,用于生成可通过空间对齐的文本控制输入(如2D人体姿势)和实例特定的文本描述来控制图像实例的形状和纹理的图像。它可以使用从简单的线条画作为空间输入,到复杂的人体姿势。FineControlNet确保了实例和环境之间自然的交互和视觉协调,同时获得了Stable Diffusion的质量和泛化能力,但具有更多的控制能力。
官方实现的自纠正LLM控制的扩散模型
SLD是一个自纠正的LLM控制的扩散模型框架,它通过集成检测器增强生成模型,以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑,并且与任何图像生成器兼容,如DALL-E 3,无需额外训练或数据。
PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型(Diffusion Transformer)
PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型,相较于前身PixArt-α,它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程,它通过结合更高质量的数据,从“较弱”的基线模型进化到“更强”的模型,这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。
© 2024 AIbase 备案号:闽ICP备08105208号-14