需求人群:
"目标受众主要是需要生成高质量图像的用户,包括设计师、艺术家、内容创作者以及研究人员。ComfyGen 通过自动化工作流的生成,减少了用户在构建有效工作流时所需的专业知识,使得即使是非专业人士也能够轻松地生成高质量的图像。"
使用场景示例:
设计师使用ComfyGen根据文本提示生成具有特定风格的图像
内容创作者利用ComfyGen生成与文章主题相匹配的图像
研究人员在进行图像生成研究时,使用ComfyGen来测试不同工作流的效果
产品特色:
基于用户提示自动生成定制化的工作流
结合了精细调整的基础模型、LoRAs、嵌入、超分辨率步骤、提示细化器等多种组件
使用LLM(大型语言模型)来预测与提示最匹配的工作流
通过收集人类创建的工作流并随机交换参数来训练模型
使用500个提示生成图像,并使用审美和人类偏好预测器评分
提供上下文方法和微调方法两种LLM基础方法来处理任务
在人类偏好指标和提示对齐基准测试中超越了单体模型和固定工作流
使用教程:
1. 访问ComfyGen的网站
2. 阅读TL;DR部分快速了解产品的主要功能
3. 查看'How does it work?'部分了解ComfyGen的工作流程
4. 浏览'Comparisons'部分,了解ComfyGen与其他方法的比较
5. 如果需要,查看'BibTeX'部分获取引用信息
6. 根据个人需求,使用ComfyGen生成图像
浏览量:8
文本到图像生成的自适应工作流
ComfyGen 是一个专注于文本到图像生成的自适应工作流系统,它通过学习用户提示来自动化并定制有效的工作流。这项技术的出现,标志着从使用单一模型到结合多个专业组件的复杂工作流的转变,旨在提高图像生成的质量。ComfyGen 背后的主要优点是能够根据用户的文本提示自动调整工作流,以生成更高质量的图像,这对于需要生成特定风格或主题图像的用户来说非常重要。
生成融合宫崎骏风格和新海诚氛围的梦幻风景图
Flux Ghibsky Illustration 是一个基于文本生成图像的模型,它结合了宫崎骏动画工作室的奇幻细节和新海诚作品中的宁静天空,创造出迷人的场景。该模型特别适合创造梦幻般的视觉效果,用户可以通过特定的触发词来生成具有独特审美的图像。它是基于Hugging Face平台的开源项目,允许用户下载模型并在Replicate上运行。
突破大型语言模型限制的自动化框架
AutoDAN-Turbo是一个自动化的、无需人为干预的框架,旨在自动发现并实施多种策略,以突破大型语言模型(LLMs)的限制。该框架能够自动开发出多样的攻击策略,显著提高了攻击成功率,并且可以作为一个统一的框架整合现有的人为设计的越狱策略。AutoDAN-Turbo的重要性在于其能够提升LLMs在对抗环境中的安全性和可靠性,为红队评估工具提供了一种新的自动化方法。
基于FLUX.1-dev模型的8步蒸馏Lora,用于文本到图像生成。
FLUX.1-Turbo-Alpha是一个基于FLUX.1-dev模型的8步蒸馏Lora,由AlimamaCreative Team发布。该模型使用多头鉴别器来提高蒸馏质量,可以用于文本到图像(T2I)、修复控制网络等FLUX相关模型。推荐使用指导比例为3.5,Lora比例为1。该模型在1M开源和内部源图像上进行训练,采用对抗性训练提高质量,固定原始FLUX.1-dev变换器作为鉴别器主干,并在每层变换器上添加多头。
一键式创意图像生成模型
FLUX.1-dev-LoRA-One-Click-Creative-Template 是一个基于 LoRA 训练的图像生成模型,由 Shakker-Labs 提供。该模型专注于创意照片生成,能够将用户的文本提示转化为具有创意性的图像。模型使用了先进的文本到图像的生成技术,特别适合需要快速生成高质量图像的用户。它是基于 Hugging Face 平台,可以方便地进行部署和使用。模型的非商业使用是免费的,但商业使用需要遵守相应的许可协议。
最先进的图像生成模型
FLUX1.1 [pro] 是 Black Forest Labs 发布的最新图像生成模型,它在速度和图像质量上都有显著提升。该模型提供六倍于前代的速度,同时改善了图像质量、提示遵循度和多样性。FLUX1.1 [pro] 还提供了更高级的定制化选项,以及更优的性价比,适合需要高效、高质量图像生成的开发者和企业。
基于级联扩散的文本到图像生成系统
CogView3是一个基于级联扩散的文本到图像生成系统,使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段,并通过中继超分辨率过程,在低分辨率生成结果上添加高斯噪声,从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL,具有更快的生成速度和更高的图像质量。
AI模型测试与文本到图像提示集合平台
Prompt Llama是一个专注于文本到图像生成的AI模型测试平台,它允许用户收集高质量的文本提示,并测试不同模型在同一提示下的表现。该平台支持多种AI模型,包括但不限于midjourney、DALL·E 3、Firefly等,是AI图像生成领域研究者和爱好者的宝贵资源。
AI编程智能体语言,实现LLM与IDE之间的通信以自动化编程。
the Shire是一种AI编程智能体语言,旨在实现大型语言模型(LLM)与集成开发环境(IDE)之间的通信,以支持自动化编程。它起源于AutoDev项目,旨在为开发者提供一个AI驱动的IDE,包括DevIns,Shire的前身。Shire通过提供定制化的AI代理,使用户能够构建符合个人需求的AI驱动开发环境。
免费且快速的提示链生成器
PromptChainer 是一个旨在提高大型语言模型输出质量的工具,通过自动化提示链的生成,帮助用户将复杂任务分解成可管理的小步骤,从而获得更精确和高质量的结果。它特别适合需要多步骤和/或大量上下文和知识的任务。
用于精确控制扩散模型中概念的低秩适配器
Concept Sliders 是一种用于精确控制扩散模型中概念的技术,它通过低秩适配器(LoRA)在预训练模型之上进行应用,允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下,对生成的图像进行细微调整,如眼睛大小、光线等,从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式,同时解决了生成模糊或扭曲图像的问题。
多功能文本到图像扩散模型,生成高质量非真实感图像。
Pony Diffusion V6 XL是一个文本到图像的扩散模型,专门设计用于生成以小马为主题的高质量艺术作品。它在大约80,000张小马图像的数据集上进行了微调,确保生成的图像既相关又美观。该模型采用用户友好的界面,易于使用,并通过CLIP进行美学排名,以提升图像质量。Pony Diffusion在CreativeML OpenRAIL许可证下提供,允许用户自由使用、再分发和修改模型。
一种用于文本到图像扩散模型的概念擦除技术
RECE是一种文本到图像扩散模型的概念擦除技术,它通过在模型训练过程中引入正则化项来实现对特定概念的可靠和高效擦除。这项技术对于提高图像生成模型的安全性和控制性具有重要意义,特别是在需要避免生成不适当内容的场景中。RECE技术的主要优点包括高效率、高可靠性和易于集成到现有模型中。
内容风格合成在文本到图像生成中的应用
CSGO是一个基于内容风格合成的文本到图像生成模型,它通过一个数据构建管道生成并自动清洗风格化数据三元组,构建了首个大规模的风格迁移数据集IMAGStyle,包含210k图像三元组。CSGO模型采用端到端训练,明确解耦内容和风格特征,通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成,具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。
开源文本到图像生成模型
AuraFlow v0.3是一个完全开源的基于流的文本到图像生成模型。与之前的版本AuraFlow-v0.2相比,该模型经过了更多的计算训练,并在美学数据集上进行了微调,支持各种宽高比,宽度和高度可达1536像素。该模型在GenEval上取得了最先进的结果,目前处于beta测试阶段,正在不断改进中,社区反馈非常重要。
创造独特的半插图半照片图像。
half_illustration是一个基于Flux Dev 1模型的文本到图像生成模型,能够结合摄影和插图元素,创造出具有艺术感的图像。该模型使用了LoRA技术,可以通过特定的触发词来保持风格一致性,适合用于艺术创作和设计领域。
一种先进的文本到图像的生成模型。
FLUX.1-dev-Controlnet-Union-alpha是一个文本到图像的生成模型,属于Diffusers系列,使用ControlNet技术进行控制。目前发布的是alpha版本,尚未完全训练完成,但已经展示了其代码的有效性。该模型旨在通过开源社区的快速成长,推动Flux生态系统的发展。尽管完全训练的Union模型可能在特定领域如姿势控制上不如专业模型,但随着训练的进展,其性能将不断提升。
基于FLUX.1-dev模型的LoRA文本到图像生成技术。
flux-RealismLora是由XLabs AI团队发布的基于FLUX.1-dev模型的LoRA技术,用于生成逼真的图像。该技术通过文本提示生成图像,支持多种风格,如动画风格、幻想风格和自然电影风格。XLabs AI提供了训练脚本和配置文件,以方便用户进行模型训练和使用。
基于ControlNet的文本到图像生成模型
flux-controlnet-canny是由XLabs AI团队开发的基于FLUX.1-dev模型的ControlNet Canny模型,用于文本到图像的生成。该模型通过训练,能够根据文本提示生成高质量的图像,广泛应用于创意设计和视觉艺术领域。
12亿参数的图像生成模型
FLUX.1 [schnell] 是一个具有12亿参数的修正流变换器,能够从文本描述生成图像。它以其尖端的输出质量和竞争性的提示跟随能力而著称,与闭源替代品的性能相匹配。该模型使用潜在对抗性扩散蒸馏进行训练,能够在1到4步内生成高质量的图像。FLUX.1 [schnell] 在apache-2.0许可证下发布,可以用于个人、科学和商业目的。
12亿参数的文本到图像生成模型
FLUX.1-dev是一个拥有12亿参数的修正流变换器,能够根据文本描述生成图像。它代表了文本到图像生成技术的最新发展,具有先进的输出质量,仅次于其专业版模型FLUX.1 [pro]。该模型通过指导蒸馏训练,提高了效率,并且开放权重以推动新的科学研究,并赋予艺术家开发创新工作流程的能力。生成的输出可以用于个人、科学和商业目的,具体如flux-1-dev-non-commercial-license所述。
创意生成AI工具
Adobe Firefly Vector AI是Adobe推出的一系列创意生成AI模型,旨在通过生成AI功能增强创意工作。Firefly模型和服务于Photoshop、Illustrator、Lightroom等Adobe创意应用中。它通过文本到图像、生成填充、生成扩展等功能,帮助用户以前所未有的控制力和创造力生成丰富、逼真的图像和艺术作品。Firefly的训练数据包括Adobe Stock的授权内容、公开许可内容和公共领域内容,确保其商业使用安全。Adobe致力于负责任地开发生成AI,并通过与创意社区的紧密合作,不断改进技术,支持和提升创意过程。
低代码多代理系统框架
Praison AI 是一个低代码的集中式框架,旨在简化各种大型语言模型(LLM)应用的多代理系统的创建和编排。它强调易用性、可定制性和人机交互。Praison AI 利用 AutoGen 和 CrewAI 或其他代理框架,通过预定义的角色和任务来实现复杂的自动化任务。用户可以通过命令行界面或用户界面与代理进行交互,创建自定义工具,并通过多种方式扩展其功能。
开源的基于流的文本到图像生成模型
AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型,它在GenEval上达到了最先进的结果。目前模型处于beta阶段,正在不断改进中,社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实,以及为该项目奠定基础的研究人员。
基于潜在扩散模型的大规模文本到图像生成模型
Kolors是由快手Kolors团队开发的大规模文本到图像生成模型,基于潜在扩散模型,训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面,均优于开源和闭源模型。Kolors支持中英文输入,尤其在理解及生成中文特定内容方面表现突出。
复古风格卡通模型,融合动漫与北欧卡通元素。
Midsommar Cartoon是一款将复古风格与动漫元素结合的图像生成模型。它基于stable-diffusion技术,通过文本到图像的转换,能够生成具有北欧卡通特色的插画。该模型支持在Inference API上加载,使用户能够轻松地将文本描述转化为视觉图像。
AI内容生成研究组织
InstantX是一个专注于AI内容生成的独立研究组织,致力于文本到图像的生成技术。其研究项目包括风格保持的文本到图像生成(InstantStyle)和零样本身份保持生成(InstantID)。该组织通过GitHub社区进行项目更新和交流,推动AI在图像生成领域的应用和发展。
© 2024 AIbase 备案号:闽ICP备08105208号-14