产品库

文本编码器微调技术，提升文本到图像生成模型性能

TextCraftor是一种创新的文本编码器微调技术，能够显著提升文本到图像生成模型的性能。通过奖励函数优化，它改善了图像质量与文本对齐，无需额外数据集。

基于自然语言查询的开放领域音频源分离模型

AudioSep是一种基于自然语言查询的开放领域音频源分离模型。它由文本编码器和分离模型两个关键组件组成。我们在大规模多模态数据集上训练AudioSep，并在许多任务上广泛评估其能力，包括音频事件分离、乐器分离和语音增强。AudioSep表现出强大的分离性能和令人印象深刻的零样本泛化能力，使用音频标题或文本标签作为查询，大大优于以前的音频查询和语言查询声音分离模型。为了保证本工作的可重复性，我们将发布源代码、评估基准和预训练模型。

一种用于增强身份保留文本到图像生成的反馈学习框架

ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架，它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留，并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型，通过广泛的实验验证了其有效性。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

先进的文本到图像生成系统

Stable Diffusion 3是一款先进的文本到图像生成系统，它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构，使用不同的权重集来改善图像和语言的表示，从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线，与Fireworks AI合作提供快速可靠的API服务，并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

AI创造性视觉的突破性AI

Stable Diffusion 3是Stability AI推出的最新创新，为创造性图像生成带来突破性的AI。它提供了改进的文本到图像生成算法、多模态能力和用户友好的许可证，免费使用SDXLTurbo.ai。革新设计、动画、游戏等领域，提升文本到图像生成、多模态能力和用户友好的许可证。探索、创造、转化。

训练免费高分辨率图像合成的频率视角

FouriScale从频域分析的角度探讨从预先训练的扩散模型生成高分辨率图像，通过创新的、无需训练的方法，通过将预先训练的扩散模型中的原始卷积层替换为结合膨胀技术和低通操作的方法，通过填充然后裁剪策略进一步增强，实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，该方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量生成的惊人能力。通过其简单性和兼容性，该方法可以为未来对超高分辨率图像合成的探索提供有价值的见解。

文本到图像生成中风格保留的 InstantStyle。

InstantStyle 是一个通用框架，利用两种简单但强大的技术，实现对参考图像中风格和内容的有效分离。其原则包括将内容从图像中分离出来、仅注入到风格块中，并提供样式风格的合成和图像生成等功能。InstantStyle 可以帮助用户在文本到图像生成过程中保持风格，为用户提供更好的生成体验。

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。

实时交互生成，基于区域语义控制

StreamMultiDiffusion是一个实时交互多文本到图像生成平台，用户可以根据指定的区域文本提示进行生成。通过操控含义而非颜色的画笔进行绘画创作。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

一步生成高分辨率图像

SDXL-Lightning是字节跳动开发的图像生成模型,能够在一步或少步骤内生成高达1024像素分辨率的高质量图像。该模型通过渐进式对抗式蒸馏,显著提升了图像生成速度,使其可应用于需要快速响应的场景。模型已开源,支持兼容LoRA模块和其他控制插件,可广泛用于文本到图像生成任务。

Stability AI推出高效低阈值文生图AI模型

Stable Cascade是一个基于Würstchen架构的文本到图像生成模型,相比其他模型使用更小的潜在空间进行训练和推理,因此在训练和推理速度上都有显著提升。该模型可以在消费级硬件上运行,降低了使用门槛。Stable Cascade在人类评估中表现突出,无论是在提示对齐还是图像质量上都超过了其他模型。总体而言,这是一个高效、易用、性能强劲的文生图AI模型。

开源双语文生图生成模型

Taiyi-Diffusion-XL是一个开源的基于Stable Diffusion训练的双语文生图生成模型,支持英文和中文的文本到图像生成,相比之前的中文文生图模型有了显著提升。它可以根据文本描述生成照片般逼真的图像,支持多种图像风格,具有较高的生成质量和多样性。该模型采用创新的训练方式,扩展了词表、位置编码以支持长文本和中文,并在大规模双语数据集上进行训练,确保了其强大的中英文生成能力。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

SCEdit是一个高效和可控制的图像扩散生成框架

SCEdit是一个由阿里巴巴提出的高效的生成模型精调框架。该框架增强了下游文本到图像生成任务的精调能力,并实现了对特定生成场景的快速适配,相比LoRA可以节省30%-50%的训练内存成本。此外,它可以直接扩展到可控图像生成任务,只需要ControlNet条件生成所需参数量的7.9%,并可以节省30%的内存使用。它支持各种条件生成任务,包括边缘图、深度图、分割图、姿态、色彩图以及图像补全等。

AI文本到图像生成工具

NeutronField是一款AI文本到图像生成工具，通过输入文字描述，即可生成对应的图像。它具有稳定的扩散算法，能够生成高质量的图像作品。NeutronField的主要功能包括根据文本生成图像、展示AI文本到图像的作品、购买和出售AI文本到图像的作品等。它的优势在于能够快速生成多样化的图像作品，满足用户的个性化需求。NeutronField的定价根据作品的复杂程度和独特性而定，用户可以根据自己的需求选择合适的作品进行购买。NeutronField定位于为用户提供便捷、高效的AI文本到图像生成服务。

基于LLMs和生成式AI模型的AI产品的基础研究和技术

LMOps是一个基于LLMs和生成式AI模型的AI产品的基础研究和技术。它提供了自动提示优化、Promptist、可扩展的提示、通用提示检索、LLM检索等功能。此外，还包括结构化提示、可扩展的提示、LLM加速器、LLM定制化和理解上下文学习等基本功能。LMOps的链接包括microsoft/unilm和microsoft/torchscale等。它适用于各种场景，如文本到图像生成、长序列提示消耗和扩展提示等。LMOps是一个开源项目，遵循MIT许可证。

基于Kandinsky扩展和Deforum特性的文本到图像生成模型

Kandinsky Deforum是一种基于Kandinsky扩展和Deforum特性的文本到图像生成模型。该模型可以将文本转换为视频，具有高效、快速、准确的特点。其核心方法包括生成参考帧、对前一帧进行小变换、通过图像到图像方法对结果图像进行扩散处理。Kandinsky Deforum的优势在于可以生成高质量的视频，同时具有良好的可扩展性和灵活性。该产品的定位是为用户提供一种高效、快速、准确的文本到图像生成模型。

低成本高质量文本到图像生成模型

PIXART-α是一种基于Transformer的文本到图像生成模型，其图像生成质量与最先进的图像生成器相当，支持高分辨率图像合成，训练速度明显优于现有的大规模T2I模型，训练成本低，可节省近30万美元，并减少90%的CO2排放。PIXART-α在图像质量、艺术性和语义控制方面表现出色，可为AIGC社区和初创企业提供新的见解，加速从头开始构建高质量、低成本的生成模型。

Stable Diffusion XL AI, 开源的 AI 图片生成器

稳定扩散 AI 是一种开源的深度学习文本到图像生成模型,由 CompVis 团队与 Runway ML 联合开发,并获得 Stability AI 的运算支持。它可以根据文本描述生成高质量图片,也可以进行图像补全、外推以及文本指导下的图像到图像转换。稳定扩散 AI 开源了其代码、预训练模型和许可证,允许用户在单个 GPU 上运行。这使其成为第一个可以在用户本地设备上运行的开源深度文本到图像模型。

灵活的基于 Diffusion 的文本到图像生成模型

伪灵活基础模型（ptx0/pseudo-flex-base）是基于 Diffusion 技术的文本到图像生成模型。它通过将文本描述转换为逼真的图像，提供了灵活的图像生成能力。该模型可以根据给定的文本提示生成与文本描述相符合的图像，具有高度的灵活性和生成效果。该模型还具有稳定的性能和可靠的训练基础，可以广泛应用于人工智能领域的图像生成任务。

AI 文本到图像生成模型

Stable Diffusion XL 1.0 是一款先进的 AI 文本到图像生成模型，具有更准确的颜色、更高的对比度和更细致的细节，适用于开发人员和客户。该模型拥有 3.5B 参数基础模型和 6.6B 参数模型组合管道，可以快速生成多种宽高比的 1 兆像素分辨率图像。Stable Diffusion XL 1.0 在 Amazon Bedrock 上可通过 API 访问，也可在 Stability AI 的 Github 页面、Clipdrop 和 DreamStudio 应用程序中使用。

将Youtube视频自动转换为博客文章。

BlogFox是一个可以从Youtube视频中自动转换成博客文章的工具。它使用Claude Opus模型生成高质量的博客文章，具有与人类写作无法区分的真实性和高度参与度。它还提供了自动生成内部和外部链接、生成高质量的博客图片、编辑文本等功能。通过与Youtube频道连接，可以将Youtube视频嵌入到最终博客中。

Effie是一个列表制作、思维导图、笔记记录、有重点的标记式写作工具，可以通过思维导图和大纲可视化您的想法，并将其转化为出色的写作作品。

Effie是一个写作工具，提供了列表制作、思维导图、笔记记录、有重点的标记式写作等功能。它的主要优点是可以将思维导图和大纲用于可视化想法，并且提供了简洁的写作环境。Effie的定位是提高写作效率。

将自拍照变成专业的AI头像，树立信任和可信度，留下深刻的第一印象，展示个人品牌的独特性。

X Headshot是一款将自拍照片转化为专业AI头像的产品。通过上传照片，我们的AI模型会生成与真实照片相似的头像。相比实体拍摄，X Headshot更加便捷、经济且效果出色。我们提供多种变化，让您的头像更加完美，价格合理，并且我们还提供7天退款保证。

为教师提供即时的课程计划生成器，包括免费模板、PBL、UbD、教学资源、评估、评分表等。

SmartPrep AI是一款下一代课程计划生成器，可简化流程，释放无限创造力，减少重复性任务，让教师有更多时间专注于教学。

APOB是一个AI创造者工具，可以生成完美反映您风格、声音和本质的独特AI形象。轻松生成引人注目的内容，提升您的受众参与度。

APOB是一个AI创造者工具，可以生成独特的AI形象，为用户带来无限的创作可能。它可以用于生成图片和视频，适用于各种用途，包括数字孪生、明星致敬和动漫角色动画等。APOB具有灵活性和创造力，可以根据用户的喜好进行个性化定制。