产品库

多模态自回归模型，擅长文本生成图像

Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

自回归模型在可扩展图像生成领域的新突破

LlamaGen是一个新的图像生成模型家族，它将大型语言模型的原始下一个token预测范式应用于视觉生成领域。该模型通过适当的扩展，无需对视觉信号的归纳偏差即可实现最先进的图像生成性能。LlamaGen重新审视了图像分词器的设计空间、图像生成模型的可扩展性属性以及它们的训练数据质量。

Visual Autoregressive Modeling: 新的视觉生成范式

VAR是一种新的视觉自回归建模方法,能够超越扩散模型,实现更高效的图像生成。它建立了视觉生成的幂律scaling laws,并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型,供用户探索和使用。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

统一图像生成

UNIMO-G是一个简单的多模态条件扩散框架，用于处理交错的文本和视觉输入。它包括两个核心组件：用于编码多模态提示的多模态大语言模型（MLLM）和用于基于编码的多模态输入生成图像的条件去噪扩散网络。我们利用两阶段训练策略来有效地训练该框架：首先在大规模文本-图像对上进行预训练，以开发条件图像生成能力，然后使用多模态提示进行指导调整，以实现统一图像生成能力。我们采用了精心设计的数据处理流程，包括语言接地和图像分割，用于构建多模态提示。UNIMO-G在文本到图像生成和零样本主题驱动合成方面表现出色，并且在生成涉及多个图像实体的复杂多模态提示的高保真图像方面非常有效。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

小型多模态模型，支持图像和文本生成

Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。

赋予LLM查看和绘图的能力

SEED是一个大规模预训练的模型，通过对交错的文本和视觉数据进行预训练和指导调整，展现了在广泛的多模态理解和生成任务上的出色性能。SEED还具有组合性新兴能力，例如多轮上下文多模态生成，就像您的AI助手一样。SEED还包括SEED Tokenizer v1和SEED Tokenizer v2，它们可以将文本转换为图像。

多模态综合理解与创作

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

用于精确控制扩散模型中概念的低秩适配器

Concept Sliders 是一种用于精确控制扩散模型中概念的技术，它通过低秩适配器（LoRA）在预训练模型之上进行应用，允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下，对生成的图像进行细微调整，如眼睛大小、光线等，从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式，同时解决了生成模糊或扭曲图像的问题。

多功能文本到图像扩散模型，生成高质量非真实感图像。

Pony Diffusion V6 XL是一个文本到图像的扩散模型，专门设计用于生成以小马为主题的高质量艺术作品。它在大约80,000张小马图像的数据集上进行了微调，确保生成的图像既相关又美观。该模型采用用户友好的界面，易于使用，并通过CLIP进行美学排名，以提升图像质量。Pony Diffusion在CreativeML OpenRAIL许可证下提供，允许用户自由使用、再分发和修改模型。

一种用于文本到图像扩散模型的概念擦除技术

RECE是一种文本到图像扩散模型的概念擦除技术，它通过在模型训练过程中引入正则化项来实现对特定概念的可靠和高效擦除。这项技术对于提高图像生成模型的安全性和控制性具有重要意义，特别是在需要避免生成不适当内容的场景中。RECE技术的主要优点包括高效率、高可靠性和易于集成到现有模型中。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

AI着色页生成器，释放您的想象力。

ColorJoyful是一个利用人工智能技术创建着色页的在线平台，它通过先进的算法将用户的文字描述转换成着色页，生成清晰的线条图，便于用户进行涂色。该平台不仅提供了一个释放创意和想象力的空间，还特别适合教育、亲子互动以及个人娱乐。ColorJoyful通过提供多样化的着色页主题，满足了不同用户群体的需求，无论是儿童、成人还是教育工作者，都能在这个平台上找到合适的着色页。

使用AI技术生成逼真的人像照片和视频。

Photo AI™ 是一个利用人工智能技术生成逼真人像照片和视频的在线平台。用户可以上传自拍照，创建自己的AI模型，然后在不同的场景、姿势和动作中生成100%由AI制作的照片。这项技术对于内容创作者来说是一个革命性的工具，因为它可以节省时间和金钱，用户无需聘请昂贵的摄影师即可进行照片拍摄。Photo AI™ 提供了多种功能，包括但不限于服装试穿、场景设计、视频剪辑等，非常适合需要大量高质量图像的社交媒体营销人员、电子商务店主和创意专业人士。产品背景由Pieter Levels创建，他是一位知名的荷兰独立创业者，也是多个成功项目的创始人。产品的价格策略是订阅制，提供不同层级的服务套餐，以满足不同用户的需求。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

AI驱动的PNG生成器，在线创建惊艳的透明PNG图像。

GenPNG.com是一个先进的AI驱动的PNG生成器和制作工具，它允许用户轻松创建高质量、细节丰富的PNG图像。利用尖端的人工智能技术，GenPNG.com能够理解和解释复杂的视觉概念，生成高度逼真和复杂的PNG图像，这些图像手动创建可能具有挑战性甚至不可能。无论是需要透明背景、复杂插图还是复杂图形，GenPNG.com都能处理。它的用户友好界面允许用户输入所需的规格，AI将为您生成PNG图像，节省您的时间和精力，同时确保卓越品质。

内容风格合成在文本到图像生成中的应用

CSGO是一个基于内容风格合成的文本到图像生成模型，它通过一个数据构建管道生成并自动清洗风格化数据三元组，构建了首个大规模的风格迁移数据集IMAGStyle，包含210k图像三元组。CSGO模型采用端到端训练，明确解耦内容和风格特征，通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成，具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。

深灰色调的图像生成模型，专注于东亚女性形象。

Dark Gray Photography 深灰极简是一个专注于生成深灰色调和东亚女性形象的图像生成模型。该模型基于LoRA技术，通过深度学习训练，能够生成风格一致、色彩鲜明的图像。它特别适合需要在人像、产品、建筑和自然风景摄影中使用深灰色调的用户。

生成新视角的图像，保持语义信息。

GenWarp是一个用于从单张图像生成新视角图像的模型，它通过语义保持的生成变形框架，使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性，通过条件化生成模型在源视图图像上，并纳入几何变形信号，提高了在不同领域场景下的性能。

全能型智能助手，满足多样化应用需求。

IMYAI智能助手是一款集成了多种智能功能的在线服务平台，旨在为用户提供聊天对话、文本处理、专业绘画、音乐创作、视频创作等多元化服务。它结合了先进的人工智能技术，通过对话词库、绘画词库等资源，能够满足不同用户在不同场景下的应用需求。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

将文本转化为复古风格的黑暗幻想图像

dark-fantasy-illustration-flux是一个基于FLUX1.-dev模型的LoRa适配器，专门用于生成受黑暗幻想复古插画启发的图像。它不需要特定的触发词，只需自然的语言提示即可生成图像，并且与其它LoRa模型兼容，适用于生成具有独特艺术风格的图像。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

前沿文本到图像模型，生成逼真图像。

Ideogram 2.0 是一款前沿的文本到图像模型，具备生成逼真图像、平面设计、排版等能力。它从零开始训练，显著优于其他文本到图像模型，在图像文本对齐、整体主观偏好和文本渲染准确性等多个质量指标上表现突出。Ideogram 2.0 还推出了iOS应用，将高端平台带到移动用户手中，并通过API以极具竞争力的价格为开发者提供技术，以增强他们的应用和工作流程。

一个基于FLUX.1-dev模型的图像生成适配器

flux-ip-adapter是一个基于FLUX.1-dev模型的图像生成适配器，由Black Forest Labs开发。该模型经过训练，支持512x512和1024x1024分辨率的图像生成，并且定期发布新的检查点。它主要被设计用于ComfyUI，一个用户界面设计工具，可以通过自定义节点进行集成。该产品目前处于Beta测试阶段，使用时可能需要多次尝试以获得理想结果。

先进的多模态模型，支持图像和文本理解。

Phi-3.5-vision是微软开发的轻量级、最新一代的多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的高质量、密集推理数据。该模型属于Phi-3模型家族，经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

在苹果硅片上运行扩散模型的推理工具。

DiffusionKit是一个开源项目，旨在为苹果硅片设备提供扩散模型的本地推理能力。它通过将PyTorch模型转换为Core ML格式，并使用MLX进行图像生成，实现了高效的图像处理能力。项目支持Stable Diffusion 3和FLUX模型，能够进行图像生成和图像到图像的转换。