产品库

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

高保真图像到视频生成框架

AtomoVideo是一个新颖的高保真图像到视频（I2V）生成框架，它从输入图像生成高保真视频，与现有工作相比，实现了更好的运动强度和一致性，并且无需特定调整即可与各种个性化T2I模型兼容。

低成本高质量文本到图像生成模型

PIXART-α是一种基于Transformer的文本到图像生成模型，其图像生成质量与最先进的图像生成器相当，支持高分辨率图像合成，训练速度明显优于现有的大规模T2I模型，训练成本低，可节省近30万美元，并减少90%的CO2排放。PIXART-α在图像质量、艺术性和语义控制方面表现出色，可为AIGC社区和初创企业提供新的见解，加速从头开始构建高质量、低成本的生成模型。

AI图像生成与无限Moodboard合成

M👀D.tech是一款AI图像生成与无限Moodboard合成的工具。它提供了易于设置的界面，支持TXT2IMG、IMG2IMG、InPaint、Upscale等功能，并支持与渲染节点共享资源。具备基本的绘画工具，支持SDXL和Stable Diffusion 1.5，拥有时间线界面和多人协作功能。适用于Windows NVIDIA CUDA和Mac M1系统。

ComfyUI实现的Omost模型

ComfyUI_omost是一个基于ComfyUI框架实现的Omost模型，它允许用户与大型语言模型(LLM)进行交互，以获取类似JSON的结构化布局提示。该模型目前处于开发阶段，其节点结构可能会有变化。它通过LLM Chat和Region Condition两个部分，将JSON条件转换为ComfyUI的区域格式，用于图像生成和编辑。

将大型语言模型的编码能力转换为图像生成能力。

Omost是一个旨在将大型语言模型(LLM)的编码能力转化为图像生成（更准确地说是图像组合）能力的项目。它提供了基于Llama3和Phi3变体的预训练LLM模型，这些模型能够编写代码以使用Omost的虚拟Canvas代理来组合图像视觉内容。Canvas可以由特定的图像生成器实现来实际生成图像。Omost项目背后的技术包括Direct Preference Optimization (DPO)和OpenAI GPT4o的多模态能力。

基于大语言模型的个性化图像生成工具

MoMA Personalization 是一款基于开源 Multimodal Large Language Model (MLLM) 的个性化图像生成工具。它专注于主题驱动的个性化图像生成，可以根据参考图像和文本提示生成高质量、保留目标物体特征的图像。MoMA 不需要任何 fine-tuning，是一个插件式的模型，可以直接应用于现有的 diffusion 模型中，并在保留原模型性能的同时提高生成图像的细节和 prompt 忠实度。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

100个AI模型，1个API，最高可访问性

aimlapi.com是一个AI模型平台，通过1个API可以访问100多个AI模型。该平台提供低延迟、全天候访问的AI服务，可节省高达80%的成本。AI模型包括高级LLM、语音转文字、文字转语音、聊天机器人和图像生成等功能。定价简单明了，为开发者提供最低市场价格。支持与OpenAI兼容，无缝切换使用。适用于各种场景，包括聊天、语音、图像等。支持快速响应和高效扩展，保证99%的运行时间。欢迎免费试用1个月。

基于LLM的文本到图像生成系统

DiffusionGPT是一种基于大型语言模型（LLM）的文本到图像生成系统。它利用扩散模型构建了针对各种生成模型的领域特定树，从而能够无缝地适应各种类型的提示并集成领域专家模型。此外，DiffusionGPT引入了优势数据库，其中的思维树得到了人类反馈的丰富，使模型选择过程与人类偏好保持一致。通过广泛的实验和比较，我们展示了DiffusionGPT的有效性，展示了它在不同领域推动图像合成边界的潜力。

学习模型间字符串关系，检查视觉世界

这篇论文系统评估了大型语言模型（LLMs）生成和识别逐渐复杂的视觉概念的能力，并展示了如何使用文本模型训练初步的视觉表示学习系统。虽然语言模型不能直接处理像素级的视觉信息，但使用代码表示图像进行研究。LLM 生成的图像虽然不像自然图像，但在图像生成和纠正方面的结果表明，准确建模字符串可以教会语言模型许多关于视觉世界的方面。此外，利用文本模型生成的图像进行自监督视觉表示学习的实验，突出了只使用 LLMs 就能训练能够对自然图像进行语义评估的视觉模型的潜力。

基于LLMs和生成式AI模型的AI产品的基础研究和技术

LMOps是一个基于LLMs和生成式AI模型的AI产品的基础研究和技术。它提供了自动提示优化、Promptist、可扩展的提示、通用提示检索、LLM检索等功能。此外，还包括结构化提示、可扩展的提示、LLM加速器、LLM定制化和理解上下文学习等基本功能。LMOps的链接包括microsoft/unilm和microsoft/torchscale等。它适用于各种场景，如文本到图像生成、长序列提示消耗和扩展提示等。LMOps是一个开源项目，遵循MIT许可证。

交互式模块化服装生成

IMAGDressing是一个交互式模块化服装生成模型，旨在为虚拟试穿系统提供灵活和可控的定制化服务。该模型通过结合CLIP的语义特征和VAE的纹理特征，使用混合注意力模块将这些特征整合到去噪UNet中，确保用户可以控制编辑。此外，IMAGDressing还提供了IGPair数据集，包含超过30万对服装和穿着图像，建立了标准的数据组装流程。该模型可以与ControlNet、IP-Adapter、T2I-Adapter和AnimateDiff等扩展插件结合使用，增强多样性和可控性。

Surya是一个用于任何语言中准确的逐行文本检测和识别（OCR）的项目。

Surya是一个多语言文档OCR工具包，具有准确的逐行文本检测功能。它在一系列文档和语言上都有效（参见使用和基准测试以获取更多细节）。Surya的命名源自印度太阳神，象征着具有普遍视野。Surya通过Python 3.9+和PyTorch实现，支持多种语言的高效OCR处理，包括图像动画和个性化T2I模型。Surya的特点是其高效性和多语言支持能力。

I2V-Adapter是一种用于视频扩散模型的通用图像到视频适配器。

I2V-Adapter旨在将静态图像转换为动态、逼真的视频序列，同时保持原始图像的保真度。它使用轻量级适配器模块并行处理带噪声的视频帧和输入图像。此模块充当桥梁，有效地将输入连接到模型的自注意力机制，保持空间细节，无需更改T2I模型的结构。I2V-Adapter参数少于传统模型，并确保与现有的T2I模型和控制工具兼容。实验结果表明，I2V-Adapter能够生成高质量的视频输出，这对于AI驱动的视频生成，尤其是创意应用领域，具有重大意义。

AI图像质量优化工具

Q-Refine是一个提供AI图像质量优化工具的平台。其中，Q-Refine是一款基于人类视觉系统偏好的图像质量评估指标（IQA）的优化工具。它通过三个自适应流程修改不同质量的图像，为主流T2I模型提供有效的优化，扩大了T2I生成模型的应用范围。

使用扩散模型实现时域一致的人体图像动画

MagicAnimate是一款基于扩散模型的先进框架，用于人体图像动画。它能够从单张图像和动态视频生成动画视频，具有时域一致性，能够保持参考图像的特征，并显著提升动画的保真度。MagicAnimate支持使用来自各种来源的动作序列进行图像动画，包括跨身份的动画和未见过的领域，如油画和电影角色。它还与DALLE3等T2I扩散模型无缝集成，可以根据文本生成的图像赋予动态动作。MagicAnimate由新加坡国立大学Show Lab和Bytedance字节跳动共同开发。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

社区驱动的AI阅读和聊天

Chat2Invest是Slack上的一个机器人，可以阅读和总结任何网页、包括电子书在内的文档，甚至来自YouTube的视频。它可以通过语音与您交流，还可以作为您的个人导师，支持中文、英文、德文和日文。Chat2Invest每天都会发送最新的热点新闻并自动生成摘要，让您快速了解今日热点。

真实人类舞蹈视频生成

MagicDance是一种新颖有效的方法，可以生成逼真的人类视频，实现生动的动作和面部表情转移，以及一致的2D卡通风格动画零调优生成。通过MagicDance，我们可以精确生成外观一致的结果，而原始的T2I模型（如稳定扩散和ControlNet）很难准确地保持主题身份信息。此外，我们提出的模块可以被视为原始T2I模型的扩展/插件，而不需要修改其预训练权重。

你值得信赖的 Photoshop 副驾驶

ImageCreator 是一款专业的生成式人工智能插件，支持 SDXL 1.0。它能够帮助用户快速创建美丽的艺术作品，提供了多种有效的功能，包括 TXT2IMG、IMG2IMG、FILL 等多种生成方法。用户可以通过选择模型和输入参数来生成图片，同时支持多种控制模型和处理设置。ImageCreator 还提供了丰富的模型库，用户可以应用这些模型来创作独特的艺术项目。通过 ImageCreator，用户可以探索无限的可能性，创建各种生产就绪的艺术资产。

高质量、类人同声传译系统

CLASI是一个由字节跳动研究团队开发的高质量、类人同声传译系统。它通过新颖的数据驱动读写策略平衡翻译质量和延迟，采用多模态检索模块来增强特定领域术语的翻译，利用大型语言模型（LLMs）生成容错翻译，考虑输入音频、历史上下文和检索信息。在真实世界场景中，CLASI在中英和英中翻译方向上分别达到了81.3%和78.0%的有效信息比例（VIP），远超其他系统。

多语言对话生成模型

Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种规模的模型，专为多语言对话使用案例优化，性能优于许多开源和闭源聊天模型。

多语言大型语言模型，优化对话和文本生成。

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种大小的模型，专门针对多语言对话使用案例进行了优化，并在行业基准测试中表现优异。该模型使用优化的transformer架构，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）进一步与人类偏好对齐，以确保其有用性和安全性。

Bing的新型生成式搜索体验。

Bing generative search是微软Bing搜索团队推出的新型搜索体验，它结合了生成式人工智能和大型语言模型（LLMs）的能力，为用户提供定制化和动态的搜索结果。该技术通过理解用户查询，审核数百万信息源，动态匹配内容，并以新的AI生成的布局生成搜索结果，以更有效地满足用户查询的意图。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

先进的大型语言模型，具备推理和编程能力。

Mistral-Large-Instruct-2407是一个拥有123B参数的先进大型语言模型(LLM)，具备最新的推理、知识和编程能力。它支持多语言，包括中文、英语、法语等十种语言，并且在80多种编程语言上受过训练，如Python、Java等。此外，它还具备代理中心能力和先进的数学及推理能力。

节省LLM成本，不牺牲质量的框架

RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。

8B参数的大型多语言生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B大小的版本，支持8种语言，专为多语言对话用例优化，并在行业基准测试中表现优异。Llama 3.1模型采用自回归语言模型，使用优化的Transformer架构，并通过监督式微调（SFT）和强化学习结合人类反馈（RLHF）来提高模型的有用性和安全性。

AI图像生成API，提供高质量的4K图像生成和编辑功能。

Picogen AI Image API是一个领先的AI图像生成平台，提供与Midjourney, Stable Diffusion和DALL-E相媲美的高质量图像生成服务。它支持生成高达4K分辨率的图像，并且具备图像合并、背景移除和8K分辨率的图像放大等高级功能。Picogen旨在为数字营销人员、平面设计师、内容创作者等专业人士提供强大的视觉内容创作工具。