产品库

多分辨率扩散变换器，支持中英文理解

HunyuanDiT-v1.1是由腾讯Hunyuan团队开发的一款多分辨率扩散变换模型，它具备精细的中英文理解能力。该模型通过精心设计的变换器结构、文本编码器和位置编码，结合从头开始构建的完整数据管道，实现数据的迭代优化。HunyuanDiT-v1.1能够执行多轮多模态对话，根据上下文生成和细化图像。经过50多名专业人类评估员的全面评估，HunyuanDiT-v1.1在中文到图像生成方面与其他开源模型相比，达到了新的最先进水平。

开源多模态预训练模型，具备中英双语对话能力。

GLM-4V-9B是智谱AI推出的新一代预训练模型，支持1120*1120高分辨率下的中英双语多轮对话，以及视觉理解能力。在多模态评测中，GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

首个面向中英文用户的指令调优语言模型

Gemma-2-27B-Chinese-Chat是基于google/gemma-2-27b-it的首个指令调优语言模型，专为中英文用户设计，拥有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著提升了在中英文对话、角色扮演和数学计算等方面的性能。

开源的手机端 GUI 智能代理，支持中英文应用操作。

AgentCPM-GUI 是一款开源的手机端大型语言模型（LLM）代理，专为操作中英文应用程序而设计，能够根据用户的屏幕截图自动执行任务。其主要优点在于高效的 GUI 元素理解、增强的推理能力以及对中文应用的精准支持。此技术的开发背景是为了提升移动设备上智能代理的用户体验，特别是在复杂任务处理方面。该产品定位于提高移动端的生产力，适用于各类用户。

一款开源大型语言模型，适用于中英文

MediaTek Research发布了名为MR Breeze-7B的新开源大型语言模型，拥有70亿参数，擅长处理中英文。相比先前的BLOOM-3B，MR Breeze-7B吸收了20倍的知识，使其能够精准处理传统中文语言的文化和语言细微差别。优化后，MR Breeze-7B在处理速度上胜过其他模型，为用户带来更流畅的体验。定价免费。

一款专为中英文用户定制的指令式语言模型。

Llama3.1-8B-Chinese-Chat是一个基于Meta-Llama-3.1-8B-Instruct模型的指令式调优语言模型，专为中文和英文用户设计，具有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著减少了中文问题用英文回答和回答中中英文混合的问题，特别是在角色扮演、功能调用和数学能力方面有显著提升。

基于潜在扩散模型的大规模文本到图像生成模型

Kolors是由快手Kolors团队开发的大规模文本到图像生成模型，基于潜在扩散模型，训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面，均优于开源和闭源模型。Kolors支持中英文输入，尤其在理解及生成中文特定内容方面表现突出。

70亿参数的中英双语对话模型

Llama3.1-70B-Chinese-Chat 是基于 Meta-Llama-3.1-70B-Instruct 模型的指令调优语言模型，专为中英双语用户设计，具备角色扮演和工具使用等多样化能力。该模型通过 ORPO 算法进行微调，显著减少了中文问题用英文回答以及回答中中英文混合的问题，特别是在角色扮演、功能调用和数学能力方面有显著提升。

免费的AI写作插件，智能纠错、润色、改写，让你的中英文写作更准确地道！

火山写作是一款免费的、专为中英文写作而设计的工具，它可以为你提供实时建议和辅助，让你的文本更为准确、流畅和地道。在你输入文本时，Writingo Pluggin将实时简化你的文本，并提供写作建议。让你在写作过程中不再担心用于错误和表达恰当性，从而更加专注于内容的创作。Writingo Pluggin还拥有智能纠错、润色、改写等功能，让你的中英文写作更加准确地道。

开源双语文生图生成模型

Taiyi-Diffusion-XL是一个开源的基于Stable Diffusion训练的双语文生图生成模型,支持英文和中文的文本到图像生成,相比之前的中文文生图模型有了显著提升。它可以根据文本描述生成照片般逼真的图像,支持多种图像风格,具有较高的生成质量和多样性。该模型采用创新的训练方式,扩展了词表、位置编码以支持长文本和中文,并在大规模双语数据集上进行训练,确保了其强大的中英文生成能力。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

Llasa-3B 是一个基于 LLaMA 的文本到语音合成模型，支持中英文语音生成。

Llasa-3B 是一个强大的文本到语音（TTS）模型，基于 LLaMA 架构开发，专注于中英文语音合成。该模型通过结合 XCodec2 的语音编码技术，能够将文本高效地转换为自然流畅的语音。其主要优点包括高质量的语音输出、支持多语言合成以及灵活的语音提示功能。该模型适用于需要语音合成的多种场景，如有声读物制作、语音助手开发等。其开源性质也使得开发者可以自由探索和扩展其功能。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

基于19亿参数的对话生成模型

Index-1.9B-Chat是一个基于19亿参数的对话生成模型，它通过SFT和DPO对齐技术，结合RAG实现fewshots角色扮演定制，具有较高的对话趣味性和定制性。该模型在2.8T中英文为主的语料上预训练，并且在多个评测基准上表现领先。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

Llasa-1B 是一个基于 LLaMA 的文本转语音 (TTS) 模型，支持中英文语音合成。

Llasa-1B 是一个由香港科技大学音频实验室开发的文本转语音模型。它基于 LLaMA 架构，通过结合 XCodec2 代码本中的语音标记，能够将文本转换为自然流畅的语音。该模型在 25 万小时的中英文语音数据上进行了训练，支持从纯文本生成语音，也可以利用给定的语音提示进行合成。其主要优点是能够生成高质量的多语言语音，适用于多种语音合成场景，如有声读物、语音助手等。该模型采用 CC BY-NC-ND 4.0 许可证，禁止商业用途。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

小型多模态模型，支持图像和文本生成

Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。

多模态自回归模型，擅长文本生成图像

Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。

第二代多模态预训练对话模型

CogVLM2是由清华大学团队开发的第二代多模态预训练对话模型，它在多个基准测试中取得了显著的改进，支持8K内容长度和1344*1344的图像分辨率。CogVLM2系列模型提供了支持中文和英文的开源版本，能够与一些非开源模型相媲美的性能。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

统一多模态视频生成系统

UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。

AI多模态数据绑定

ImageBind是一种新的AI模型，能够同时绑定六种感官模态的数据，无需显式监督。通过识别这些模态之间的关系（图像和视频、音频、文本、深度、热成像和惯性测量单元（IMUs）），这一突破有助于推动AI发展，使机器能够更好地分析多种不同形式的信息。探索演示以了解ImageBind在图像、音频和文本模态上的能力。

多模态综合理解与创作

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

先进的多模态图像生成模型，结合文本提示和视觉参考生成高质量图像。

Qwen2vl-Flux是一个结合了Qwen2VL视觉语言理解能力的FLUX框架的先进多模态图像生成模型。该模型擅长基于文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制。产品背景信息显示，Qwen2vl-Flux集成了Qwen2VL的视觉语言能力，增强了FLUX的图像生成精度和上下文感知能力。其主要优点包括增强的视觉语言理解、多种生成模式、结构控制、灵活的注意力机制和高分辨率输出。

基于先进AI模型，能精准识别AI生成文本，中英文检测能力出色。

朱雀大模型检测是腾讯推出的AI文本检测工具。它利用多种先进AI模型，经数百万级数据训练，能精准识别AI与人类书写模式。在中文数据处理上表现尤为出色，为内容创作者、教育工作者等提供了有力的检测支持，帮助他们辨别文本来源，确保内容原创性。该产品目前处于特邀测试阶段，具体价格和定位尚未明确。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

多模态AI开发助手

DevMind AI旨在无缝整合文本、图像、视频、音频和代码等多种模型的推理能力，帮助您像专业人士一样进行开发！DevMind AI通过AI功能增强您的项目。

统一的多模态生成模型

Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。