产品库

小型多模态模型，支持图像和文本生成

Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

语音转文字,支持实时语音识别、录音文件识别等

腾讯云语音识别(ASR)为开发者提供语音转文字服务的最佳体验。语音识别服务具备识别准确率高、接入便捷、性能稳定等特点。腾讯云语音识别服务开放实时语音识别、一句话识别和录音文件识别三种服务形式,满足不同类型开发者需求。技术先进,性价比高,多语种支持,适用于客服、会议、法庭等多场景。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态自回归模型，擅长文本生成图像

Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。

最先进的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-2B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

一款基于多模态模型的语音翻译产品，支持近100种语言的自动语音识别、语音翻译、文本翻译、语音合成等功能。

SeamlessM4T是一款基于多模态模型的语音翻译产品，支持近100种语言的自动语音识别、语音翻译、文本翻译、语音合成等功能。该产品采用了全新的多任务UnitY模型架构，能够直接生成翻译文本和语音。SeamlessM4T的自我监督语音编码器w2v-BERT 2.0通过分析数百万小时的多语言语音，学习如何在语音中找到结构和意义。该产品还提供了SONAR、SpeechLASER等多语言语音和文本数据集，以及fairseq2等序列建模工具包。SeamlessM4T的发布，标志着AI技术在实现语音翻译方面取得了重大突破。

先进的多模态模型，支持图像和文本理解。

Phi-3.5-vision是微软开发的轻量级、最新一代的多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的高质量、密集推理数据。该模型属于Phi-3模型家族，经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

多功能文本到多模态内容生成框架

Alpha-VLLM提供了一系列模型，支持从文本到图像、音频等多模态内容的生成。这些模型基于深度学习技术，可以广泛应用于内容创作、数据增强、自动化设计等领域。

Qwen2-VL-7B是最新的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-7B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。此外，Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

Falcon 2 是一款开源、多语言、多模态的模型，具备图像到文本转换能力。

Falcon 2 是一款具有创新功能的生成式 AI 模型，为我们创造了一种充满可能性的未来路径，只有想象力才是限制。Falcon 2 采用开源许可证，具备多语言和多模态的能力，其中独特的图像到文本转换功能标志着 AI 创新的重大进展。

多模态12B参数模型，结合视觉编码器处理图像和文本。

Pixtral-12B-2409是由Mistral AI团队开发的多模态模型，包含12B参数的多模态解码器和400M参数的视觉编码器。该模型在多模态任务中表现出色，支持不同尺寸的图像，并在文本基准测试中保持最前沿的性能。它适用于需要处理图像和文本数据的高级应用，如图像描述生成、视觉问答等。

SmolVLM-256M 是世界上最小的多模态模型，可高效处理图像和文本输入并生成文本输出。

SmolVLM-256M 是由 Hugging Face 开发的多模态模型，基于 Idefics3 架构，专为高效处理图像和文本输入而设计。它能够回答关于图像的问题、描述视觉内容或转录文本，且仅需不到 1GB 的 GPU 内存即可运行推理。该模型在多模态任务上表现出色，同时保持轻量化架构，适合在设备端应用。其训练数据来自 The Cauldron 和 Docmatix 数据集，涵盖文档理解、图像描述等多领域内容，使其具备广泛的应用潜力。目前该模型在 Hugging Face 平台上免费提供，旨在为开发者和研究人员提供强大的多模态处理能力。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

多主题文本生成视频定制

CustomVideo是一个新颖的框架，旨在生成在多个主题引导下保持身份的视频。该产品首先鼓励多个主题的共同出现，然后通过基本的文本到视频扩散模型设计了一个简单而有效的注意力控制策略，以在扩散模型的潜在空间中解开不同的主题。此外，该产品还通过从给定的参考图像中分割对象并为注意力学习提供相应的对象掩码，帮助模型专注于特定的对象区域。同时，他们还收集了一个多主题文本到视频生成数据集作为全面的基准，其中包括69个个体主题和57个有意义的对。大量的定性、定量和用户研究结果表明，与先前的最先进方法相比，我们的方法具有显著优势。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

多模态智能框架，识别页面任务并执行动作。

NavAIGuide是一个可扩展的多模态智能框架，通过访问移动和桌面生态系统中的应用程序，实现计划和用户查询。具有视觉任务检测、高级代码选择器、面向动作的执行和鲁棒的错误处理等功能。定位于为用户提供高效的自动化解决方案。

一个集成视觉理解和生成的多模态生成模型。

Liquid 是一个自回归生成模型，通过将图像分解为离散代码并与文本标记共享特征空间，促进视觉理解和文本生成的无缝集成。此模型的主要优点在于无需外部预训练的视觉嵌入，减少了对资源的依赖，同时通过规模法则发现了理解与生成任务之间的相互促进效应。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

Magma-8B 是微软推出的一款多模态 AI 模型，能够处理图像和文本输入并生成文本输出。

Magma-8B 是微软开发的一款多模态 AI 基础模型，专为研究多模态 AI 代理而设计。它结合了文本和图像输入，能够生成文本输出，并具备视觉规划和代理能力。该模型使用了 Meta LLaMA-3 作为语言模型骨干，并结合 CLIP-ConvNeXt-XXLarge 视觉编码器，支持从无标签视频数据中学习时空关系，具有强大的泛化能力和多任务适应性。Magma-8B 在多模态任务中表现出色，特别是在空间理解和推理方面。它为多模态 AI 研究提供了强大的工具，推动了虚拟和现实环境中复杂交互的研究。

统一的多模态生成模型

Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。

先进文本生成图像模型

Stable Diffusion 3是由Stability AI开发的最新文本生成图像模型，具有显著进步的图像保真度、多主体处理和文本匹配能力。利用多模态扩散变换器（MMDiT）架构，提供单独的图像和语言表示，支持API、下载和在线平台访问，适用于各种应用场景。

多模态头像生成和动画

MagicAvatar是一个多模态框架，能够将各种输入模式（文本、视频和音频）转换为运动信号，从而生成/动画化头像。它可以通过简单的文本提示创建头像，也可以根据给定的源视频创建遵循给定运动的头像。此外，它还可以动画化特定主题的头像。MagicAvatar的优势在于它能够将多种输入模式结合起来，生成高质量的头像和动画。