产品库

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

Mistral OCR 是一款强大的文档理解 OCR 产品，能够以极高的准确性从 PDF 和图像中提取文本、图像、表格和方程式。

Mistral OCR 是由 Mistral AI 开发的先进光学字符识别 API，旨在以无与伦比的准确性提取和结构化文档内容。它能够处理包含文本、图像、表格和方程式的复杂文档，输出 Markdown 格式的结果，便于与 AI 系统和检索增强生成（RAG）系统集成。其高精度、高速度和多模态处理能力使其在大规模文档处理场景中表现出色，尤其适用于科研、法律、客服和历史文献保护等领域。Mistral OCR 的定价为每美元 1000 页标准使用量，批量处理可达每美元 2000 页，还提供企业自托管选项，满足特定隐私需求。

EgoLife是一个长期、多模态、多视角的日常生活AI助手项目，旨在推进长期上下文理解研究。

EgoLife是一个面向长期、多模态、多视角日常生活的AI助手项目。该项目通过记录六名志愿者一周的共享生活体验，生成了约50小时的视频数据，涵盖日常活动、社交互动等场景。其多模态数据（包括视频、视线、IMU数据）和多视角摄像头系统为AI研究提供了丰富的上下文信息。此外，该项目提出了EgoRAG框架，用于解决长期上下文理解任务，推动了AI在复杂环境中的应用能力。

Gemini 2.0 Flash-Lite 是高效的语言模型，专为长文本处理和多种应用场景优化。

Gemini 2.0 Flash-Lite 是 Google 推出的高效语言模型，专为长文本处理和复杂任务优化。它在推理、多模态、数学和事实性基准测试中表现出色，具备简化的价格策略，使得百万级上下文窗口更加经济实惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面开放，适合企业级生产使用。

Phi-4-multimodal-instruct 是微软开发的轻量级多模态基础模型，支持文本、图像和音频输入。

Phi-4-multimodal-instruct 是微软开发的多模态基础模型，支持文本、图像和音频输入，生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建，经过监督微调、直接偏好优化和人类反馈强化学习等过程，以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入，具有128K的上下文长度，适用于多种多模态任务，如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升，尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力，可用于构建各种多模态应用。

Magma-8B 是微软推出的一款多模态 AI 模型，能够处理图像和文本输入并生成文本输出。

Magma-8B 是微软开发的一款多模态 AI 基础模型，专为研究多模态 AI 代理而设计。它结合了文本和图像输入，能够生成文本输出，并具备视觉规划和代理能力。该模型使用了 Meta LLaMA-3 作为语言模型骨干，并结合 CLIP-ConvNeXt-XXLarge 视觉编码器，支持从无标签视频数据中学习时空关系，具有强大的泛化能力和多任务适应性。Magma-8B 在多模态任务中表现出色，特别是在空间理解和推理方面。它为多模态 AI 研究提供了强大的工具，推动了虚拟和现实环境中复杂交互的研究。

DeepSeek 是一款先进的 AI 语言模型，擅长逻辑推理、数学和编程任务，提供免费使用。

DeepSeek 是由 High-Flyer 基金支持的中国 AI 实验室开发的先进语言模型，专注于开源模型和创新训练方法。其 R1 系列模型在逻辑推理和问题解决方面表现出色，采用强化学习和混合专家框架优化性能，以低成本实现高效训练。DeepSeek 的开源策略推动了社区创新，同时引发了关于 AI 竞争和开源模型影响力的行业讨论。其免费且无需注册的使用方式进一步降低了用户门槛，适合广泛的应用场景。

Magma 是一个能够理解和执行多模态输入的基础模型，可用于复杂任务和环境。

Magma 是微软研究团队推出的一个多模态基础模型，旨在通过视觉、语言和动作的结合，实现复杂任务的规划和执行。它通过大规模的视觉语言数据预训练，具备了语言理解、空间智能和动作规划的能力，能够在 UI 导航、机器人操作等任务中表现出色。该模型的出现为多模态 AI 代理任务提供了一个强大的基础框架，具有广泛的应用前景。

xAI推出的最新旗舰AI模型Grok 3，具备强大的推理和多模态处理能力。

Grok 3是由Elon Musk的AI公司xAI开发的最新旗舰AI模型。它在计算能力和数据集规模上显著提升，能够处理复杂的数学、科学问题，并支持多模态输入。其主要优点是推理能力强大，能够提供更准确的答案，并且在某些基准测试中超越了现有的顶尖模型。Grok 3的推出标志着xAI在AI领域的进一步发展，旨在为用户提供更智能、更高效的AI服务。该模型目前主要通过Grok APP和X平台提供服务，未来还将推出语音模式和企业API接口。其定位是高端AI解决方案，主要面向需要深度推理和多模态交互的用户。

MedRAX是一个用于胸部X光片解读的医疗推理AI代理，整合多种分析工具，无需额外训练即可处理复杂医疗查询。

MedRAX是一个创新的AI框架，专门用于胸部X光（CXR）的智能分析。它通过整合最先进的CXR分析工具和多模态大型语言模型，能够动态处理复杂的医疗查询。MedRAX无需额外训练即可运行，支持实时CXR解读，适用于多种临床场景。其主要优点包括高度的灵活性、强大的推理能力以及透明的工作流程。该产品面向医疗专业人员，旨在提高诊断效率和准确性，推动医疗AI的实用化。

Gemini Pro 是 Google DeepMind 推出的高性能 AI 模型，专注于复杂任务处理和编程性能。

Gemini Pro 是 Google DeepMind 推出的最先进 AI 模型之一，专为复杂任务和编程场景设计。它在代码生成、复杂指令理解和多模态交互方面表现出色，支持文本、图像、视频和音频输入。Gemini Pro 提供强大的工具调用能力，如 Google 搜索和代码执行，能够处理长达 200 万字的上下文信息，适合需要高性能 AI 支持的专业用户和开发者。

CUA 是一种能够通过图形界面与数字世界交互的通用接口。

Computer-Using Agent (CUA) 是 OpenAI 开发的一种先进的人工智能模型，结合了 GPT-4o 的视觉能力和通过强化学习的高级推理能力。它能够像人类一样与图形用户界面（GUI）交互，无需依赖特定操作系统的 API 或网络接口。CUA 的灵活性使其能够在多种数字环境中执行任务，如填写表单、浏览网页等。这一技术的出现标志着 AI 发展的下一步，为 AI 在日常工具中的应用开辟了新的可能性。CUA 目前处于研究预览阶段，通过 Operator 提供给美国的 Pro 用户使用。

SmolVLM-500M 是一个轻量级多模态模型，能够处理图像和文本输入并生成文本输出。

SmolVLM-500M 是由 Hugging Face 开发的轻量级多模态模型，属于 SmolVLM 系列。该模型基于 Idefics3 架构，专注于高效的图像和文本处理任务。它能够接受任意顺序的图像和文本输入，生成文本输出，适用于图像描述、视觉问答等任务。其轻量级架构使其能够在资源受限的设备上运行，同时保持强大的多模态任务性能。该模型采用 Apache 2.0 许可证，支持开源和灵活的使用场景。

Gemini 2.0 Flash Thinking Experimental 是一款增强推理模型，能够展示其思考过程以提升性能和可解释性。

Gemini Flash Thinking 是 Google DeepMind 推出的最新 AI 模型，专为复杂任务设计。它能够展示推理过程，帮助用户更好地理解模型的决策逻辑。该模型在数学和科学领域表现出色，支持长文本分析和代码执行功能。它旨在为开发者提供强大的工具，以推动人工智能在复杂任务中的应用。

一个用于智能设备等的多模态原生代理框架。

OmAgent是一个多模态原生代理框架，用于智能设备等。它采用分治算法高效解决复杂任务，能预处理长视频并以类似人类的精度进行问答，还能基于用户请求和可选天气条件提供个性化服装建议等。目前官网未明确显示价格，但从功能来看，主要面向需要高效任务处理和智能交互的用户群体，如开发者、企业等。

多模态大型语言模型，提升视觉与语言的交互能力。

InternVL2_5-26B-MPO是一个多模态大型语言模型（MLLM），它在InternVL2.5的基础上，通过混合偏好优化（Mixed Preference Optimization, MPO）进一步提升了模型性能。该模型能够处理包括图像、文本在内的多模态数据，广泛应用于图像描述、视觉问答等场景。它的重要性在于能够理解和生成与图像内容紧密相关的文本，推动了多模态人工智能的边界。产品背景信息包括其在多模态任务中的卓越性能，以及在OpenCompass Learderboard中的评估结果。该模型为研究者和开发者提供了强大的工具，以探索和实现多模态人工智能的潜力。

多模态大型语言模型，提升视觉和语言的综合理解能力

InternVL2_5-1B-MPO是一个多模态大型语言模型（MLLM），它基于InternVL2.5和混合偏好优化（MPO）构建，展示了优越的整体性能。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在模型架构上保留了与InternVL 2.5及其前身相同的“ViT-MLP-LLM”范式，并引入了对多图像和视频数据的支持。该模型在多模态任务中表现出色，能够处理包括图像描述、视觉问答等多种视觉语言任务。

下一代开发者AI工具，提升开发效率与应用互动性

Gemini 2.0 Flash是Google推出的下一代AI模型，旨在赋予开发者构建未来AI应用的能力。自去年12月发布Gemini 1.0以来，数百万开发者已使用Google AI Studio和Vertex AI构建了支持109种语言的Gemini应用。Gemini 2.0 Flash在性能上是1.5 Pro的两倍，同时实现了更强的性能，包括新的多模态输出和原生工具使用。它通过Gemini API在Google AI Studio和Vertex AI中提供实验性访问，并计划在明年初全面上市。Gemini 2.0 Flash的主要优点包括更好的性能、新的输出模态、原生工具使用和多模态实时API，这些功能将进一步提升开发者的工作效率和应用的互动性。

Google新一代AI模型，开启智能助理新时代。

Gemini 2.0是Google DeepMind推出的最新AI模型，旨在为“智能助理时代”提供支持。该模型在多模态能力上进行了升级，包括原生图像和音频输出以及工具使用能力，使得构建新的AI智能助理更加接近通用助理的愿景。Gemini 2.0的发布，标志着Google在AI领域的深入探索和持续创新，通过提供更强大的信息处理和输出能力，使得信息更加有用，为用户带来更高效和便捷的体验。

前沿级多模态AI模型，提供图像和文本理解

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型，基于Mistral Large 2构建，具备领先的图像理解能力，能够理解文档、图表和自然图像，同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异，特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力，超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL)，以及适用于商业用途的Mistral Commercial License。

前沿AI技术，您的智能工作助手。

Mistral AI 提供的 le Chat 是一个免费的生成性AI工作助手，旨在通过前沿的AI技术提升人类的工作效率和创造力。le Chat 结合了搜索、视觉、创意、编码等多种功能，为用户提供了一个多功能的智能平台。它不仅能够进行网络搜索并引用来源，还拥有创意画布、文档和图像理解、图像生成等功能，并且支持任务自动化。Mistral AI 的使命是将前沿AI技术交到用户手中，让用户决定如何利用这些高级AI能力。目前，所有这些功能都以免费试用的形式提供，未来将推出更高级的服务保证。

智能交互式图像编辑系统

MagicQuill是一个集成的图像编辑系统，旨在支持用户快速实现创意。该系统以简洁而功能强大的界面为起点，使用户能够通过简单的几笔操作表达他们的想法，如插入元素、擦除对象、改变颜色等。这些交互由多模态大型语言模型（MLLM）实时监控，以预测用户意图，无需输入提示。最后，我们应用强大的扩散先验，通过精心学习的双分支插件模块，精确控制编辑请求。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。

AI模拟人类使用计算机的能力

Computer use是Anthropic公司推出的AI模型Claude 3.5 Sonnet的一项新功能，它能够模拟人类与计算机的交互方式，执行点击屏幕、输入信息等操作。这项功能的开发代表了AI在模拟人类行为方面取得了重大进展，为AI助理解锁了广泛的应用场景。Computer use功能在安全性、多模态能力和逻辑推理方面都有显著提升，代表了AI技术的新前沿。目前，该功能处于公测阶段，其性能在同类AI模型中处于领先地位。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

新一代多模态内容审核模型

omni-moderation-latest 是基于 GPT-4o 构建的新一代多模态内容审核模型，它在文本和图像内容的有害信息检测方面更加精确，帮助开发者构建更强大的审核系统。该模型支持文本和图像输入，特别在非英语语言中表现更准确。它能够评估内容是否符合诸如仇恨、暴力、自残等类别，并且提供更细致的审核决策控制。此外，它还提供概率分数来反映内容与检测类别的匹配可能性。该模型对所有开发者免费开放，旨在帮助开发者从最新的研究和安全系统投资中受益。

先进的多模态AI模型家族

Molmo是一个开放的、最先进的多模态AI模型家族，旨在通过学习指向其感知的内容，实现与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容，实现了与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。