产品库

谷歌多模态AI模型Gemini,支持文本和图像的组合推理

Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。

一键部署您的私人Gemini应用

TalkWithGemini 是一款支持一键免费部署的跨平台应用，用户可以通过这个应用与 Gemini 模型进行交互，支持图片识别、语音对话等多模态交互方式，提高工作效率。

多模态原生Mixture-of-Experts模型

Aria-Base-64K是Aria系列的基础模型之一，专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成，经过33B个token（21B多模态，12B语言，69%为长文本）的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调，即使在资源有限的情况下，也可以通过短指令调优数据集进行后训练，并转移到长文本问答场景。该模型能够理解多达250张高分辨率图像或多达500张中等分辨率图像，并在语言和多模态场景中保持强大的基础性能。

先进的多模态图像生成模型，结合文本提示和视觉参考生成高质量图像。

Qwen2vl-Flux是一个结合了Qwen2VL视觉语言理解能力的FLUX框架的先进多模态图像生成模型。该模型擅长基于文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制。产品背景信息显示，Qwen2vl-Flux集成了Qwen2VL的视觉语言能力，增强了FLUX的图像生成精度和上下文感知能力。其主要优点包括增强的视觉语言理解、多种生成模式、结构控制、灵活的注意力机制和高分辨率输出。

多语言多模态嵌入模型，用于文本和图像检索。

jina-clip-v2是由Jina AI开发的多语言多模态嵌入模型，支持89种语言的图像检索，能够处理512x512分辨率的图像，提供从64到1024不同维度的输出，以适应不同的存储和处理需求。该模型结合了强大的文本编码器Jina-XLM-RoBERTa和视觉编码器EVA02-L14，通过联合训练创建了对齐的图像和文本表示。jina-clip-v2在多模态搜索和检索方面提供了更准确、更易用的能力，特别是在打破语言障碍、提供跨模态理解和检索方面表现出色。

为数据中心打造的高效AI推理平台

d-Matrix是一家专注于AI推理技术的公司，其旗舰产品Corsair™是为数据中心设计的AI推理平台，能够提供极高的推理速度和极低的延迟。d-Matrix通过硬件软件协同设计，优化了Generative AI推理性能，推动了AI技术在数据中心的应用，使得大规模AI推理变得更加高效和可持续。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

前沿级多模态AI模型，提供图像和文本理解

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型，基于Mistral Large 2构建，具备领先的图像理解能力，能够理解文档、图表和自然图像，同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异，特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力，超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL)，以及适用于商业用途的Mistral Commercial License。

前沿AI技术，您的智能工作助手。

Mistral AI 提供的 le Chat 是一个免费的生成性AI工作助手，旨在通过前沿的AI技术提升人类的工作效率和创造力。le Chat 结合了搜索、视觉、创意、编码等多种功能，为用户提供了一个多功能的智能平台。它不仅能够进行网络搜索并引用来源，还拥有创意画布、文档和图像理解、图像生成等功能，并且支持任务自动化。Mistral AI 的使命是将前沿AI技术交到用户手中，让用户决定如何利用这些高级AI能力。目前，所有这些功能都以免费试用的形式提供，未来将推出更高级的服务保证。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

智能交互式图像编辑系统

MagicQuill是一个集成的图像编辑系统，旨在支持用户快速实现创意。该系统以简洁而功能强大的界面为起点，使用户能够通过简单的几笔操作表达他们的想法，如插入元素、擦除对象、改变颜色等。这些交互由多模态大型语言模型（MLLM）实时监控，以预测用户意图，无需输入提示。最后，我们应用强大的扩散先验，通过精心学习的双分支插件模块，精确控制编辑请求。

现代Python数据框库，专为人工智能设计。

DataChain是一个现代的Python数据框库，专为人工智能设计。它旨在将非结构化数据组织成数据集，并在本地机器上大规模处理数据。DataChain不抽象或隐藏AI模型和API调用，而是帮助将它们集成到后现代数据堆栈中。该产品以其高效性、易用性和强大的数据处理能力为主要优点，支持多种数据存储和处理方式，包括图像、视频、文本等多种数据类型，并且能够与PyTorch和TensorFlow等深度学习框架无缝对接。DataChain是开源的，遵循Apache-2.0许可协议，免费供用户使用。

视觉语言模型，结合图像和文本信息进行智能处理。

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型（VLM），选用Qwen2.5-1.5B-instruct模型作为语言模型（LLM），并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练，包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源，旨在推动多模态性能的发展，特别是在图像和文本的结合处理方面。

基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。

AI模拟人类使用计算机的能力

Computer use是Anthropic公司推出的AI模型Claude 3.5 Sonnet的一项新功能，它能够模拟人类与计算机的交互方式，执行点击屏幕、输入信息等操作。这项功能的开发代表了AI在模拟人类行为方面取得了重大进展，为AI助理解锁了广泛的应用场景。Computer use功能在安全性、多模态能力和逻辑推理方面都有显著提升，代表了AI技术的新前沿。目前，该功能处于公测阶段，其性能在同类AI模型中处于领先地位。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

多模态理解和生成的统一模型

Janus是一个创新的自回归框架，它通过分离视觉编码来实现多模态理解和生成的统一。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus超越了以往的统一模型，并与特定任务的模型性能相匹配或超越。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

新一代自回归框架，统一多模态理解和生成

Janus是一个创新的自回归框架，通过将视觉编码分离成不同的路径，同时利用单一的、统一的变换器架构进行处理，解决了以往方法的局限性。这种解耦不仅减轻了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus的性能超越了以往的统一模型，并且达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

实时多模态内容审核平台

Seyft AI 是一个实时的多模态内容审核平台，能够过滤文本、图像和视频中的有害和不相关内容，确保合规性，并为不同的语言和文化背景提供个性化解决方案。该平台的主要优点包括实时审核、多语言支持、无需人工干预的图像和视频审核，以及易于集成的API。Seyft AI 的背景信息显示，它旨在帮助企业保持数字空间的清洁和安全，适用于需要内容审核的各种应用场景。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

训练和部署嵌入式模型的AI平台

Marqo是一个专注于训练和部署嵌入式模型的平台，它提供了一个端到端的解决方案，从模型训练到推理，再到存储。Marqo支持150多种嵌入式模型，并且可以快速原型设计，加速迭代，并无缝部署。该平台支持多模态模型，如CLIP，可以从图像和其他数据类型中提取语义信息，实现文本和图像的无缝搜索，甚至可以将文本和图像组合成一个向量。Marqo还支持100多种语言的搜索，提供最先进的多语言模型，无需手动进行语言配置即可扩展到新的地区。此外，Marqo的可扩展性允许用户在笔记本电脑上的Docker镜像中运行，也可以扩展到云端数十个GPU推理节点，提供低延迟的搜索服务。

即买即用的人工智能对话服务

2233.ai是一个提供即买即用人工智能对话服务的网站。用户无需注册账号即可购买并使用服务，享受原生的ChatGPT Plus或Claude Pro体验。该平台强调个人隐私保护，每位用户的对话记录独立存储，确保私密安全。此外，2233.ai承诺无网络限制或封号问题，用户可以随时随地接入服务。价格方面，2233.ai提供的服务价格不到ChatGPT Plus订阅的一半，让更多人能够以更优惠的价格享受到先进的人工智能技术。

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

统一文本、音乐和动作生成模型

UniMuMo是一个多模态模型，能够将任意文本、音乐和动作数据作为输入条件，生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示，通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型，显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。