产品库

大型视频-语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型，专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能，能够处理复杂的视频内容，并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化，为视频内容的智能分析和处理提供了强大的支持。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

多模态12B参数模型，结合视觉编码器处理图像和文本。

Pixtral-12B-2409是由Mistral AI团队开发的多模态模型，包含12B参数的多模态解码器和400M参数的视觉编码器。该模型在多模态任务中表现出色，支持不同尺寸的图像，并在文本基准测试中保持最前沿的性能。它适用于需要处理图像和文本数据的高级应用，如图像描述生成、视觉问答等。

轻量级语言模型编程库，将提示视为函数。

ell是一个轻量级的语言模型编程库，它将提示视为函数，而不是简单的字符串。ell的设计基于在OpenAI和创业生态系统中多年构建和使用语言模型的经验。它提供了一种全新的编程方式，允许开发者通过定义函数来生成发送给语言模型的字符串提示或消息列表。这种封装方式为用户创建了一个清晰的接口，用户只需关注LMP所需的数据。ell还提供了丰富的工具，支持监控、版本控制和可视化，使得提示工程从一门黑艺术转变为一门科学。

与私有自托管语言模型对话的iOS/macOS应用

Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用，它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品，允许在iOS生态系统（macOS、iOS、Watch、Vision Pro）的所有设备上提供无过滤、安全、私密和多模态的体验。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

一款强大的多模态小语言模型

Imp项目旨在提供一系列强大的多模态小语言模型（MSLMs）。我们的imp-v1-3b是一个拥有30亿参数的强大MSLM，它建立在一个小而强大的SLM Phi-2（27亿）和一个强大的视觉编码器SigLIP（4亿）之上，并在LLaVA-v1.5训练集上进行了训练。Imp-v1-3b在各种多模态基准测试中明显优于类似模型规模的对手，甚至在各种多模态基准测试中表现略优于强大的LLaVA-7B模型。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

高效多模态大型语言模型

TinyGPT-V 是一种高效的多模态大型语言模型，通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力，适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型，具备出色的性能和效率。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

发现 LLM 的创意与幽默潜力

CLoT 是一个用于探索大型语言模型创意能力的创新工具。它通过生成幽默的回应来挑战用户的思维，帮助用户发现语言模型的潜力。CLoT 不仅限于幽默生成，还可以用于其他创意任务。请访问我们的官方网站了解更多信息。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

赋予LLM查看和绘图的能力

SEED是一个大规模预训练的模型，通过对交错的文本和视觉数据进行预训练和指导调整，展现了在广泛的多模态理解和生成任务上的出色性能。SEED还具有组合性新兴能力，例如多轮上下文多模态生成，就像您的AI助手一样。SEED还包括SEED Tokenizer v1和SEED Tokenizer v2，它们可以将文本转换为图像。

多模态综合理解与创作

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

前沿级多模态AI模型，提供图像和文本理解

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型，基于Mistral Large 2构建，具备领先的图像理解能力，能够理解文档、图表和自然图像，同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异，特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力，超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL)，以及适用于商业用途的Mistral Commercial License。

前沿AI技术，您的智能工作助手。

Mistral AI 提供的 le Chat 是一个免费的生成性AI工作助手，旨在通过前沿的AI技术提升人类的工作效率和创造力。le Chat 结合了搜索、视觉、创意、编码等多种功能，为用户提供了一个多功能的智能平台。它不仅能够进行网络搜索并引用来源，还拥有创意画布、文档和图像理解、图像生成等功能，并且支持任务自动化。Mistral AI 的使命是将前沿AI技术交到用户手中，让用户决定如何利用这些高级AI能力。目前，所有这些功能都以免费试用的形式提供，未来将推出更高级的服务保证。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

智能交互式图像编辑系统

MagicQuill是一个集成的图像编辑系统，旨在支持用户快速实现创意。该系统以简洁而功能强大的界面为起点，使用户能够通过简单的几笔操作表达他们的想法，如插入元素、擦除对象、改变颜色等。这些交互由多模态大型语言模型（MLLM）实时监控，以预测用户意图，无需输入提示。最后，我们应用强大的扩散先验，通过精心学习的双分支插件模块，精确控制编辑请求。

基于LLM的智能字幕助手，一键生成高质量视频字幕

卡卡字幕助手（VideoCaptioner）是一款功能强大的视频字幕配制软件，利用大语言模型进行字幕智能断句、校正、优化、翻译，实现字幕视频全流程一键处理。产品无需高配置，操作简单，内置基础LLM模型，保证开箱即用，且消耗模型Token少，适合视频制作者和内容创作者。

专为软件改进设计的开源大型语言模型。

Lingma SWE-GPT是一个开源的大型语言模型，专注于软件工程领域的任务，旨在提供智能化的开发支持。该模型基于Qwen系列基础模型，经过额外训练以增强其在复杂软件工程任务中的能力。它在软件工程智能代理的权威排行榜上表现出色，适合需要自动化软件改进的开发团队和研究人员。

人类中心语言模型和模拟器的领导者

Nous Research专注于开发以人为中心的语言模型和模拟器，致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型，挑战传统的封闭模型方法。

视频序列理解的GPU实现模型

PPLLaVA是一个高效的视频大型语言模型，它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果，仅使用1024个视觉令牌，吞吐量提高了8倍。

现代Python数据框库，专为人工智能设计。

DataChain是一个现代的Python数据框库，专为人工智能设计。它旨在将非结构化数据组织成数据集，并在本地机器上大规模处理数据。DataChain不抽象或隐藏AI模型和API调用，而是帮助将它们集成到后现代数据堆栈中。该产品以其高效性、易用性和强大的数据处理能力为主要优点，支持多种数据存储和处理方式，包括图像、视频、文本等多种数据类型，并且能够与PyTorch和TensorFlow等深度学习框架无缝对接。DataChain是开源的，遵循Apache-2.0许可协议，免费供用户使用。

开源的网页自动化库，支持任何大型语言模型（LLM）

browser-use是一个开源的网页自动化库，允许大型语言模型（LLM）与网站进行交互，通过简单的接口实现复杂的网页操作。该技术的主要优点包括对多种语言模型的通用支持、交互元素自动检测、多标签页管理、XPath提取、视觉模型支持等。它解决了传统网页自动化中的一些痛点，如动态内容处理、长任务解决等。browser-use以其灵活性和易用性，为开发者提供了一个强大的工具，以构建更加智能和自动化的网页交互体验。

一款通过纯语言模型实现的文本到语音合成模型

OuteTTS-0.1-350M是一款基于纯语言模型的文本到语音合成技术，它不需要外部适配器或复杂架构，通过精心设计的提示和音频标记实现高质量的语音合成。该模型基于LLaMa架构，使用350M参数，展示了直接使用语言模型进行语音合成的潜力。它通过三个步骤处理音频：使用WavTokenizer进行音频标记化、CTC强制对齐创建精确的单词到音频标记映射、以及遵循特定格式的结构化提示创建。OuteTTS的主要优点包括纯语言建模方法、声音克隆能力、与llama.cpp和GGUF格式的兼容性。