产品库

大型视频-语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型，专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能，能够处理复杂的视频内容，并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化，为视频内容的智能分析和处理提供了强大的支持。

多模态12B参数模型，结合视觉编码器处理图像和文本。

Pixtral-12B-2409是由Mistral AI团队开发的多模态模型，包含12B参数的多模态解码器和400M参数的视觉编码器。该模型在多模态任务中表现出色，支持不同尺寸的图像，并在文本基准测试中保持最前沿的性能。它适用于需要处理图像和文本数据的高级应用，如图像描述生成、视觉问答等。

轻量级语言模型编程库，将提示视为函数。

ell是一个轻量级的语言模型编程库，它将提示视为函数，而不是简单的字符串。ell的设计基于在OpenAI和创业生态系统中多年构建和使用语言模型的经验。它提供了一种全新的编程方式，允许开发者通过定义函数来生成发送给语言模型的字符串提示或消息列表。这种封装方式为用户创建了一个清晰的接口，用户只需关注LMP所需的数据。ell还提供了丰富的工具，支持监控、版本控制和可视化，使得提示工程从一门黑艺术转变为一门科学。

与私有自托管语言模型对话的iOS/macOS应用

Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用，它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品，允许在iOS生态系统（macOS、iOS、Watch、Vision Pro）的所有设备上提供无过滤、安全、私密和多模态的体验。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

一款强大的多模态小语言模型

Imp项目旨在提供一系列强大的多模态小语言模型（MSLMs）。我们的imp-v1-3b是一个拥有30亿参数的强大MSLM，它建立在一个小而强大的SLM Phi-2（27亿）和一个强大的视觉编码器SigLIP（4亿）之上，并在LLaVA-v1.5训练集上进行了训练。Imp-v1-3b在各种多模态基准测试中明显优于类似模型规模的对手，甚至在各种多模态基准测试中表现略优于强大的LLaVA-7B模型。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

高效多模态大型语言模型

TinyGPT-V 是一种高效的多模态大型语言模型，通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力，适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型，具备出色的性能和效率。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

发现 LLM 的创意与幽默潜力

CLoT 是一个用于探索大型语言模型创意能力的创新工具。它通过生成幽默的回应来挑战用户的思维，帮助用户发现语言模型的潜力。CLoT 不仅限于幽默生成，还可以用于其他创意任务。请访问我们的官方网站了解更多信息。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

赋予LLM查看和绘图的能力

SEED是一个大规模预训练的模型，通过对交错的文本和视觉数据进行预训练和指导调整，展现了在广泛的多模态理解和生成任务上的出色性能。SEED还具有组合性新兴能力，例如多轮上下文多模态生成，就像您的AI助手一样。SEED还包括SEED Tokenizer v1和SEED Tokenizer v2，它们可以将文本转换为图像。

多模态综合理解与创作

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

新一代多模态内容审核模型

omni-moderation-latest 是基于 GPT-4o 构建的新一代多模态内容审核模型，它在文本和图像内容的有害信息检测方面更加精确，帮助开发者构建更强大的审核系统。该模型支持文本和图像输入，特别在非英语语言中表现更准确。它能够评估内容是否符合诸如仇恨、暴力、自残等类别，并且提供更细致的审核决策控制。此外，它还提供概率分数来反映内容与检测类别的匹配可能性。该模型对所有开发者免费开放，旨在帮助开发者从最新的研究和安全系统投资中受益。

先进的多模态AI模型家族

Molmo是一个开放的、最先进的多模态AI模型家族，旨在通过学习指向其感知的内容，实现与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容，实现了与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

可视化和透明的开源ChatGPT替代品

Show-Me是一个开源应用程序，旨在提供传统大型语言模型(如ChatGPT)交互的可视化和透明替代方案。它通过将复杂问题分解成一系列推理子任务，使用户能够理解语言模型的逐步思考过程。该应用程序使用LangChain与语言模型交互，并通过动态图形界面可视化推理过程。

高效准确的AI语言模型

Llama-3.1-Nemotron-51B是由NVIDIA基于Meta的Llama-3.1-70B开发的新型语言模型，通过神经架构搜索（NAS）技术优化，实现了高准确率和高效率。该模型能够在单个NVIDIA H100 GPU上运行，显著降低了内存占用，减少了内存带宽和计算量，同时保持了优秀的准确性。它代表了AI语言模型在准确性和效率之间取得的新平衡，为开发者和企业提供了成本可控的高性能AI解决方案。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

通过生成式AI激活人类潜能

Stability AI是一个专注于生成式人工智能技术的公司，提供多种AI模型，包括文本到图像、视频、音频、3D和语言模型。这些模型能够处理复杂提示，生成逼真的图像和视频，以及高质量的音乐和音效。公司提供灵活的许可选项，包括自托管许可和平台API，以满足不同用户的需求。Stability AI致力于通过开放模型，为全球每个人提供高质量的AI服务。

首个多模态 Mistral 模型，支持图像和文本的混合任务处理。

Pixtral 12B 是 Mistral AI 团队开发的一款多模态 AI 模型，它能够理解自然图像和文档，具备出色的多模态任务处理能力，同时在文本基准测试中也保持了最先进的性能。该模型支持多种图像尺寸和宽高比，能够在长上下文窗口中处理任意数量的图像，是 Mistral Nemo 12B 的升级版，专为多模态推理而设计，不牺牲关键文本处理能力。

几行代码接入大模型

智谱AI大模型开放平台是一个提供多种AI模型服务的平台，支持开发者和企业快速接入大模型API，构建变革性AI体验。平台提供GLM-4系列大模型，包括免费模型GLM-4-Flash、全自研最新版本GLM-4-Plus、支持200万上下文的GLM-4-Long等。此外，还提供多模态大模型，如视觉能力GLM-4V-Plus、文生图CogView-3-Plus、文生视频CogVideoX。平台面向开发者提供模型API、Alltools API、批处理API等服务，面向企业服务提供医疗健康、汽车、游戏娱乐、文旅、智能终端、智能制造、消费等行业解决方案。

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

连接大型语言模型与谷歌数据共享平台，减少AI幻觉现象。

DataGemma是世界上首个开放模型，旨在通过谷歌数据共享平台的大量真实世界统计数据，帮助解决AI幻觉问题。这些模型通过两种不同的方法增强了语言模型的事实性和推理能力，从而减少幻觉现象，提升AI的准确性和可靠性。DataGemma模型的推出，是AI技术在提升数据准确性和减少错误信息传播方面的重要进步，对于研究人员、决策者以及普通用户来说，都具有重要的意义。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。