产品库

构建定制的大型语言模型（LLM）以增强聊天机器人的能力。

ChatRTX 是 NVIDIA 提供的一个用于构建定制大型语言模型（LLM）的平台，旨在提升聊天机器人的智能水平和交互能力。它利用先进的 AI 技术，通过理解自然语言处理（NLP）来提供更加人性化的对话体验。ChatRTX 的主要优点包括高度的可定制性、强大的语言理解能力和高效的交互设计，适合需要高级对话系统的各种商业应用。

高质量英文网页数据集

FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据，来源于CommonCrawl。该数据集专为大型语言模型预训练设计，旨在推动开源模型的发展。数据集经过精心处理和筛选，以确保高质量，适用于各种自然语言处理任务。

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

一个基于稀疏专家模型的大型语言模型

Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型。它由Mistral AI团队开发,旨在推进人工智能的开放发展。该模型具有141B个参数,支持多种优化部署方式,如半精度、量化等,以满足不同的硬件和应用场景需求。Mixtral-8x22B可以用于文本生成、问答、翻译等自然语言处理任务。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。

一个用于评估大型视觉语言模型的精英基准测试集

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

大规模MoE语言模型,性能媲美七十亿参数模型

Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。

基于大语言模型的问答系统,可回答各种问题

Search4All是一个基于大语言模型的问答系统。它可以回答各种问题,包括事实性问题、解释性问题、分析问题等。该系统使用先进的自然语言处理技术,能够深入理解问题的含义并给出准确的答复。它具有广泛的知识储备,涵盖了历史、地理、科学、艺术、体育等多个领域。同时,它还具备一定的推理和分析能力,可以对复杂问题进行逻辑分析和建议性回答。使用Search4All可以帮助用户快速获取所需信息,提高工作效率。

探讨多模态大型语言模型在解决视觉数学问题中的能力

MATHVERSE项目旨在评估多模态大型语言模型处理和理解视觉数学问题的能力，特别是如何解析和理解问题中的图表信息。

HyperGAI推出的创新多模态LLM框架，旨在理解和处理文本、图像、视频等多种输入模态

HPT（Hyper-Pretrained Transformers）是HyperGAI研究团队推出的新型多模态大型语言模型框架，它能够高效且可扩展地训练大型多模态基础模型，理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练，也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。

苹果发布多模态LLM模型MM1

苹果发布了自己的大语言模型MM1，这是一个最高有30B规模的多模态LLM。通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能，展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。

WhiteRabbitNeo-7B-v1.5a 是一个预训练的大型语言模型，可用于多种自然语言处理任务。

WhiteRabbitNeo-7B-v1.5a 是WhiteRabbitNeo系列的一个版本，这是一系列大规模、面向自然语言处理任务的预训练语言模型。该模型能够支持文本生成、摘要、翻译等多种任务。

新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

开源自然语言生成模型

OLMo是一个开源的自然语言生成模型,由Allen AI研究所开发,基于Transformer架构,可用于生成高质量的英文文本。它具有生成长度可达4096个token的长文本的能力。OLMo-7B是目前公开的参数量最大的开源英文语言模型之一,拥有69亿参数,在多个英文NLP任务上的表现优于同类模型。它可用于文本生成、任务导向的微调等多种自然语言处理任务。

集成音乐能力的开源LLM

ChatMusician是一个开源的大型语言模型（LLM），它通过持续的预训练和微调，集成了音乐能力。该模型基于文本兼容的音乐表示法（ABC记谱法），将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下，理解和生成音乐。

用户友好的LLMs WebUI

Open WebUI是一个为LLMs（大型语言模型）设计的友好型Web用户界面，支持Ollama和OpenAI兼容的API。它提供了直观的聊天界面、响应式设计、快速响应性能、简易安装、代码语法高亮、Markdown和LaTeX支持、本地RAG集成、Web浏览能力、提示预设支持、RLHF注释、会话标记、模型下载/删除、GGUF文件模型创建、多模型支持、多模态支持、模型文件构建器、协作聊天、OpenAI API集成等功能。

谷歌70亿参数的语言模型

Gemma-7B是由谷歌开发的一个具有70亿参数的大型预训练语言模型，旨在提供强大的自然语言处理能力。它能够理解和生成文本，支持多种语言，适用于多种应用场景。

通过自然语言指令实现智能图像编辑的开源技术。

MGIE（多模态大语言模型引导的编辑）是一项由苹果开源的技术，利用多模态大型语言模型（MLLMs）生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

超千亿参数的大语言模型

百川智能Baichuan 3是一款超千亿参数的大语言模型，在多个权威通用能力评测中展现出色，特别在中文任务上超越了GPT-4。它在自然语言处理、代码生成、医疗任务等领域表现优异，采用了多项创新技术手段提升模型能力，包括动态数据选择、重要度保持和异步CheckPoint存储等。训练过程中采用因果采样的动态训练数据选择方案，保证数据质量；引入了重要度保持的渐进式初始化方法，优化模型训练稳定性；并针对并行训练问题进行了一系列优化，性能提升超过30%。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

一款强大的多模态小语言模型

Imp项目旨在提供一系列强大的多模态小语言模型（MSLMs）。我们的imp-v1-3b是一个拥有30亿参数的强大MSLM，它建立在一个小而强大的SLM Phi-2（27亿）和一个强大的视觉编码器SigLIP（4亿）之上，并在LLaVA-v1.5训练集上进行了训练。Imp-v1-3b在各种多模态基准测试中明显优于类似模型规模的对手，甚至在各种多模态基准测试中表现略优于强大的LLaVA-7B模型。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

覆盖534种语言的大型语言模型

MaLA-500是一种大型语言模型，旨在覆盖534种语言。通过使用词汇扩展和在LLaMA 2上持续预训练以及Glot500-c，我们训练了MaLA-500。我们在SIB-200上的实验表明，MaLA-500实现了最先进的上下文学习结果。该产品定位于提高低资源语言的自然语言处理效果。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

强大的中文语言模型

Beagle14-7B 是一个强大的中文语言模型，可以用于各种自然语言处理任务。它基于多个预训练模型进行了合并，包含丰富的语言知识和表达能力。Beagle14-7B 具有高效的文本生成能力和准确的语义理解能力，可以广泛应用于聊天机器人、文本生成、摘要提取等任务。Beagle14-7B 的定价信息请访问官方网址了解详情。