产品库

基于视觉语言模型的检索增强型生成模型

VisRAG是一个创新的视觉语言模型（VLM）基础的RAG（Retrieval-Augmented Generation）流程。与传统的基于文本的RAG不同，VisRAG直接将文档作为图像通过VLM进行嵌入，然后检索以增强VLM的生成能力。这种方法最大限度地保留了原始文档中的数据信息，并消除了解析过程中引入的信息损失。VisRAG模型在多模态文档上的应用，展示了其在信息检索和增强文本生成方面的强大潜力。

简单快速的检索增强型生成模型

LightRAG是一个基于检索增强型生成模型，旨在通过结合检索和生成的优势来提升文本生成任务的性能。该模型在保持生成速度的同时，能够提供更准确和相关的信息，这对于需要快速且准确信息检索的应用场景尤为重要。LightRAG的开发背景是基于对现有文本生成模型的改进需求，特别是在需要处理大量数据和复杂查询时。该模型目前是开源的，可以免费使用，对于研究人员和开发者来说，它提供了一个强大的工具来探索和实现基于检索的文本生成任务。

多语言嵌入模型，用于视觉文档检索。

vdr-2b-multi-v1 是一款由 Hugging Face 推出的多语言嵌入模型，专为视觉文档检索设计。该模型能够将文档页面截图编码为密集的单向量表示，无需 OCR 或数据提取流程即可搜索和查询多语言视觉丰富的文档。基于 MrLight/dse-qwen2-2b-mrl-v1 开发，使用自建的多语言查询 - 图像对数据集进行训练，是 mcdse-2b-v1 的升级版，性能更强大。模型支持意大利语、西班牙语、英语、法语和德语，拥有 50 万高质量样本的开源多语言合成训练数据集，具有低 VRAM 和快速推理的特点，在跨语言检索方面表现出色。

长文本问答增强型检索生成模型

LongRAG是一个基于大型语言模型（LLM）的双视角、鲁棒的检索增强型生成系统范式，旨在增强对复杂长文本知识的理解和检索能力。该模型特别适用于长文本问答（LCQA），能够处理全局信息和事实细节。产品背景信息显示，LongRAG通过结合检索和生成技术，提升了对长文本问答任务的性能，特别是在需要多跳推理的场景中。该模型是开源的，可以免费使用，主要面向研究者和开发者。

KET-RAG 是一个结合知识图谱的检索增强型生成框架，用于高效文档索引和答案生成。

KET-RAG（Knowledge-Enhanced Text Retrieval Augmented Generation）是一个强大的检索增强型生成框架，结合了知识图谱技术。它通过多粒度索引框架（如知识图谱骨架和文本-关键词二分图）实现高效的知识检索和生成。该框架在降低索引成本的同时，显著提升了检索和生成质量，适用于大规模 RAG 应用场景。KET-RAG 基于 Python 开发，支持灵活的配置和扩展，适用于需要高效知识检索和生成的开发人员和研究人员。

科学文献合成的检索增强型语言模型

OpenScholar是一个检索增强型语言模型（LM），旨在通过首先搜索文献中的相关论文，然后基于这些来源生成回答，来帮助科学家有效地导航和综合科学文献。该模型对于处理每年发表的数百万篇科学论文，以及帮助科学家找到他们需要的信息或跟上单一子领域最新发现具有重要意义。

增强型语言工具包

SaltAI Language Toolkit 是一个集成了检索增强生成（RAG）工具 Llama-Index、微软的 AutoGen 和 LlaVA-Next 的项目，通过 ComfyUI 的可适应节点接口，增强了平台的功能和用户体验。该项目于2024年5月9日增加了代理功能。

视觉语言模型高效文档检索工具

ColPali 是一种基于视觉语言模型的高效文档检索工具，它通过直接嵌入文档页面图像的方式来简化文档检索流程。ColPali 利用了最新的视觉语言模型技术，特别是 PaliGemma 模型，通过晚交互机制实现多向量检索，从而提高检索性能。这一技术不仅加快了索引速度，降低了查询延迟，而且在检索包含视觉元素的文档方面表现出色，例如图表、表格和图像。ColPali 的出现，为文档检索领域带来了一种新的“视觉空间检索”范式，有助于提高信息检索的效率和准确性。

科学文献综合检索增强型语言模型

Ai2 OpenScholar是由艾伦人工智能研究所与华盛顿大学合作开发的检索增强型语言模型，旨在帮助科学家通过检索相关文献并基于这些文献生成回答来有效导航和综合科学文献。该模型在多个科学领域中表现出色，特别是在引用准确性和事实性方面。它代表了人工智能在科学研究中应用的重要进步，能够加速科学发现并提高研究效率。

企业级搜索与检索增强型基础模型

Rerank 3是一个针对企业搜索和检索辅助生成(RAG)系统优化的新型基础模型。它支持多语种、多结构数据搜索,提供高精度的语义重排,大幅提升响应准确度和延迟,同时大幅降低总体拥有成本。Rerank 3可无缝集成到任何数据库或搜索引擎中,并支持与现有应用程序原生搜索功能无缝对接。

ViDoRAG 是一个结合视觉文档检索增强生成的动态迭代推理代理框架。

ViDoRAG 是阿里巴巴自然语言处理团队开发的一种新型多模态检索增强生成框架，专为处理视觉丰富文档的复杂推理任务设计。该框架通过动态迭代推理代理和高斯混合模型（GMM）驱动的多模态检索策略，显著提高了生成模型的鲁棒性和准确性。ViDoRAG 的主要优点包括高效处理视觉和文本信息、支持多跳推理以及可扩展性强。该框架适用于需要从大规模文档中检索和生成信息的场景，例如智能问答、文档分析和内容创作。其开源特性和灵活的模块化设计使其成为研究人员和开发者在多模态生成领域的重要工具。

与Garry Tan聊天的检索增强型LLM聊天机器人

ArguflowChat是一款检索增强型LLM聊天机器人，可以与Garry Tan进行对话。它具有以下功能和优势：提供定制化解决方案、与Garry Tan进行对话、通过电子邮件联系。

视觉增强的检索与生成系统

VARAG是一个支持多种检索技术的系统，优化了文本、图像和多模态文档检索的不同用例。它通过将文档页面作为图像嵌入，简化了传统的检索流程，并使用先进的视觉语言模型进行编码，提高了检索的准确性和效率。VARAG的主要优点在于它能够处理复杂的视觉和文本内容，为文档检索提供强大的支持。

Gemini Embedding 是一种先进的文本嵌入模型，通过 Gemini API 提供强大的语言理解能力。

Gemini Embedding 是 Google 推出的一种实验性文本嵌入模型，通过 Gemini API 提供服务。该模型在多语言文本嵌入基准测试（MTEB）中表现卓越，超越了之前的顶尖模型。它能够将文本转换为高维数值向量，捕捉语义和上下文信息，广泛应用于检索、分类、相似性检测等场景。Gemini Embedding 支持超过 100 种语言，具备 8K 输入标记长度和 3K 输出维度，同时引入了嵌套表示学习（MRL）技术，可灵活调整维度以满足存储需求。该模型目前处于实验阶段，未来将推出稳定版本。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

多语言晚交互检索模型，支持嵌入和重排

Jina ColBERT v2是一个先进的晚交互检索模型，基于ColBERT架构构建，支持89种语言，并提供优越的检索性能、用户可控的输出维度和长达8192个token的文本处理能力。它在信息检索领域具有革命性的意义，通过晚交互评分近似于交叉编码器中的联合查询-文档注意力，同时保持了接近传统密集检索模型的推理效率。

用于角色扮演、检索增强生成和功能调用的小型语言模型

Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型，通过蒸馏、剪枝和量化优化，以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答（RAG QA）和功能调用进行了优化，支持 4096 个令牌的上下文长度，已准备好用于商业用途。

使用大型语言模型改进文本嵌入

E5-mistral-7b-instruct 是一个具有 32 层和 4096 个嵌入大小的文本嵌入模型。它可以用于编码查询和文档，以生成语义向量表示。该模型使用自然语言任务描述指导文本嵌入过程，可以根据不同的任务进行定制。该模型在 MS-MARCO passage ranking 数据集上进行了训练，可用于信息检索、问答等自然语言处理任务。

一个简单的检索增强生成框架，使小型模型通过异构图索引和轻量级拓扑增强检索实现良好的RAG性能。

MiniRAG是一个针对小型语言模型设计的检索增强生成系统，旨在简化RAG流程并提高效率。它通过语义感知的异构图索引机制和轻量级的拓扑增强检索方法，解决了小型模型在传统RAG框架中性能受限的问题。该模型在资源受限的场景下具有显著优势，如在移动设备或边缘计算环境中。MiniRAG的开源特性也使其易于被开发者社区接受和改进。

多模态嵌入模型，实现文本、图像和截图的无缝检索。

Voyage AI推出的voyage-multimodal-3是一款多模态嵌入模型，它能够将文本和图像（包括PDF、幻灯片、表格等的截图）进行向量化处理，并捕捉关键视觉特征，从而提高文档检索的准确性。这一技术的进步，对于知识库中包含视觉和文本的丰富信息的RAG和语义搜索具有重要意义。voyage-multimodal-3在多模态检索任务中平均提高了19.63%的检索准确率，相较于其他模型表现出色。

最新推出的多语言通用嵌入模型，在多个领域表现卓越。

Voyage-3-large 是 Voyage AI 推出的最新多语言通用嵌入模型。该模型在法律、金融、代码等八个领域的100个数据集中排名第一，超越了 OpenAI-v3-large 和 Cohere-v3-English。它通过 Matryoshka 学习和量化感知训练，支持更小维度和 int8 及二进制量化，大幅降低向量数据库成本，同时对检索质量影响极小。该模型还支持 32K 令牌上下文长度，远超 OpenAI（8K）和 Cohere（512）。

多语言多模态嵌入模型，用于文本和图像检索。

jina-clip-v2是由Jina AI开发的多语言多模态嵌入模型，支持89种语言的图像检索，能够处理512x512分辨率的图像，提供从64到1024不同维度的输出，以适应不同的存储和处理需求。该模型结合了强大的文本编码器Jina-XLM-RoBERTa和视觉编码器EVA02-L14，通过联合训练创建了对齐的图像和文本表示。jina-clip-v2在多模态搜索和检索方面提供了更准确、更易用的能力，特别是在打破语言障碍、提供跨模态理解和检索方面表现出色。

VideoRAG 是一个用于处理极长上下文视频的检索增强型生成框架。

VideoRAG 是一种创新的检索增强型生成框架，专门用于理解和处理极长上下文视频。它通过结合图驱动的文本知识锚定和层次化多模态上下文编码，实现了对无限制长度视频的理解。该框架能够动态构建知识图谱，保持多视频上下文的语义连贯性，并通过自适应多模态融合机制优化检索效率。VideoRAG 的主要优点包括高效的极长上下文视频处理能力、结构化的视频知识索引以及多模态检索能力，使其能够为复杂查询提供全面的回答。该框架在长视频理解领域具有重要的技术价值和应用前景。

增强视觉语言理解的高级大型语言模型

MiniGPT-4是一个基于先进的大型语言模型的视觉语言理解模型，具有生成详细图像描述、从手写草稿生成网站等功能。它还能根据给定的图像写故事和诗歌、提供解决问题的方法、根据食物照片教用户烹饪等。MiniGPT-4通过对原始图像文本对进行预训练，并使用对话模板的对齐数据进行微调，以提高生成结果的连贯性和准确性。MiniGPT-4的定价和定位信息请参考官方网站。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

开源的基于深度文档理解的RAG（检索增强生成）引擎

RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。

轻量级、快速的RAG文本分块库

Chonkie是一个为检索增强型生成（RAG）应用设计的文本分块库，它轻量级、快速，并且易于使用。该库提供了多种文本分块方法，支持多种分词器，并且具有高性能。Chonkie的主要优点包括丰富的功能、易用性、快速处理速度、广泛的支持和轻量级的设计。它适用于需要高效处理文本数据的开发者和研究人员，特别是在自然语言处理和机器学习领域。Chonkie是开源的，遵循MIT许可证，可以免费使用。

开创性的质量与成本新标准的图谱增强型检索增强生成模型

LazyGraphRAG是微软研究院开发的一种新型图谱增强型检索增强生成（RAG）模型，它不需要预先对源数据进行总结，从而避免了可能让一些用户和用例望而却步的前期索引成本。LazyGraphRAG在成本和质量方面具有内在的可扩展性，它通过推迟使用大型语言模型（LLM）来大幅提高答案生成的效率。该模型在本地和全局查询的性能上均展现出色，同时查询成本远低于传统的GraphRAG。LazyGraphRAG的出现，为AI系统在私有数据集上处理复杂问题提供了新的解决方案，具有重要的商业和技术价值。

一款基于NVIDIA的高性能对话式问答和检索增强型生成模型。

Llama3-ChatQA-1.5-70B 是由 NVIDIA 开发的一款先进的对话式问答和检索增强型生成（RAG）模型。该模型基于 Llama-3 基础模型，并使用改进的训练方法，特别增强了表格和算术计算能力。它有两个变体：Llama3-ChatQA-1.5-8B 和 Llama3-ChatQA-1.5-70B。该模型在多个对话式问答基准测试中取得了优异的成绩，显示出其在处理复杂对话和生成相关回答方面的高效能力。

高效检索文档信息，准确回答专业问题

讯飞星火知识库文档问答是科大讯飞基于讯飞星火大模型和星火知识库搭建的文档问答服务，能够高效检索文档信息，准确回答专业问题。具备多文档问答，文档知识库，信源原文定位，文档总结，自定义切分等功能。