需求人群:
"RAGFoundry的目标受众是研究人员和开发人员,特别是那些在自然语言处理领域工作,需要利用大型语言模型进行复杂任务处理的专业人士。它适合需要快速原型设计和实验不同RAG设置和配置的研究人员。"
使用场景示例:
研究人员使用RAGFoundry在特定数据集上微调语言模型,以提高问答系统的性能。
开发人员利用RAGFoundry的模块化特性,快速集成到现有的NLP项目中。
教育机构使用RAGFoundry作为教学工具,帮助学生理解如何通过微调提升模型性能。
产品特色:
数据集创建:处理模块创建数据集,保存RAG交互,用于RAG训练和推理。
训练:使用PEFT进行高效训练,用户可以在增强数据集上训练任何模型。
推理:使用训练或未训练的LLMs生成预测。
评估:在推理模块生成的输出上运行评估,支持自定义指标。
模块化设计:工作流程通过配置文件自定义,易于扩展和修改。
支持HF Hub:训练完成的模型可以推送到HF Hub,便于共享和使用。
使用教程:
1. 克隆RAGFoundry库到本地环境。
2. 根据需要修改配置文件,定制数据集创建、训练、推理和评估的流程。
3. 运行数据处理脚本`processing.py`来创建用于训练和推理的数据集。
4. 使用`training.py`脚本进行模型训练。
5. 利用`inference.py`脚本进行模型推理,生成预测。
6. 最后,通过`evaluation.py`脚本对生成的输出进行评估。
浏览量:23
最新流量情况
月访问量
4.75m
平均访问时长
00:06:34
每次访问页数
6.10
跳出率
36.20%
流量来源
直接访问
52.19%
自然搜索
32.64%
邮件
0.04%
外链引荐
12.93%
社交媒体
2.02%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
14.32%
德国
3.68%
印度
9.04%
俄罗斯
3.92%
美国
19.25%
一个用于增强LLMs检索增强生成任务的框架
RAGFoundry是一个库,旨在通过在特别创建的RAG增强数据集上微调模型,提高大型语言模型(LLMs)使用外部信息的能力。该库通过参数高效微调(PEFT)帮助用户轻松训练模型,并使用RAG特定指标衡量性能提升。它具有模块化设计,工作流程可通过配置文件自定义。
一个用于在网站上提问的Chrome扩展程序,支持本地运行和向量存储。
Site RAG 是一款 Chrome 扩展程序,旨在通过自然语言处理技术帮助用户在浏览网页时快速获取问题答案。它支持将当前页面内容作为上下文进行查询,还能将整个网站内容索引到向量数据库中,以便后续进行检索增强生成(RAG)。该产品完全在本地浏览器运行,确保用户数据安全,同时支持连接本地运行的 Ollama 实例进行推理。它主要面向需要快速从网页内容中提取信息的用户,如开发者、研究人员和学生。目前该产品免费提供,适合希望在浏览网页时获得即时帮助的用户。
快速、准确的生产级RAG管道
Vectorize是一个专注于将非结构化数据转化为优化的向量搜索索引的平台,专为检索增强生成(RAG)而设计。它通过连接内容管理系统、文件系统、CRM、协作工具等多种数据源,帮助用户创建提高生产力的辅助系统和创新的客户体验。Vectorize的主要优点包括易于使用、快速部署和高精度的搜索结果,适合需要处理大量数据并希望快速实现AI应用的企业。
革命性的检索增强生成系统技术集合。
RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合,旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心,通过社区贡献和协作环境,推动RAG技术的发展和创新。
一站式RAG搜索SDK
Korvus是一个基于Postgres构建的搜索SDK,它将整个RAG(检索增强生成)流程统一到单一的数据库查询中。它提供了高性能、可定制的搜索能力,同时最小化了基础设施的考虑。Korvus利用PostgresML的pgml扩展和pgvector扩展,将RAG流程压缩在Postgres内部。它支持多语言SDK,包括Python、JavaScript、Rust和C,允许开发者无缝集成到现有的技术栈中。
掌握RAG技术,提升AI生成内容的准确性和相关性。
Retrieval-Augmented Generation (RAG) 是一种前沿技术,通过整合外部知识源来增强生成模型的能力,提高生成内容的质量和可靠性。LangChain是一个强大的框架,专为构建和部署稳健的语言模型应用而设计。本教程系列将提供全面的、分步骤的指南,帮助您使用LangChain实现RAG,从基础RAG流程的介绍开始,逐步深入到查询转换、文档嵌入、路由机制、查询构建、索引策略、检索技术以及生成阶段,最终将所有概念整合到一个实际场景中,展示RAG的强大和灵活性。
基于RAG框架的可靠输入和可信输出系统
GoMate是一个基于Retrieval-Augmented Generation (RAG)框架的模型,专注于提供可靠输入和可信输出。它通过结合检索和生成技术,提高信息检索和文本生成的准确性和可靠性。GoMate适用于需要高效、准确信息处理的领域,如自然语言处理、知识问答等。
提高LLM选择性预测能力的框架
ASPIRE是一个设计精良的框架,用于增强大型语言模型的选择性预测能力。它通过参数高效的微调训练LLM进行自我评估,使其能够针对生成的答案输出置信度分数。实验结果表明,ASPIRE在各种问答数据集上明显优于目前的选择性预测方法。
一个强大的文本生成模型,适用于多种对话应用。
DeepSeek-V3-0324 是一个先进的文本生成模型,具有 685 亿参数,采用 BF16 和 F32 张量类型,能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性,使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具,帮助他们在文本生成领域取得突破。
一款 21B 通用推理模型,适合低延迟应用。
Reka Flash 3 是一款从零开始训练的 21 亿参数的通用推理模型,利用合成和公共数据集进行监督微调,结合基于模型和基于规则的奖励进行强化学习。该模型在低延迟和设备端部署应用中表现优异,具有较强的研究能力。它目前是同类开源模型中的最佳选择,适合于各种自然语言处理任务和应用场景。
o1-pro 模型通过强化学习提升复杂推理能力,提供更优答案。
o1-pro 模型是一种先进的人工智能语言模型,专为提供高质量文本生成和复杂推理设计。其在推理和响应准确性上表现优越,适合需要高精度文本处理的应用场景。该模型的定价基于使用的 tokens,输入每百万 tokens 价格为 150 美元,输出每百万 tokens 价格为 600 美元,适合企业和开发者在其应用中集成高效的文本生成能力。
一款开源的14B参数量的数学模型,通过强化学习训练,性能卓越。
Light-R1-14B-DS 是由北京奇虎科技有限公司开发的开源数学模型。该模型基于 DeepSeek-R1-Distill-Qwen-14B 进行强化学习训练,在 AIME24 和 AIME25 数学竞赛基准测试中分别达到了 74.0 和 60.2 的高分,超越了许多 32B 参数量的模型。它在轻量级预算下成功实现了对已经长链推理微调模型的强化学习尝试,为开源社区提供了一个强大的数学模型工具。该模型的开源有助于推动自然语言处理在教育领域的应用,特别是数学问题解决方面,为研究人员和开发者提供了宝贵的研究基础和实践工具。
理想同学是一款智能聊天助手,提供便捷的对话服务和智能交互体验。
理想同学是一款由北京车励行信息技术有限公司开发的智能聊天助手。它通过人工智能技术实现自然语言处理,能够与用户进行流畅的对话交互。该产品的主要优点是操作简单、响应迅速,能够为用户提供个性化的服务。它适用于多种场景,如日常聊天、信息查询等。产品目前没有明确的价格信息,但根据其功能定位,可能主要面向个人用户和企业客户。
Sesame AI 是一款先进的语音合成平台,能够生成自然对话式语音并具备情感智能。
Sesame AI 代表了下一代语音合成技术,通过结合先进的人工智能技术和自然语言处理,能够生成极其逼真的语音,具备真实的情感表达和自然的对话流程。该平台在生成类似人类的语音模式方面表现出色,同时能够保持一致的性格特征,非常适合内容创作者、开发者和企业,用于为其应用程序增添自然语音功能。目前尚不清楚其具体价格和市场定位,但其强大的功能和广泛的应用场景使其在市场上具有较高的竞争力。
全球首个可遵循指令的重排序器,为企业级RAG系统提供精准信息排序
Contextual AI Reranker 是一款革命性的AI模型,专为解决企业级检索增强生成(RAG)系统中信息冲突和排序不准确的问题而设计。它能够根据用户提供的自然语言指令,对检索结果进行精准排序,确保最符合需求的信息优先展示。该产品基于先进的AI技术,经过行业标准BEIR基准测试和内部数据集验证,表现卓越。其主要优点包括高准确率、强大的指令遵循能力和灵活的定制化选项,适用于金融、技术、专业服务等多个领域。产品目前提供免费试用,并通过API形式接入,方便企业快速部署和使用。
BashBuddy 让你能够自然地输入命令,无需担心参数或语法。
BashBuddy 是一款旨在通过自然语言交互简化命令行操作的工具。它能够理解上下文并生成精确的命令,支持多种操作系统和 Shell 环境。BashBuddy 的主要优点在于其自然语言处理能力、跨平台支持以及对隐私的重视。它适合开发者、系统管理员以及任何需要频繁使用命令行的用户。BashBuddy 提供本地部署和云服务两种模式,本地模式完全免费且数据完全私密,而云服务则提供更快的命令生成速度,每月收费 2 美元。
OpenAI API 的 Responses 功能,用于创建和管理模型的响应。
OpenAI API 的 Responses 功能允许用户创建、获取、更新和删除模型的响应。它为开发者提供了强大的工具,用于管理模型的输出和行为。通过 Responses,用户可以更好地控制模型的生成内容,优化模型的性能,并通过存储和检索响应来提高开发效率。该功能支持多种模型,适用于需要高度定制化模型输出的场景,如聊天机器人、内容生成和数据分析等。OpenAI API 提供灵活的定价方案,适合从个人开发者到大型企业的需求。
OpenAI 提供的内置工具,用于扩展模型的能力,如网络搜索和文件搜索。
OpenAI 的内置工具是 OpenAI 平台中用于增强模型能力的功能集合。这些工具允许模型在生成响应时访问网络或文件中的额外上下文和信息。例如,通过启用网络搜索工具,模型可以使用网络上的最新信息来生成响应。这些工具的主要优点是能够扩展模型的能力,使其能够处理更复杂的任务和需求。OpenAI 平台提供了多种工具,如网络搜索、文件搜索、计算机使用和函数调用等。这些工具的使用取决于提供的提示,模型会根据提示自动决定是否使用配置的工具。此外,用户还可以通过设置工具选择参数来明确控制或指导模型的行为。这些工具对于需要实时数据或特定文件内容的场景非常有用,能够提高模型的实用性和灵活性。
一个关于大型语言模型(LLM)后训练方法的教程、调查和指南资源库。
Awesome-LLM-Post-training 是一个专注于大型语言模型(LLM)后训练方法的资源库。它提供了关于 LLM 后训练的深入研究,包括教程、调查和指南。该资源库基于论文《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》,旨在帮助研究人员和开发者更好地理解和应用 LLM 后训练技术。该资源库免费开放,适合学术研究和工业应用。
Gemini Embedding 是一种先进的文本嵌入模型,通过 Gemini API 提供强大的语言理解能力。
Gemini Embedding 是 Google 推出的一种实验性文本嵌入模型,通过 Gemini API 提供服务。该模型在多语言文本嵌入基准测试(MTEB)中表现卓越,超越了之前的顶尖模型。它能够将文本转换为高维数值向量,捕捉语义和上下文信息,广泛应用于检索、分类、相似性检测等场景。Gemini Embedding 支持超过 100 种语言,具备 8K 输入标记长度和 3K 输出维度,同时引入了嵌套表示学习(MRL)技术,可灵活调整维度以满足存储需求。该模型目前处于实验阶段,未来将推出稳定版本。
NeoBase 是一款开源的 AI 数据库助手,让你用自然语言与数据库交互。
NeoBase 是一款创新的 AI 数据库助手,通过自然语言处理技术让用户能够以对话的方式与数据库进行交互。它支持多种主流数据库,如 PostgreSQL、MySQL、MongoDB 等,并且可以与 OpenAI、Google Gemini 等 LLM 客户端集成。其主要优点是简化了数据库管理流程,降低了技术门槛,使非技术用户也能轻松管理和查询数据。NeoBase 采用开源模式,用户可以根据自身需求进行定制和部署,确保数据安全性和隐私性。它主要面向需要高效管理和分析数据的企业和开发者,旨在提高数据库操作的效率和便捷性。
Instella 是由 AMD 开发的高性能开源语言模型,专为加速开源语言模型的发展而设计。
Instella 是由 AMD GenAI 团队开发的一系列高性能开源语言模型,基于 AMD Instinct™ MI300X GPU 训练而成。该模型在性能上显著优于同尺寸的其他开源语言模型,并且在功能上与 Llama-3.2-3B 和 Qwen2.5-3B 等模型相媲美。Instella 提供模型权重、训练代码和训练数据,旨在推动开源语言模型的发展。其主要优点包括高性能、开源开放以及对 AMD 硬件的优化支持。
Clone是一款具有革命性人工肌肉技术Myofiber的类人机器人,能够自然行走。
Clone是一款由Clone Robotics开发的类人机器人,代表了机器人技术的前沿水平。它采用了革命性的人工肌肉技术Myofiber,能够模拟自然动物骨骼的运动。Myofiber技术在重量、功率密度、速度、力量与重量比以及能效方面达到了前所未有的水平,使机器人具备了自然的行走能力、强大的力量和灵活性。Clone不仅在技术上具有重要意义,还为未来机器人在家庭、工业和服务领域的应用提供了新的可能性。其定位为高端科技产品,目标受众是对前沿科技感兴趣的个人、科研机构和企业。
ViDoRAG 是一个结合视觉文档检索增强生成的动态迭代推理代理框架。
ViDoRAG 是阿里巴巴自然语言处理团队开发的一种新型多模态检索增强生成框架,专为处理视觉丰富文档的复杂推理任务设计。该框架通过动态迭代推理代理和高斯混合模型(GMM)驱动的多模态检索策略,显著提高了生成模型的鲁棒性和准确性。ViDoRAG 的主要优点包括高效处理视觉和文本信息、支持多跳推理以及可扩展性强。该框架适用于需要从大规模文档中检索和生成信息的场景,例如智能问答、文档分析和内容创作。其开源特性和灵活的模块化设计使其成为研究人员和开发者在多模态生成领域的重要工具。
Microsoft Dragon Copilot 是一款用于医疗行业的 AI 工作空间,可简化临床文档工作流,提升效率。
Microsoft Dragon Copilot 是微软针对医疗保健领域推出的 AI 驱动的临床工作流解决方案,旨在通过自动化和智能化的文档处理技术,帮助医疗专业人员减少行政负担,专注于患者护理。该产品利用先进的自然语言处理和机器学习技术,能够自动捕捉多语言的医患对话,并将其转化为详细的临床文档。其主要优点包括高效率的文档生成、定制化功能以及与现有电子健康记录(EHR)系统的无缝集成。Dragon Copilot 面向医疗机构和临床医生,旨在通过技术提升医疗服务质量和效率,同时降低运营成本。产品定价和具体价格策略未在页面中明确提及,但通常会根据医疗机构的规模和使用范围进行定制化报价。
Migician 是一个专注于多图像定位的多模态大语言模型,能够实现自由形式的多图像精确定位。
Migician 是清华大学自然语言处理实验室开发的一种多模态大语言模型,专注于多图像定位任务。该模型通过引入创新的训练框架和大规模数据集 MGrounding-630k,显著提升了多图像场景下的精确定位能力。它不仅超越了现有的多模态大语言模型,甚至在性能上超过了更大规模的 70B 模型。Migician 的主要优点在于其能够处理复杂的多图像任务,并提供自由形式的定位指令,使其在多图像理解领域具有重要的应用前景。该模型目前在 Hugging Face 上开源,供研究人员和开发者使用。
工业级可控高效的零样本文本到语音系统
IndexTTS 是一种基于 GPT 风格的文本到语音(TTS)模型,主要基于 XTTS 和 Tortoise 进行开发。它能够通过拼音纠正汉字发音,并通过标点符号控制停顿。该系统在中文场景中引入了字符-拼音混合建模方法,显著提高了训练稳定性、音色相似性和音质。此外,它还集成了 BigVGAN2 来优化音频质量。该模型在数万小时的数据上进行训练,性能超越了当前流行的 TTS 系统,如 XTTS、CosyVoice2 和 F5-TTS。IndexTTS 适用于需要高质量语音合成的场景,如语音助手、有声读物等,其开源性质也使其适合学术研究和商业应用。
olmOCR是一个用于将PDF线性化以用于LLM数据集训练的工具包。
olmOCR是由Allen Institute for Artificial Intelligence (AI2)开发的一个开源工具包,旨在将PDF文档线性化,以便用于大型语言模型(LLM)的训练。该工具包通过将PDF文档转换为适合LLM处理的格式,解决了传统PDF文档结构复杂、难以直接用于模型训练的问题。它支持多种功能,包括自然文本解析、多版本比较、语言过滤和SEO垃圾信息移除等。olmOCR的主要优点是能够高效处理大量PDF文档,并通过优化的提示策略和模型微调,提高文本解析的准确性和效率。该工具包适用于需要处理大量PDF数据的研究人员和开发者,尤其是在自然语言处理和机器学习领域。
© 2025 AIbase 备案号:闽ICP备08105208号-14