产品库

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

开源大型语言模型工具集合

Open Source LLM Tools是一个专注于收集和展示开源大型语言模型（LLM）工具的平台。它提供了一个更新频繁的资源库，帮助开发者和研究者发现和利用最新的开源AI工具。该平台的主要优点在于其高更新频率和对活跃开源AI开发者的聚焦，使得用户能够及时获取到行业的最新动态和技术进展。

开源语言模型和训练框架

OLMo是一个开源的语言模型和训练框架,由AI2研究院发布。它提供了完整的训练数据、代码、模型参数、评估代码等资源,使研究人员能够训练并实验大规模语言模型。OLMo的优势在于真正开放,用户可以访问从数据到模型的完整信息,辅以丰富的文档,便于研究人员进行开放式研究和协作。该框架降低了语言模型研究的门槛,使更多人参与进来推动语言模型技术进步。

开源 AI 语言模型

Llama 2 是我们的下一代开源大型语言模型，提供免费的研究和商业使用。它具有强大的功能和性能，通过与外部合作伙伴和内部团队的测试，不断提升安全性和性能。Llama 2 支持广泛的使用场景，是解决难题和推动创新的理想选择。

开源幻觉评估模型

Patronus-Lynx-8B-Instruct-v1.1是基于meta-llama/Meta-Llama-3.1-8B-Instruct模型的微调版本，主要用于检测RAG设置中的幻觉。该模型经过CovidQA、PubmedQA、DROP、RAGTruth等多个数据集的训练，包含人工标注和合成数据。它能够评估给定文档、问题和答案是否忠实于文档内容，不提供超出文档范围的新信息，也不与文档信息相矛盾。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

1.8B语言模型，开源免费

H2O-Danube-1.8B是一个基于1T标记训练的1.8B语言模型，遵循LLama 2和Mistral的核心原则。尽管我们的模型在训练时使用的总标记数量明显少于类似规模的参考模型，但在多个基准测试中表现出极具竞争力的指标。此外，我们还发布了一个经过监督微调和直接偏好优化训练的聊天模型。我们将H2O-Danube-1.8B以Apache 2.0许可证开放源代码，进一步将大型语言模型民主化，让更广泛的受众经济地受益。

大型语言模型排行榜，实时评估模型性能。

OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估，为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜，帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

开源幻觉评估模型

Llama-3-Patronus-Lynx-8B-Instruct是由Patronus AI开发的一个基于meta-llama/Meta-Llama-3-8B-Instruct模型的微调版本，主要用于检测在RAG设置中的幻觉。该模型训练于包含CovidQA、PubmedQA、DROP、RAGTruth等多个数据集，包含人工标注和合成数据。它能够评估给定文档、问题和答案是否忠实于文档内容，不提供文档之外的新信息，也不与文档信息相矛盾。

一种用于测试长文本语言模型的合理性的评估基准

RULER 是一种新的合成基准，为长文本语言模型提供了更全面的评估。它扩展了普通检索测试，涵盖了不同类型和数量的信息点。此外，RULER 引入了新的任务类别，如多跳跟踪和聚合，以测试超出检索从上下文中的行为。在 RULER 上评估了 10 个长文本语言模型，并在 13 个代表性任务中获得了表现。尽管这些模型在普通检索测试中取得了几乎完美的准确性，但在上下文长度增加时，它们表现得非常差。只有四个模型（GPT-4、Command-R、Yi-34B 和 Mixtral）在长度为 32K 时表现得相当不错。我们公开源 RULER，以促进对长文本语言模型的全面评估。

统一的语言模型评估框架

PromptBench是一个基于Pytorch的Python包,用于评估大型语言模型(LLM)。它为研究人员提供了用户友好的API,以便对LLM进行评估。主要功能包括:快速模型性能评估、提示工程、对抗提示评估以及动态评估等。优势是使用简单,可以快速上手评估已有数据集和模型,也可以轻松定制自己的数据集和模型。定位为LLM评估的统一开源库。

开源 13B 大规模语言模型

百川 - 13B 是由百川智能开发的开源可商用的大规模语言模型，参数量达到 130 亿，训练数据量达到 1.4 万亿 tokens。该模型支持中英双语，具有高质量的预测和对话能力。模型支持量化部署和 CPU 推理，并在多个基准测试中取得优秀结果。可以广泛应用于自然语言处理领域的任务，如问答系统、对话系统、文本生成等。

WeLM Playground是一款开源的大型中文语言模型聊天工具

WeLM Playground是基于开源中文语言模型WeLM的在线聊天 Demo,用户可以通过网页与 AI 对话、获取写作帮助。它提供稳定流畅的语言生成,支持自由聊天、话题控制、长篇闲聊、文本续写等功能。作为 Anthropic 公司开源的大模型之一,WeLM Playground 完全免费,代码开源,用户无需注册即可使用。它旨在让普通用户也能安全便捷地体验 LLM 对话带来的便利。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

用于评估大型语言模型事实性的最新基准

FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。

高效开源的视觉语言模型

SmolVLM是一个小型但功能强大的视觉语言模型（VLM），拥有2B参数，以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源，包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署，降低推理成本，并允许用户自定义。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

用于评估文本、对话和RAG设置的通用评估模型

Patronus GLIDER是一个经过微调的phi-3.5-mini-instruct模型，可以作为通用评估模型，根据用户定义的标准和评分规则来评判文本、对话和RAG设置。该模型使用合成数据和领域适应数据进行训练，覆盖了183个指标和685个领域，包括金融、医学等。模型支持的最大序列长度为8192个token，但经过测试可以支持更长的文本（高达12000个token）。

开源大语言模型，匹配专有强大能力。

Open O1是一个开源项目，旨在通过开源创新，匹配专有的强大O1模型能力。该项目通过策划一组O1风格的思考数据，用于训练LLaMA和Qwen模型，赋予了这些较小模型更强大的长期推理和解决问题的能力。随着Open O1项目的推进，我们将继续推动大型语言模型的可能性，我们的愿景是创建一个不仅能够实现类似O1的性能，而且在测试时扩展性方面也处于领先地位的模型，使高级AI能力为所有人所用。通过社区驱动的开发和对道德实践的承诺，Open O1将成为AI进步的基石，确保技术的未来发展是开放的，并对所有人有益。

开源视觉基础模型

InternVL通过将ViT模型扩展到60亿参数并与语言模型对齐,构建出目前最大的14B开源视觉基础模型,在视觉感知、跨模态检索、多模态对话等广泛任务上取得了32项state-of-the-art性能。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

评估大型语言模型作为全栈开发者的能力

FullStack Bench是一个多语言的全栈编程基准测试，涵盖了广泛的应用领域和16种编程语言的3K测试样本，显著推动了代码语言模型在现实世界代码开发场景中的相关能力。该产品代表了编程语言模型在全栈开发领域的应用，其重要性在于能够评估和提升模型在实际编程任务中的表现，对于开发者和AI研究者来说都是一个宝贵的资源。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。