产品库

在线聊天机器人竞技场，比较不同语言模型的表现。

LMSYS Chatbot Arena 是一个在线平台，旨在通过用户与匿名聊天机器人模型的互动，对大型语言模型(Large Language Models, LLMs)进行基准测试。该平台收集了超过70万次人类投票，计算出LLM的Elo排行榜，以确定谁是聊天机器人领域的冠军。平台提供了一个研究预览，具有有限的安全措施，可能生成不当内容，因此需要用户遵守特定的使用条款。

用于评估大型语言模型事实性的最新基准

FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

衡量语言模型回答事实性问题能力的基准测试

SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

前沿语言模型，具有先进的推理能力。

Grok-2是xAI的前沿语言模型，具有最先进的推理能力。此次发布包括Grok家族的两个成员：Grok-2和Grok-2 mini。这两个模型现在都在𝕏平台上发布给Grok用户。Grok-2是Grok-1.5的重要进步，具有聊天、编程和推理方面的前沿能力。同时，xAI引入了Grok-2 mini，一个小巧但功能强大的Grok-2的兄弟模型。Grok-2的早期版本已经在LMSYS排行榜上以“sus-column-r”的名字进行了测试。它在整体Elo得分方面超过了Claude 3.5 Sonnet和GPT-4-Turbo。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

通过街霸3对战评估大型语言模型

llm-colosseum是一个创新的基准测试工具，它使用街霸3游戏来评估大型语言模型（LLM）的实时决策能力。与传统的基准测试不同，这个工具通过模拟实际游戏场景来测试模型的快速反应、智能策略、创新思维、适应性和恢复力。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

1.6亿参数稳定语言模型

Stable LM 2 1.6B是一个1.6亿参数的小型多语言稳定语言模型,支持英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。该模型体积小、速度快,降低了硬件门槛,让更多开发者参与生成式AI生态系统。我们不仅发布预训练及调参版本,还首次发布预训练冷却前的最后检查点,包括优化器状态,以帮助开发者顺利进行微调和实验。

TOFU数据集为大型语言模型的虚构遗忘任务提供基准。

TOFU数据集包含根据不存在的200位作者虚构生成的问答对,用于评估大型语言模型在真实任务上的遗忘性能。该任务的目标是遗忘在各种遗忘集比例上经过微调的模型。该数据集采用问答格式,非常适合用于流行的聊天模型,如Llama2、Mistral或Qwen。但是,它也适用于任何其他大型语言模型。对应的代码库是针对Llama2聊天和Phi-1.5模型编写的,但可以轻松地适配到其他模型。

Google预计将推出的付费语言模型服务

Bard Advanced是Google预计将推出的语言模型服务,基于更强大的Gemini Ultra模型打造。用户需要通过订阅Google One获得Bard Advanced的访问权限。相比免费版Bard,Bard Advanced拥有更先进的数学和推理技能,能够更高质量地回答用户的问题,并支持自定义对话机器人的创建。Bard Advanced为用户提供更加智能和专业的语言生成服务。

使用Wikipedia数据抑制语言模型的幻觉

WikiChat利用Wikipedia和7个阶段的流程,确保其响应是事实性的。它可以抑制大型语言模型的误报,通过从Wikipedia检索数据来纠正语言模型的错误回复。具有命令行交互和Web界面。

增强 LLM 的可用性和安全性

Starling-7B 是一个由强化学习从 AI 反馈（RLAIF）训练的开放大型语言模型（LLM）。它通过我们的新 GPT-4 标记排序数据集 Nectar 和新的奖励训练和策略调优流程充分发挥了作用。Starling-7B 在使用 GPT-4 作为评委的 MT Bench 中得分为 8.09，在 MT-Bench 上超过了目前所有模型，除了 OpenAI 的 GPT-4 和 GPT-4 Turbo。我们在 HuggingFace 上发布了排名数据集 Nectar、奖励模型 Starling-RM-7B-alpha 和语言模型 Starling-LM-7B-alpha，以及 LMSYS Chatbot Arena 中的在线演示。请期待我们即将发布的代码和论文，其中将提供有关整个过程的更多详细信息。

云端AI聊天机器人服务

SymeChat是一个基于Llama2 7B语言模型的云端AI聊天机器人服务,能够以极低的成本为企业和开发者提供会话式AI能力,无需自行托管大型语言模型的基础设施成本。SymeChat利用Llama2 7B强大的自然语言理解和生成能力,为聊天机器人、虚拟助手等AI应用提供人类级别的对话技能。通过利用Llama2 7B云服务,SymeChat消除了客户购买昂贵GPU硬件或者维护升级神经网络的复杂性。客户只需根据每月使用情况付费,没有任何前期基础设施成本。我们的目标是通过经济实惠的选择普及AI访问,即使是小企业和非营利组织也能够以合理的成本为客户和社区提供有用的虚拟助手。

聪明语言模型，交互式对话

TalkGPT是一种聪明的语言模型，可以进行交互式对话。它可以回答各种问题，并提供智能的回应。通过使用查询示例，您可以充分利用它的潜力。TalkGPT提供了一种无缝的对话体验，让您可以与模型进行自然而流畅的交流。

通过强化学习驱动的金融推理大模型。

Fin-R1 是一个专为金融领域设计的大型语言模型，旨在提升金融推理能力。由上海财经大学和财跃星辰联合研发，基于 Qwen2.5-7B-Instruct 进行微调和强化学习，具有高效的金融推理能力，适用于银行、证券等核心金融场景。该模型免费开源，便于用户使用和改进。

AI21推出的Jamba 1.6模型，专为企业私有部署设计，具备卓越的长文本处理能力。

Jamba 1.6 是 AI21 推出的最新语言模型，专为企业私有部署而设计。它在长文本处理方面表现出色，能够处理长达 256K 的上下文窗口，采用混合 SSM-Transformer 架构，可高效准确地处理长文本问答任务。该模型在质量上超越了 Mistral、Meta 和 Cohere 等同类模型，同时支持灵活的部署方式，包括在本地或 VPC 中私有部署，确保数据安全。它为企业提供了一种无需在数据安全和模型质量之间妥协的解决方案，适用于需要处理大量数据和长文本的场景，如研发、法律和金融分析等。目前，Jamba 1.6 已在多个企业中得到应用，如 Fnac 使用其进行数据分类，Educa Edtech 利用其构建个性化聊天机器人等。

Inception Labs 推出新一代扩散式大语言模型，提供极速、高效和高质量的语言生成能力。

Inception Labs 是一家专注于开发扩散式大语言模型（dLLMs）的公司。其技术灵感来源于先进的图像和视频生成系统，如 Midjourney 和 Sora。通过扩散模型，Inception Labs 提供了比传统自回归模型快 5-10 倍的速度、更高的效率和更强的生成控制能力。其模型支持并行文本生成，能够纠正错误和幻觉，适合多模态任务，并且在推理和结构化数据生成方面表现出色。公司由斯坦福、UCLA 和康奈尔大学的研究人员和工程师组成，是扩散模型领域的先驱。

OpenManus 是一个无需邀请码即可使用的开源智能代理项目。

OpenManus 是一个开源的智能代理项目，旨在通过开源的方式实现类似于 Manus 的功能，但无需邀请码即可使用。该项目由多个开发者共同开发，基于强大的语言模型和灵活的插件系统，能够快速实现各种复杂的任务。OpenManus 的主要优点是开源、免费且易于扩展，适合开发者和研究人员进行二次开发和研究。项目背景源于对现有智能代理工具的改进需求，目标是打造一个完全开放且易于使用的智能代理平台。

Instella 是由 AMD 开发的高性能开源语言模型，专为加速开源语言模型的发展而设计。

Instella 是由 AMD GenAI 团队开发的一系列高性能开源语言模型，基于 AMD Instinct™ MI300X GPU 训练而成。该模型在性能上显著优于同尺寸的其他开源语言模型，并且在功能上与 Llama-3.2-3B 和 Qwen2.5-3B 等模型相媲美。Instella 提供模型权重、训练代码和训练数据，旨在推动开源语言模型的发展。其主要优点包括高性能、开源开放以及对 AMD 硬件的优化支持。

一种测试大语言模型在复杂社交博弈中智能性的基准测试框架，灵感来源于‘狼人杀’游戏。

Elimination Game 是一种创新的基准测试框架，用于评估大语言模型（LLMs）在复杂社交环境中的表现。它模拟了类似‘狼人杀’的多玩家竞争场景，通过公开讨论、私下交流和投票淘汰机制，测试模型的社交推理、策略选择和欺骗能力。该框架不仅为研究 AI 在社交博弈中的智能性提供了重要工具，还为开发者提供了洞察模型在现实社交场景中潜力的机会。其主要优点包括多轮互动设计、动态联盟与背叛机制以及详细的评估指标，能够全面衡量 AI 的社交能力。

用于多模态上下文中的检索增强生成的基准测试代码库。

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。

OpenAI推出的最新语言模型GPT-4.5，专注于提升无监督学习能力，提供更自然的交互体验。

GPT-4.5是OpenAI发布的最新语言模型，代表了当前无监督学习技术的前沿水平。该模型通过大规模计算和数据训练，提升了对世界知识的理解和模式识别能力，减少了幻觉现象，能够更自然地与人类进行交互。它在写作、编程、解决问题等任务上表现出色，尤其适合需要高创造力和情感理解的场景。GPT-4.5目前处于研究预览阶段，面向Pro用户和开发者开放，旨在探索其潜在能力。

Gemini 2.0 Flash-Lite 是高效的语言模型，专为长文本处理和多种应用场景优化。

Gemini 2.0 Flash-Lite 是 Google 推出的高效语言模型，专为长文本处理和复杂任务优化。它在推理、多模态、数学和事实性基准测试中表现出色，具备简化的价格策略，使得百万级上下文窗口更加经济实惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面开放，适合企业级生产使用。

Phi-4-mini-instruct 是一款轻量级的开源语言模型，专注于高质量推理密集型数据。

Phi-4-mini-instruct 是微软推出的一款轻量级开源语言模型，属于 Phi-4 模型家族。它基于合成数据和经过筛选的公开网站数据进行训练，专注于高质量、推理密集型数据。该模型支持 128K 令牌上下文长度，并通过监督微调和直接偏好优化来增强指令遵循能力和安全性。Phi-4-mini-instruct 在多语言支持、推理能力（尤其是数学和逻辑推理）以及低延迟场景下表现出色，适用于资源受限的环境。该模型于 2025 年 2 月发布，支持多种语言，包括英语、中文、日语等。

DeepSeek 是一款先进的 AI 语言模型，擅长逻辑推理、数学和编程任务，提供免费使用。

DeepSeek 是由 High-Flyer 基金支持的中国 AI 实验室开发的先进语言模型，专注于开源模型和创新训练方法。其 R1 系列模型在逻辑推理和问题解决方面表现出色，采用强化学习和混合专家框架优化性能，以低成本实现高效训练。DeepSeek 的开源策略推动了社区创新，同时引发了关于 AI 竞争和开源模型影响力的行业讨论。其免费且无需注册的使用方式进一步降低了用户门槛，适合广泛的应用场景。

一种通过文本迷宫解决任务来增强大型语言模型视觉推理能力的创新方法

AlphaMaze 是一个专注于提升大型语言模型（LLM）视觉推理能力的项目。它通过文本形式描述的迷宫任务来训练模型，使其能够理解和规划空间结构。这种方法不仅避免了复杂的图像处理，还通过文本描述直接评估模型的空间理解能力。其主要优点是能够揭示模型如何思考空间问题，而不仅仅是能否解决问题。该模型基于开源框架，旨在推动语言模型在视觉推理领域的研究和发展。

AlphaMaze 是一款专注于视觉推理任务的解码器语言模型，旨在解决传统语言模型在视觉任务上的不足。

AlphaMaze 是一款专为解决视觉推理任务而设计的解码器语言模型。它通过针对迷宫解谜任务的训练，展示了语言模型在视觉推理方面的潜力。该模型基于 15 亿参数的 Qwen 模型构建，并通过监督微调（SFT）和强化学习（RL）进行训练。其主要优点在于能够将视觉任务转化为文本格式进行推理，从而弥补传统语言模型在空间理解上的不足。该模型的开发背景是提升 AI 在视觉任务上的表现，尤其是在需要逐步推理的场景中。目前，AlphaMaze 作为研究项目，暂未明确其商业化定价和市场定位。

通过Model Context Protocol服务器扩展语言模型的能力。

Smithery是一个基于Model Context Protocol的平台，允许用户通过连接各种服务器来扩展语言模型的功能。它为用户提供了一个灵活的工具集，能够根据需求动态增强语言模型的能力，从而更好地完成各种任务。该平台的核心优势在于其模块化和可扩展性，用户可以根据自己的需求选择合适的服务器进行集成。