产品库

医疗领域检索式问答基准测试

Benchmark Medical RAG是一个专注于医疗领域的检索式问答（Retrieval-Augmented Generation）基准测试平台。它提供了一系列的数据集和评估工具，旨在推动医疗信息检索和生成模型的研究。

一种测试大语言模型在复杂社交博弈中智能性的基准测试框架，灵感来源于‘狼人杀’游戏。

Elimination Game 是一种创新的基准测试框架，用于评估大语言模型（LLMs）在复杂社交环境中的表现。它模拟了类似‘狼人杀’的多玩家竞争场景，通过公开讨论、私下交流和投票淘汰机制，测试模型的社交推理、策略选择和欺骗能力。该框架不仅为研究 AI 在社交博弈中的智能性提供了重要工具，还为开发者提供了洞察模型在现实社交场景中潜力的机会。其主要优点包括多轮互动设计、动态联盟与背叛机制以及详细的评估指标，能够全面衡量 AI 的社交能力。

用于多模态上下文中的检索增强生成的基准测试代码库。

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。

ZeroBench 是一个针对当代大型多模态模型的高难度视觉基准测试。

ZeroBench 是一个专为评估大型多模态模型（LMMs）视觉理解能力而设计的基准测试。它通过 100 个精心设计且经过严格审查的复杂问题，以及 334 个子问题，挑战当前模型的极限。该基准测试旨在填补现有视觉基准的不足，提供更具挑战性和高质量的评估工具。ZeroBench 的主要优点是其高难度、轻量级、多样化和高质量的特点，使其能够有效区分模型的性能。此外，它还提供了详细的子问题评估，帮助研究人员更好地理解模型的推理能力。

SWE-Lancer 是一个包含 1400 多个自由软件工程任务的基准测试，总价值 100 万美元。

SWE-Lancer 是由 OpenAI 推出的一个基准测试，旨在评估前沿语言模型在真实世界中的自由软件工程任务中的表现。该基准测试涵盖了从 50 美元的漏洞修复到 32000 美元的功能实现等多种独立工程任务，以及模型在技术实现方案之间的选择等管理任务。通过模型将性能映射到货币价值，SWE-Lancer 为研究 AI 模型开发的经济影响提供了新的视角，并推动了相关研究的发展。

开源的深度研究工具，旨在通过开源框架复现类似Deep Research的功能

Open-source DeepResearch 是一个开源项目，旨在通过开源的框架和工具复现类似 OpenAI Deep Research 的功能。该项目基于 Hugging Face 平台，利用开源的大型语言模型（LLM）和代理框架，通过代码代理和工具调用实现复杂的多步推理和信息检索。其主要优点是开源、可定制性强，并且能够利用社区的力量不断改进。该项目的目标是让每个人都能在本地运行类似 DeepResearch 的智能代理，使用自己喜爱的模型，并且完全本地化和定制化。

持续搜索和阅读网页，直到找到答案（或超出token预算）。

node-DeepResearch 是一个基于 Jina AI 技术的深度研究模型，专注于通过持续搜索和阅读网页来寻找问题的答案。它利用 Gemini 提供的 LLM 能力和 Jina Reader 的网页搜索功能，能够处理复杂的查询任务，并通过多步骤的推理和信息整合来生成答案。该模型的主要优点在于其强大的信息检索能力和推理能力，能够处理复杂的、需要多步骤解答的问题。它适用于需要深入研究和信息挖掘的场景，如学术研究、市场分析等。目前该模型是开源的，用户可以通过 GitHub 获取代码并自行部署使用。

Humanity's Last Exam 是一个用于衡量大型语言模型能力的多模态基准测试。

Humanity's Last Exam 是一个由全球专家合作开发的多模态基准测试，旨在衡量大型语言模型在学术领域的表现。它包含来自 50 个国家超过 500 个机构的近 1000 名专家贡献的 3000 个问题，覆盖超过 100 个学科。该测试旨在成为最终的封闭式学术基准，通过挑战模型的极限来推动人工智能技术的发展。其主要优点是难度高，能够有效评估模型在复杂学术问题上的表现。

WebWalker是一个用于评估大型语言模型在网页遍历能力上的基准测试框架。

WebWalker是一个由阿里巴巴集团通义实验室开发的多智能体框架，用于评估大型语言模型（LLMs）在网页遍历任务中的表现。该框架通过模拟人类浏览网页的方式，通过探索和评估范式来系统地提取高质量数据。WebWalker的主要优点在于其创新的网页遍历能力，能够深入挖掘多层级信息，弥补了传统搜索引擎在处理复杂问题时的不足。该技术对于提升语言模型在开放域问答中的表现具有重要意义，尤其是在需要多步骤信息检索的场景中。WebWalker的开发旨在推动语言模型在信息检索领域的应用和发展。

用于衡量设备 AI 加速器推理性能的基准测试工具。

Procyon AI Image Generation Benchmark 是一款由 UL Solutions 开发的基准测试工具，旨在为专业用户提供一个一致、准确且易于理解的工作负载，用以测量设备上 AI 加速器的推理性能。该基准测试与多个关键行业成员合作开发，确保在所有支持的硬件上产生公平且可比较的结果。它包括三个测试，可测量从低功耗 NPU 到高端独立显卡的性能。用户可以通过 Procyon 应用程序或命令行进行配置和运行，支持 NVIDIA® TensorRT™、Intel® OpenVINO™ 和 ONNX with DirectML 等多种推理引擎。产品主要面向工程团队，适用于评估推理引擎实现和专用硬件的通用 AI 性能。价格方面，提供免费试用，正式版为年度场地许可，需付费获取报价。

一个基于Gemini 2.0 Flash模型的Perplexity风格AI搜索引擎。

Gemini-Search是一个模仿Perplexity的AI搜索引擎，它利用了Google的Gemini 2.0 Flash模型和Google搜索API，能够提供实时的网络搜索结果和引用，帮助用户快速获取准确的信息。该产品的主要优点在于其快速的响应时间和清晰的用户界面，使其在信息检索方面具有很高的效率。该产品适用于需要快速获取信息的用户，如研究人员、学生和专业人士。产品目前是免费的，适合各种规模的用户使用。

一个用于信息检索和生成的灵活高性能框架

FlexRAG是一个用于检索增强生成（RAG）任务的灵活且高性能的框架。它支持多模态数据、无缝配置管理和开箱即用的性能，适用于研究和原型开发。该框架使用Python编写，具有轻量级和高性能的特点，能够显著提高RAG工作流的速度和减少延迟。其主要优点包括支持多种数据类型、统一的配置管理以及易于集成和扩展。

浏览器中的Grok AI助手

Grok Button是一款浏览器插件，它将Grok AI的强大功能直接集成到用户的浏览器中，使用户能够随时随地通过浏览器栏或一键点击向Grok提问并获得即时的智能回答。这款插件的主要优点在于它的便捷性和即时性，用户无需离开当前页面即可获得信息，极大地提高了信息检索的效率。Grok Button的背景信息显示，它是由一群热爱Grok技术的人使用Grok技术开发的，虽然它与Grok本身没有直接的关联，但它的设计理念和功能实现都体现了Grok AI的核心价值。Grok Button目前是免费的，并且主要定位于提高用户在浏览器中的交互体验。

未来大型语言模型的解锁者

Sonus AI是一个以Sonus-1模型为核心的大型语言模型，它重新定义了语言理解和计算的边界。Sonus-1以其卓越的复杂问题解决能力而著称，远超过典型的语言模型。Sonus AI提供了增强的搜索和实时信息检索功能，确保用户能够访问到最新和最精确的信息。此外，Sonus AI还计划推出开发者友好的API，以便将Sonus-1的强大能力集成到各种应用中。Sonus AI的产品背景信息显示，它是一个面向未来的技术，旨在通过先进的AI能力提升用户的工作效率和信息获取的准确性。

AI助手，快速总结网页内容，保护隐私

Orbit by Mozilla 是一款由Mozilla提供的Firefox插件，利用人工智能技术帮助用户快速总结网页内容，包括电子邮件、文档、文章和视频，同时强调保护用户隐私。Orbit插件的主要优点在于它不需要用户创建账户，不会存储或共享用户的个人信息，也不会保存用户访问的页面内容或生成的摘要。Orbit通过使用Mistral LLM（Mistral 7B）模型，为用户提供了一个无需牺牲隐私即可快速获取信息的工具。

AI搜索、划词翻译、网页总结，提升阅读与检索效率。

星火插件是由科大讯飞推出的一款浏览器插件，集成了AI搜索、划词翻译、网页总结等功能，旨在提升用户在网页阅读和信息检索中的效率。该插件通过人工智能技术，实现了对网页内容的快速理解和处理，帮助用户节省时间，提高工作效率。星火插件免费提供给用户使用，定位于提升个人和企业的生产力。

开源AI芯片性能基准测试平台

FlagPerf是由智源研究院联合AI硬件厂商共建的一体化AI硬件评测引擎，旨在建立以产业实践为导向的指标体系，评测AI硬件在软件栈组合（模型+框架+编译器）下的实际能力。该平台支持多维度评测指标体系，覆盖大模型训练推理场景，并支持多训练框架及推理引擎，连接AI硬件与软件生态。

AI文本生成性能测试工具

Procyon AI Text Generation Benchmark 是一款专门用于测试和评估AI本地大型语言模型（LLM）性能的基准测试工具。它通过与AI软硬件领域的领导者紧密合作，确保测试能够充分利用系统中的本地AI加速硬件。该工具简化了PC性能比较和成本合理化，验证和标准化PC性能，并简化IT团队的PC生命周期管理，允许快速做出决策，以提供PC性能，降低硬件成本，节省测试时间。

专业用户的性能测试基准套件

Procyon是由UL Solutions开发的一套性能测试基准工具，专为工业、企业、政府、零售和媒体的专业用户设计。Procyon套件中的每个基准测试都提供了一致且熟悉的体验，并共享一套共同的设计和功能。灵活的许可模式意味着用户可以根据自己的需求选择适合的单个基准测试。Procyon基准测试套件很快将提供一系列针对专业用户的基准测试和性能测试，每个基准测试都针对特定用例设计，并尽可能使用真实应用。UL Solutions与行业合作伙伴紧密合作，确保每个Procyon基准测试准确、相关且公正。

用于评估大型语言模型事实性的最新基准

FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。

衡量Android设备AI性能和质量的基准测试工具

Procyon AI Inference Benchmark for Android是一款基于NNAPI的基准测试工具，用于衡量Android设备上的AI性能和质量。它通过一系列流行的、最先进的神经网络模型来执行常见的机器视觉任务，帮助工程团队独立、标准化地评估NNAPI实现和专用移动硬件的AI性能。该工具不仅能够测量Android设备上专用AI处理硬件的性能，还能够验证NNAPI实现的质量，对于优化硬件加速器的驱动程序、比较浮点和整数优化模型的性能具有重要意义。

个人电脑AI性能基准测试

MLPerf Client是由MLCommons共同开发的新基准测试，旨在评估个人电脑（从笔记本、台式机到工作站）上大型语言模型（LLMs）和其他AI工作负载的性能。该基准测试通过模拟真实世界的AI任务，提供清晰的指标，以了解系统如何处理生成性AI工作负载。MLPerf Client工作组希望这个基准测试能够推动创新和竞争，确保个人电脑能够应对AI驱动的未来挑战。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

浏览器AI助手，提供多链接总结、站内高级检索等功能

智谱清言是一款浏览器插件，旨在提升用户的上网体验。它通过AI技术，为用户提供多链接总结、站内高级检索、写作助手和划线翻译等功能，帮助用户更高效地获取和管理信息。产品背景信息显示，智谱清言致力于成为用户的全自动上网助手，通过智能化服务提升工作效率。目前产品提供免费试用，定位于需要高效信息处理和写作支持的用户群体。

智能搜索工具，一键检索多个社交平台

Onion AI Search是一个集成了多个社交平台搜索功能的智能搜索工具。它允许用户在一个界面上同时搜索YouTube、Instagram、Facebook、Reddit、LinkedIn、GitHub、TikTok和Netflix等多个平台的内容，极大地提高了信息检索的效率和便捷性。该产品以其简洁的用户界面和强大的搜索能力，为用户提供了一个全新的网络信息检索体验。

AI数学极限测试基准

FrontierMath是一个数学基准测试平台，旨在测试人工智能在解决复杂数学问题上的能力极限。它由超过60位数学家共同创建，覆盖了从代数几何到Zermelo-Fraenkel集合论的现代数学全谱。FrontierMath的每个问题都要求专家数学家投入数小时的工作，即使是最先进的AI系统，如GPT-4和Gemini，也仅能解决不到2%的问题。这个平台提供了一个真正的评估环境，所有问题都是新的且未发表的，消除了现有基准测试中普遍存在的数据污染问题。

多智能体任务规划与推理的基准测试

PARTNR是由Meta FAIR发布的一个大规模基准测试，包含100,000个自然语言任务，旨在研究多智能体推理和规划。PARTNR利用大型语言模型（LLMs）生成任务，并通过模拟循环来减少错误。它还支持与真实人类伙伴的AI代理评估，通过人类在环基础设施进行。PARTNR揭示了现有基于LLM的规划器在任务协调、跟踪和从错误中恢复方面的显著局限性，人类能解决93%的任务，而LLMs仅能解决30%。

衡量语言模型回答事实性问题能力的基准测试

SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。

与您的PDF文件进行对话

PDFtoChat是一个允许用户与PDF文件进行对话的平台。它通过AI技术分析PDF内容，让用户能够以提问的方式获取信息，极大地提高了处理文档的效率。该产品背景信息显示，它是由Together AI和Mixtral提供支持的，并且是开源的，源代码可在GitHub上找到。PDFtoChat的主要优点包括免费使用、易于上手、能够处理复杂的文档内容，并且支持开源社区的贡献。