产品库

衡量语言模型回答事实性问题能力的基准测试

SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

通过街霸3对战评估大型语言模型

llm-colosseum是一个创新的基准测试工具，它使用街霸3游戏来评估大型语言模型（LLM）的实时决策能力。与传统的基准测试不同，这个工具通过模拟实际游戏场景来测试模型的快速反应、智能策略、创新思维、适应性和恢复力。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

在线聊天机器人竞技场，比较不同语言模型的表现。

LMSYS Chatbot Arena 是一个在线平台，旨在通过用户与匿名聊天机器人模型的互动，对大型语言模型(Large Language Models, LLMs)进行基准测试。该平台收集了超过70万次人类投票，计算出LLM的Elo排行榜，以确定谁是聊天机器人领域的冠军。平台提供了一个研究预览，具有有限的安全措施，可能生成不当内容，因此需要用户遵守特定的使用条款。

高质量音频生成框架

AudioLM是由Google Research开发的一个框架，用于高质量音频生成，具有长期一致性。它将输入音频映射到离散标记序列，并将音频生成视为这一表示空间中的语言建模任务。AudioLM通过在大量原始音频波形上训练，学习生成自然且连贯的音频续篇，即使在没有文本或注释的情况下，也能生成语法和语义上合理的语音续篇，同时保持说话者的身份和韵律。此外，AudioLM还能生成连贯的钢琴音乐续篇，尽管它在训练时没有使用任何音乐的符号表示。

利用大型语言模型（LLM）进行创新研究的智能代理

CoI-Agent是一个基于大型语言模型（LLM）的智能代理，旨在通过链式思维（Chain of Ideas）的方式革新研究领域的新想法开发。该模型通过整合和分析大量数据，为研究人员提供创新的思路和研究方向。它的重要性在于能够加速科研进程，提高研究效率，帮助研究人员在复杂的数据中发现新的模式和联系。CoI-Agent由DAMO-NLP-SG团队开发，是一个开源项目，可以免费使用。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

为复杂企业打造的AI工具

LLMWare.ai是一个为金融、法律、合规和监管密集型行业设计的AI工具，专注于私有云中的小型专业化语言模型和专为SLMs设计的AI框架。它提供了一个集成的、高质量的、组织良好的框架，用于开发AI代理工作流、检索增强生成（RAG）和其他用例的LLM应用程序，包括许多核心对象，以便开发者可以立即开始。

AI在医学领域的初步研究

o1 in Medicine是一个专注于医学领域的人工智能模型，旨在通过先进的语言模型技术，提升医学数据的处理能力和诊断准确性。该模型由UC Santa Cruz、University of Edinburgh和National Institutes of Health的研究人员共同开发，通过在多个医学数据集上的测试，展示了其在医学领域的应用潜力。o1模型的主要优点包括高准确率、多语言支持以及对复杂医学问题的深入理解能力。该模型的开发背景是基于当前医疗领域对于高效、准确的数据处理和分析的需求，尤其是在诊断和治疗建议方面。目前，该模型的研究和应用还处于初步阶段，但其在医学教育和临床实践中的应用前景广阔。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

机器学习工程能力的AI代理评估基准

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

视频指令调优与合成数据研究

LLaVA-Video是一个专注于视频指令调优的大型多模态模型（LMMs），通过创建高质量的合成数据集LLaVA-Video-178K来解决从网络获取大量高质量原始数据的难题。该数据集包括详细的视频描述、开放式问答和多项选择问答等任务，旨在提高视频语言模型的理解和推理能力。LLaVA-Video模型在多个视频基准测试中表现出色，证明了其数据集的有效性。

快速获取高质量提示信息

Platea AI是一个提供高质量提示信息的平台，用户可以快速地获取和比较不同语言模型提供商和模型的结果。它支持并行运行提示，并能快速比较结果，帮助用户选择最合适的模型。

基于熵的采样技术，优化模型输出的多样性和准确性

Entropy-based sampling 是一种基于熵理论的采样技术，用于提升语言模型在生成文本时的多样性和准确性。该技术通过计算概率分布的熵和方差熵来评估模型的不确定性，从而在模型可能陷入局部最优或过度自信时调整采样策略。这种方法有助于避免模型输出的单调重复，同时在模型不确定性较高时增加输出的多样性。

高性能浏览器内语言模型推理引擎

WebLLM是一个高性能的浏览器内语言模型推理引擎，利用WebGPU进行硬件加速，使得强大的语言模型操作可以直接在网页浏览器内执行，无需服务器端处理。这个项目旨在将大型语言模型（LLM）直接集成到客户端，从而实现成本降低、个性化增强和隐私保护。它支持多种模型，并与OpenAI API兼容，易于集成到项目中，支持实时交互和流式处理，是构建个性化AI助手的理想选择。

AMD训练的高性能语言模型

AMD-Llama-135m是一个基于LLaMA2模型架构训练的语言模型，能够在AMD MI250 GPU上流畅加载使用。该模型支持生成文本和代码，适用于多种自然语言处理任务。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

可视化和透明的开源ChatGPT替代品

Show-Me是一个开源应用程序，旨在提供传统大型语言模型(如ChatGPT)交互的可视化和透明替代方案。它通过将复杂问题分解成一系列推理子任务，使用户能够理解语言模型的逐步思考过程。该应用程序使用LangChain与语言模型交互，并通过动态图形界面可视化推理过程。

高效准确的AI语言模型

Llama-3.1-Nemotron-51B是由NVIDIA基于Meta的Llama-3.1-70B开发的新型语言模型，通过神经架构搜索（NAS）技术优化，实现了高准确率和高效率。该模型能够在单个NVIDIA H100 GPU上运行，显著降低了内存占用，减少了内存带宽和计算量，同时保持了优秀的准确性。它代表了AI语言模型在准确性和效率之间取得的新平衡，为开发者和企业提供了成本可控的高性能AI解决方案。

通过生成式AI激活人类潜能

Stability AI是一个专注于生成式人工智能技术的公司，提供多种AI模型，包括文本到图像、视频、音频、3D和语言模型。这些模型能够处理复杂提示，生成逼真的图像和视频，以及高质量的音乐和音效。公司提供灵活的许可选项，包括自托管许可和平台API，以满足不同用户的需求。Stability AI致力于通过开放模型，为全球每个人提供高质量的AI服务。

连接大型语言模型与谷歌数据共享平台，减少AI幻觉现象。

DataGemma是世界上首个开放模型，旨在通过谷歌数据共享平台的大量真实世界统计数据，帮助解决AI幻觉问题。这些模型通过两种不同的方法增强了语言模型的事实性和推理能力，从而减少幻觉现象，提升AI的准确性和可靠性。DataGemma模型的推出，是AI技术在提升数据准确性和减少错误信息传播方面的重要进步，对于研究人员、决策者以及普通用户来说，都具有重要的意义。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

轻量级语言模型编程库，将提示视为函数。

ell是一个轻量级的语言模型编程库，它将提示视为函数，而不是简单的字符串。ell的设计基于在OpenAI和创业生态系统中多年构建和使用语言模型的经验。它提供了一种全新的编程方式，允许开发者通过定义函数来生成发送给语言模型的字符串提示或消息列表。这种封装方式为用户创建了一个清晰的接口，用户只需关注LMP所需的数据。ell还提供了丰富的工具，支持监控、版本控制和可视化，使得提示工程从一门黑艺术转变为一门科学。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

简洁的FLUX LoRA训练UI，支持低VRAM配置。

Flux Gym是一个为FLUX LoRA模型训练设计的简洁Web UI，特别适合只有12GB、16GB或20GB VRAM的设备使用。它结合了AI-Toolkit项目的易用性和Kohya Scripts的灵活性，使得用户无需复杂的终端操作即可进行模型训练。Flux Gym支持用户通过简单的界面上传图片和添加描述，然后启动训练过程。

高效能的第三代MiniCPM系列模型

MiniCPM3-4B是MiniCPM系列的第三代产品，整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多近期的7B至9B模型相当。与前两代相比，MiniCPM3-4B具有更强大的多功能性，支持函数调用和代码解释器，使其能够更广泛地应用于各种场景。此外，MiniCPM3-4B拥有32k的上下文窗口，配合LLMxMapReduce技术，理论上可以处理无限上下文，而无需大量内存。

数据库查询的自然语言处理基准测试

TAG-Bench是一个用于评估和研究自然语言处理模型在回答数据库查询方面性能的基准测试。它基于BIRD Text2SQL基准测试构建，并通过增加对世界知识或超越数据库中明确信息的语义推理要求，提高了查询的复杂性。TAG-Bench旨在推动AI和数据库技术的融合，通过模拟真实的数据库查询场景，为研究者提供了一个挑战现有模型的平台。