产品库

基于大型语言模型的智能代理研究

xLAM是一个由Salesforce AI Research团队开发的基于大型语言模型(Large Language Models, LLMs)的智能代理研究项目。它通过聚合来自不同环境的智能代理轨迹，标准化并统一这些轨迹到一致的格式，以创建一个优化的通用数据加载器，专门用于智能代理的训练。xLAM-v0.1-r是此模型系列的0.1版本，专为研究目的设计，与VLLM和FastChat平台兼容。

轻量级AI代理，基于开源模型的智能助手

AIlice是一个轻量级的AI代理，旨在创建一个类似于JARVIS的自包含人工智能助手。它通过构建一个以大型语言模型（LLM）为核心的“文本计算机”来实现这一目标。AIlice在主题研究、编码、系统管理、文献综述以及超越这些基本能力的复杂混合任务方面表现出色。AIlice利用GPT-4在日常生活中的任务中达到了近乎完美的性能，并正在利用最新的开源模型迈向实际应用。

对话式视频代理，结合大型语言模型与视频处理API。

Jockey是一个基于Twelve Labs API和LangGraph构建的对话式视频代理。它将现有的大型语言模型(Large Language Models, LLMs)的能力与Twelve Labs的API结合使用，通过LangGraph进行任务分配，将复杂视频工作流程的负载分配给适当的基础模型。LLMs用于逻辑规划执行步骤并与用户交互，而与视频相关的任务则传递给由视频基础模型(Video Foundation Models, VFMs)支持的Twelve Labs API，以原生方式处理视频，无需像预先生成的字幕这样的中介表示。

一个基于Qwen2.5-Coder系列训练的大型语言模型，专注于代理应用。

Dria-Agent-a-7B是一个基于Qwen2.5-Coder系列训练的大型语言模型，专注于代理应用。它采用Pythonic函数调用方式，与传统JSON函数调用方法相比，具有单次并行多函数调用、自由形式推理和动作以及即时复杂解决方案生成等优势。该模型在多个基准测试中表现出色，包括Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小为76.2亿参数，采用BF16张量类型，支持文本生成任务。其主要优点包括强大的编程辅助能力、高效的函数调用方式以及在特定领域的高准确率。该模型适用于需要复杂逻辑处理和多步骤任务执行的应用场景，如自动化编程、智能代理等。目前，该模型在Hugging Face平台上提供，供用户免费使用。

基于大型多模态模型构建端到端网络代理

WebVoyager是一款创新的大型多模态模型（LMM）驱动的网络代理，能够通过与现实世界的网站交互，端到端完成用户指令。我们提出了一种新的网络代理评估协议，以解决开放式网络代理任务的自动评估挑战，利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务，用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率，明显超过了GPT-4（所有工具）和WebVoyager（仅文本）设置的性能，突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性，为在真实世界环境中进一步发展网络代理铺平了道路。

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

基于大型语言模型的多智能体应用开发框架

agentUniverse 是一个基于大型语言模型的多智能体应用开发框架，提供了构建单一智能体和多智能体协作机制的所有必需组件。通过模式工厂，允许开发者构建和自定义多智能体协作模式，轻松构建多智能体应用，并分享不同技术与业务领域的模式实践。

双千亿级大语言模型，智能问答、创作文本

「天工」是国内首个对标 ChatGPT 的双千亿级大语言模型，也是一个对话式 AI 助手。通过自然语言与用户进行问答交互，AI 生成能力可满足文案创作、知识问答、逻辑推演、数理推算、代码编程等多元化需求。支持 1 万字以上文本对话，实现 20 轮次以上用户交互，在学习、职场、生活等多类问答场景中都能实现较高的输出水平。

基于Qwen2.5-Coder系列的大型语言模型，专注于代理应用。

Dria-Agent-a-3B是一个基于Qwen2.5-Coder系列的大型语言模型，专注于代理应用。它采用Pythonic函数调用方式，具有单次并行多函数调用、自由形式推理和动作以及即时复杂解决方案生成等优势。该模型在多个基准测试中表现出色，如Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小为3.09B参数，支持BF16张量类型。

Dria-Agent-α是基于Python的大型语言模型工具交互框架。

Dria-Agent-α是Hugging Face推出的大型语言模型（LLM）工具交互框架。它通过Python代码来调用工具，与传统的JSON模式相比，能更充分地发挥LLM的推理能力，使模型能够以更接近人类自然语言的方式进行复杂问题的解决。该框架利用Python的流行性和接近伪代码的语法，使LLM在代理场景中表现更佳。Dria-Agent-α的开发使用了合成数据生成工具Dria，通过多阶段管道生成逼真的场景，训练模型进行复杂问题解决。目前已有Dria-Agent-α-3B和Dria-Agent-α-7B两个模型在Hugging Face上发布。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

先进的大型语言模型，用于编程

Code Llama 是一款先进的大型语言模型，可以通过文本提示生成代码。它是当前公开可用的语言模型中在编程任务上达到最佳性能的模型之一。Code Llama 可以帮助开发人员提高工作效率，降低编码门槛，并作为一个教育工具帮助编程学习者编写更健壮、更好文档化的软件。Code Llama 提供了多个版本，包括基础版、针对 Python 的专用版和针对自然语言指令的定制版。它支持多种流行的编程语言，如 Python、C++、Java 等。Code Llama 免费供研究和商业使用。

动态记忆框架，支持大型语言模型和代理。

RedCache-AI是一个为大型语言模型和代理设计的动态记忆框架，它允许开发者构建从AI驱动的约会应用到医疗诊断平台等广泛的应用。它解决了现有解决方案昂贵、封闭源代码或缺乏对外部依赖的广泛支持的问题。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

定制化大型语言模型的训练平台

Entry Point AI是一款训练大型语言模型的平台，可以快速高效地进行训练、管理和评估自定义模型，无需编写代码。它提供了跨平台的训练工具，可以比较模型性能、标注数据集、生成合成数据，并以速度和质量优于基于对话的模型。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

人类水平智能代理，与大型语言模型进行 Pokémon 战斗

POKÉLLMON是首个在战术战斗游戏中实现人类水平性能的LLM体现代理。它融合了三种关键策略：1）基于上下文的强化学习，即时利用从战斗中提取的文本描述反馈，迭代地优化其生成策略；2）知识增强生成，利用外部知识对抗幻觉，使代理能够及时和正确地行动；3）具有自一致性的动作生成，以减轻当代理面对强大对手并希望避免战斗时的惊慌切换现象。与人类玩家在线对战展示了POKÉLLMON的人类级别战斗性能和策略，在梯队比赛中取得49%的胜率，在邀请赛中取得56%的胜率。此外，我们揭示了其对人类玩家的消耗战略和欺骗技巧的脆弱性。

多功能AI助手，提供问答、写作、绘图等智能服务。

三顿智能助手是一个集成了多种AI功能的在线平台，它通过提供问答、写作、绘图等多种服务，帮助用户提高工作效率和创造力。该产品以其强大的AI技术背景和用户友好的界面，为用户提供了一个便捷的智能服务入口。价格方面，三顿智能助手提供免费试用，同时也提供付费服务以解锁更多功能。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

医疗领域先进的大型语言模型

HuatuoGPT-o1-70B是由FreedomIntelligence开发的医疗领域大型语言模型（LLM），专为复杂的医疗推理设计。该模型在提供最终响应之前，会生成一个复杂的思考过程，反映并完善其推理。HuatuoGPT-o1-70B能够处理复杂的医疗问题，提供深思熟虑的答案，这对于提高医疗决策的质量和效率至关重要。该模型基于LLaMA-3.1-70B架构，支持英文，并且可以部署在多种工具上，如vllm或Sglang，或者直接进行推理。

开放的大型语言模型排行榜

Open LLM Leaderboard是一个由Hugging Face提供的空间，旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台，可以查看不同模型在特定任务上的表现，从而帮助用户选择最适合自己需求的模型。

开源大型语言模型工具集合

Open Source LLM Tools是一个专注于收集和展示开源大型语言模型（LLM）工具的平台。它提供了一个更新频繁的资源库，帮助开发者和研究者发现和利用最新的开源AI工具。该平台的主要优点在于其高更新频率和对活跃开源AI开发者的聚焦，使得用户能够及时获取到行业的最新动态和技术进展。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

利用大型语言模型（LLM）进行创新研究的智能代理

CoI-Agent是一个基于大型语言模型（LLM）的智能代理，旨在通过链式思维（Chain of Ideas）的方式革新研究领域的新想法开发。该模型通过整合和分析大量数据，为研究人员提供创新的思路和研究方向。它的重要性在于能够加速科研进程，提高研究效率，帮助研究人员在复杂的数据中发现新的模式和联系。CoI-Agent由DAMO-NLP-SG团队开发，是一个开源项目，可以免费使用。

大型语言模型的详细列表和信息

Models Table 提供了一个包含300多个大型语言模型的列表，这些模型被所有主要的AI实验室使用，包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性，对于AI研究者和开发者来说是一个宝贵的资源。

芯片设计领域自适应大型语言模型

ChipNeMo 是英伟达发布的一个探索将大型语言模型（LLMs）应用于工业芯片设计的项目。与直接使用现成的商业或开源 LLMs 不同，我们采用了定制的分词器、领域自适应的持续预训练、带有领域特定指令的监督微调（SFT）以及领域适应的检索模型等领域自适应技术。

123B参数的大型语言模型，具备先进推理和编码能力。

Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型，它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言，并在80多种编程语言上进行了训练，包括但不限于Python、Java、C、C++等。它以代理为中心，具备原生函数调用和JSON输出能力，是进行科研和开发的理想选择。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

提升大型语言模型性能的混合代理技术

MoA（Mixture of Agents）是一种新颖的方法，它利用多个大型语言模型（LLMs）的集体优势来提升性能，实现了最先进的结果。MoA采用分层架构，每层包含多个LLM代理，显著超越了GPT-4 Omni在AlpacaEval 2.0上的57.5%得分，达到了65.1%的得分，使用的是仅开源模型。