产品库

下一代具有规划和自我修复能力的AI代理

Agent Q是MultiOn公司研发的新一代AI代理模型，它通过结合搜索、自我批评和强化学习，创建能够规划和自我修复的先进自主网络代理。它通过引导蒙特卡洛树搜索（MCTS）、AI自我批评和直接偏好优化（DPO）算法，解决了传统大型语言模型（LLMs）在动态环境中多步推理任务的挑战，提高了在复杂环境中的成功率。

用于测试和开发AI代理的可扩展开源框架

Windows Agent Arena (WAA) 是一个专注于Windows操作系统的可扩展、开源框架，用于测试和开发能够使用语言模型在PC上进行推理、规划和行动的AI代理。它通过模拟真实的Windows环境，允许代理自由操作，并使用与人类用户相同的应用程序、工具和网络浏览器来解决任务。WAA通过Azure实现可扩展性和并行化，能够在短短20分钟内完成完整的基准测试评估。

基于LangGraph的AI代理服务工具包

agent-service-toolkit是一个用于运行基于LangGraph的AI代理服务的完整工具包，包括LangGraph代理、FastAPI服务、客户端以及Streamlit应用程序，提供了从代理定义到用户界面的完整设置。它利用了LangGraph框架的高度控制能力和丰富的生态系统，支持并发执行、图循环、流式结果等高级功能。

AI助力的自动化工作流软件。

Bardeen AI是一个通过简单提示即可执行重复性工作的AI代理，旨在简化工作流程，提高效率。它集成了多种应用程序和浏览器，以安全、可靠地完成工作。Bardeen AI的主要优点包括无需编程或技术背景即可通过简单语言指令操作，实时确认行动计划，并在后台持续执行任务。它支持多种集成，如Google Sheets、Slack、LinkedIn等，适用于销售、招聘、市场研究等多种场景。

AI代理，为你解答问题

Amabay是一个基于人工智能技术的问答平台，使用户能够创建自己的Amabot，即个人化的AI代理，来回答问题。它利用RAG技术生成准确、客观的答案，为用户提供一种新的自我展示和交流方式。Amabay适合希望提高在线互动效率和质量的个人和组织。目前Amabay提供免费服务，但具体的定价策略和定位尚未明确。

开源语言代理，解决复杂多步推理任务。

Husky-v1是一个开源的语言代理模型，专注于解决包含数值、表格和基于知识的复杂多步推理任务。它使用工具使用、代码生成器、查询生成器和数学推理器等专家模型来执行推理。此模型支持CUDA 11.8，需要下载相应的模型文件，并可以通过优化的推理过程并行运行所有专家模型。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

AI代理演示，提升SaaS销售效率

Fluidworks通过AI代理提供实时视频演示，增强客户参与度，提高销售效率，优化销售团队的焦点，并提供数据驱动的洞察以细化销售策略。它通过个性化、实时演示和即时问答，为客户提供定制化的体验，方便他们随时访问演示，确保信息的一致性和可靠性，帮助他们做出明智的购买决策。

构建个性化AI代理的开源平台

Scoopika是一个开源的开发者平台，旨在帮助开发者构建能够看、说、听、学习并采取行动的个性化AI代理。它为AI时代提供了一个安全、高效且易于使用的平台，支持全边缘兼容性和实时流媒体，内置视觉和语音聊天功能。Scoopika强调了其开放源代码的特性，提供了服务器端和客户端的运行库，以及React项目中的集成模块，拥有一个不断增长的开发者社区。

使用自主强化学习训练野外设备控制代理

DigiRL是一个创新的在线强化学习算法，用于训练能够在野外环境中控制设备的智能代理。它通过自主价值评估模型（VLM）来解决开放式的、现实世界中的Android任务。DigiRL的主要优点包括能够利用现有的非最优离线数据集，并通过离线到在线的强化学习来鼓励代理从自身的尝试和错误中学习。该模型使用指令级价值函数来隐式构建自动课程，优先考虑对代理最有价值的任务，并通过步进级价值函数挑选出在轨迹中对目标有贡献的有利动作。

实时语音AI代理，500毫秒内响应语音查询。

Real-time Voice AI Agent是一个高度灵活的实时语音交互模型，它能够在大约500毫秒内通过语音回答任何查询。该模型支持用户选择任何大型语言模型、文本到语音(TTS)模型和语音到文本(STT)模型。它非常适合用于客户服务机器人、接待员等涉及语音的应用场景。

多维奖励模型，助力构建自定义大型语言模型。

Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型，用于合成数据生成管道，帮助研究人员和开发者构建自己的大型语言模型（LLMs）。该模型由Nemotron-4-340B-Base模型和一个线性层组成，能够将响应末尾的标记转换为五个标量值，对应于HelpSteer2属性。它支持最多4096个标记的上下文长度，并能够对每个助手轮次的五个属性进行评分。

创建和操作具有循环、记忆和工具的认知语言代理。

Mentals AI是一个工具，旨在通过简单的Markdown语法创建和操作具有循环、记忆和各种工具的代理。它允许用户专注于代理的逻辑，而无需编写Python或其他语言的底层代码，从而重新定义了未来AI应用的基础框架。

基于Agently AI框架的开源自动新闻收集工具

Agently Daily News Collector是一个基于Agently AI应用开发框架的开源项目，能够自动收集特定主题的新闻。用户只需输入新闻收集的领域主题，AI代理将自动工作，直到生成并保存到Markdown文件中的高质量新闻集合。

通过强化学习微调大型视觉-语言模型作为决策代理

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。

开源AI代理平台，专为金融应用设计。

FinRobot是一个开源的AI代理平台，利用大型语言模型（LLMs）为金融应用提供全面的解决方案。它整合了多种AI技术，超越了单纯的语言模型，展现了平台的多功能性和适应性，满足金融行业的多样化需求。FinRobot的AI代理概念是指使用大型语言模型作为其大脑来感知环境、做出决策并执行动作的智能实体。与传统人工智能不同，AI代理具有独立思考和使用工具以逐步实现给定目标的能力。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

构建AI伴侣，提升应用内用户体验。

Octoverse是一个AI代理模型，旨在帮助开发者在应用程序中构建能够理解并完成任务的AI伴侣。它比GPT-4在功能调用上快4倍，成本低10倍，且准确度更高。Octoverse通过模型专业化的进步，为可持续、易访问且用户友好的AI应用提供了显著的飞跃，解决了隐私、成本和延迟问题。

为真实世界机器人提供最先进的机器学习模型、数据集和工具。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。

开源的MuZero实现，分布式AI框架

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。

用于测量和训练 AI 通用智能的软件平台

Universe 是一个软件平台,能够通过各种游戏、网站和其他应用程序,测量和训练人工智能的通用智能能力。它允许 AI 代理像人类一样使用计算机,通过观察屏幕像素和操作虚拟键盘和鼠标来与系统交互。该平台集成了包括 Flash 游戏、网页任务、视频游戏等上千种环境,旨在通过构建能够灵活应用过往经验快速掌握陌生环境的 AI 代理,从而实现通用人工智能的重大突破。

轻量级AI代理，基于开源模型的智能助手

AIlice是一个轻量级的AI代理，旨在创建一个类似于JARVIS的自包含人工智能助手。它通过构建一个以大型语言模型（LLM）为核心的“文本计算机”来实现这一目标。AIlice在主题研究、编码、系统管理、文献综述以及超越这些基本能力的复杂混合任务方面表现出色。AIlice利用GPT-4在日常生活中的任务中达到了近乎完美的性能，并正在利用最新的开源模型迈向实际应用。

SERL是一个高效的机器人强化学习软件套件

SERL是一个经过精心实现的代码库,包含了一个高效的离策略深度强化学习方法,以及计算奖励和重置环境的方法,一个高质量的广泛采用的机器人控制器,以及一些具有挑战性的示例任务。它为社区提供了一个资源,描述了它的设计选择,并呈现了实验结果。令人惊讶的是,我们发现我们的实现可以实现非常高效的学习,仅需25到50分钟的训练即可获得PCB装配、电缆布线和物体重定位等策略,改进了文献中报告的类似任务的最新结果。这些策略实现了完美或接近完美的成功率,即使在扰动下也具有极强的鲁棒性,并呈现出新兴的恢复和修正行为。我们希望这些有前途的结果和我们的高质量开源实现能为机器人社区提供一个工具,以促进机器人强化学习的进一步发展。

大规模强化学习用于扩散模型

Text-to-image扩散模型是一类深度生成模型，展现了出色的图像生成能力。然而，这些模型容易受到来自网页规模的文本-图像训练对的隐含偏见的影响，可能无法准确地对我们关心的图像方面进行建模。这可能导致次优样本、模型偏见以及与人类伦理和偏好不符的图像。本文介绍了一种有效可扩展的算法，利用强化学习（RL）改进扩散模型，涵盖了多样的奖励函数，如人类偏好、组成性和公平性，覆盖了数百万张图像。我们阐明了我们的方法如何大幅优于现有方法，使扩散模型与人类偏好保持一致。我们进一步阐明了如何这显著改进了预训练的稳定扩散（SD）模型，生成的样本被人类偏好80.3%，同时改善了生成样本的组成和多样性。

增强LLM推理能力的ReFT

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。

多目标强化学习框架，文本转图像生成

Parrot 是一种多目标强化学习框架，专为文本转图像生成而设计。它通过批量 Pareto 最优选择的方式，自动识别在 T2I 生成的 RL 优化过程中不同奖励之间的最佳权衡。此外，Parrot采用了 T2I 模型和提示扩展网络的联合优化方法，促进了生成质量感知的文本提示，从而进一步提高了最终图像质量。为了抵消由于提示扩展而可能导致的原始用户提示的潜在灾难性遗忘，我们在推理时引入了原始提示中心化指导，确保生成的图像忠实于用户输入。大量实验和用户研究表明，Parrot在各种质量标准，包括美学、人类偏好、图像情感和文本-图像对齐方面，均优于几种基线方法。

将您的API转化为AI代理

Monoid可以将API转化为行动，增强LLMs获取相关上下文并代表用户行动的能力。您可以在几分钟内创建代理，选择基础LLM、代理类型和一些行动。只需提供您的API，选择AI代理控制的参数，以自然语言响应模拟AI代理使用您的API。您还可以与您的代理进行交谈，并在Hub上分享您的行动和代理，帮助创建充满活力的行动和代理网络。

增强 LLM 的可用性和安全性

Starling-7B 是一个由强化学习从 AI 反馈（RLAIF）训练的开放大型语言模型（LLM）。它通过我们的新 GPT-4 标记排序数据集 Nectar 和新的奖励训练和策略调优流程充分发挥了作用。Starling-7B 在使用 GPT-4 作为评委的 MT Bench 中得分为 8.09，在 MT-Bench 上超过了目前所有模型，除了 OpenAI 的 GPT-4 和 GPT-4 Turbo。我们在 HuggingFace 上发布了排名数据集 Nectar、奖励模型 Starling-RM-7B-alpha 和语言模型 Starling-LM-7B-alpha，以及 LMSYS Chatbot Arena 中的在线演示。请期待我们即将发布的代码和论文，其中将提供有关整个过程的更多详细信息。

观测、分析和评估AI代理的可观测性和日志平台

LLMonitor是一个为LLM（语言模型）应用提供观测性、分析和测试的平台。它可以记录LLM的调用日志、指标和追踪，支持对话评估和聊天记录回放，帮助优化AI应用的性能和成本控制。LLMonitor提供了日志监控、性能分析、错误追踪、用户对话记录、用户反馈收集等功能。它适用于各种AI开发场景，包括代理人、聊天机器人等。