产品库

基于环境反馈的视觉语言编程工具

Octopus是一款基于环境反馈的视觉语言编程工具，能够高效地解析代理的视觉和文本任务目标，制定复杂的动作序列，并生成可执行代码。Octopus的设计允许代理处理广泛的任务，从模拟器中的日常琐事到复杂视频游戏中的复杂交互。Octopus通过利用GPT-4来控制探索代理生成训练数据，即动作蓝图和相应的可执行代码，在我们的实验环境OctoVerse中进行训练。我们还收集反馈，以允许强化学习与环境反馈（RLEF）的增强训练方案。通过一系列实验，我们阐明了Octopus的功能并呈现了令人信服的结果，提出的RLEF证明了提高代理决策的效果。通过开源我们的模型架构、模拟器和数据集，我们希望激发更多的创新并促进更广泛的体验AI社区中的协作应用。

人类中心语言模型和模拟器的领导者

Nous Research专注于开发以人为中心的语言模型和模拟器，致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型，挑战传统的封闭模型方法。

浏览器插件，一键翻译网页上的图片文字。

Torii Image Translator是一款浏览器插件，能够让用户在浏览网页时，直接翻译网页上的图片中的文字。它通过集成先进的翻译技术，如GPT-4，提供高精度和上下文理解的翻译服务。这款插件支持多种语言，使用户能够无缝地理解和获取全球各种语言的视觉内容。Torii Image Translator的主要优点包括无缝集成、高质量的翻译、用户友好的界面和增强的全球连通性。它适合那些需要跨越语言障碍获取信息的用户，无论是探索外国文化、进行国际研究还是满足好奇心。

模块化仿人机器人，用于强化学习训练

Agibot X1是由Agibot开发的模块化仿人机器人，具有高自由度，基于Agibot开源框架AimRT作为中间件，并使用强化学习进行运动控制。该项目是Agibot X1使用的强化学习训练代码，可以与Agibot X1提供的推理软件结合用于真实机器人和模拟步行调试，或导入其他机器人模型进行训练。

利用OpenAI的GPT-4 Turbo模型进行高效OCR处理

这是一个开源的OCR API，利用OpenAI强大的语言模型和优化的性能技术（如并行处理和批处理）来实现从复杂PDF文档中提取高质量文本。非常适合寻求高效文档数字化和数据提取解决方案的企业。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

下一代具有规划和自我修复能力的AI代理

Agent Q是MultiOn公司研发的新一代AI代理模型，它通过结合搜索、自我批评和强化学习，创建能够规划和自我修复的先进自主网络代理。它通过引导蒙特卡洛树搜索（MCTS）、AI自我批评和直接偏好优化（DPO）算法，解决了传统大型语言模型（LLMs）在动态环境中多步推理任务的挑战，提高了在复杂环境中的成功率。

一站式数据处理系统，为大型语言模型提供高质量数据。

Data-Juicer 是一个一站式的多模态数据处理系统，旨在为大型语言模型(LLMs)提供更高质量、更丰富、更易消化的数据。它提供了一个系统化和可复用的数据处理库，支持数据与模型的协同开发，通过沙盒实验室实现快速迭代，并提供基于数据和模型的反馈循环、可视化和多维度自动评估等功能，帮助用户更好地理解和改进他们的数据和模型。Data-Juicer 正在积极更新和维护，定期增强和添加更多功能、数据配方和数据集。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

自主软件开发系统，提高编码效率。

SuperCoder是一个开源的自主软件开发系统，利用先进的AI工具和代理来简化和自动化编码、测试和部署任务，提高效率和可靠性。它支持多种编程语言和框架，以满足不同的开发需求。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

构建大型语言模型支持的多智能体应用。

AgentScope是一个创新的多智能体平台，旨在赋能开发者使用大规模模型构建多智能体应用。它具有易于使用、高鲁棒性和基于Actor的分布式特性，支持自定义容错控制和重试机制，以增强应用稳定性。

前端页面生成神器，提升开发效率

gpt-frontend-code-gen 是一个基于 React 和 Vite 构建的前端项目，结合 Koa 后端服务，实现前端页面生成并预览的功能。它使用 GPT-4 模型，支持 Chakra UI 和 ShadcnUI 组件生成，允许开发者通过对话形式持续迭代和修改页面，直到达到满意的效果。

使用自主强化学习训练野外设备控制代理

DigiRL是一个创新的在线强化学习算法，用于训练能够在野外环境中控制设备的智能代理。它通过自主价值评估模型（VLM）来解决开放式的、现实世界中的Android任务。DigiRL的主要优点包括能够利用现有的非最优离线数据集，并通过离线到在线的强化学习来鼓励代理从自身的尝试和错误中学习。该模型使用指令级价值函数来隐式构建自动课程，优先考虑对代理最有价值的任务，并通过步进级价值函数挑选出在轨迹中对目标有贡献的有利动作。

AI原生数据应用开发框架

DB-GPT是一个开源的AI原生数据应用开发框架，利用AWEL(Agentic Workflow Expression Language)和代理(agent)技术，简化了大型模型应用与数据的结合。它通过多模型管理、Text2SQL效果优化、RAG框架优化、多代理框架协作等技术能力，使企业和开发者能够以更少的代码构建定制化应用。DB-GPT在数据3.0时代，基于模型和数据库，为构建企业级报告分析和业务洞察提供了基础数据智能技术。

多维奖励模型，助力构建自定义大型语言模型。

Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型，用于合成数据生成管道，帮助研究人员和开发者构建自己的大型语言模型（LLMs）。该模型由Nemotron-4-340B-Base模型和一个线性层组成，能够将响应末尾的标记转换为五个标量值，对应于HelpSteer2属性。它支持最多4096个标记的上下文长度，并能够对每个助手轮次的五个属性进行评分。

使用GPT-4 API构建的多大型PDF文件聊天机器人。

DocSolver是一个利用GPT-4 API技术构建的聊天机器人，专为处理和分析大型PDF文件设计。它能够通过自然语言处理技术，理解和回应用户关于PDF文件内容的查询，提供高效的信息检索和文档管理解决方案。

通过强化学习微调大型视觉-语言模型作为决策代理

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

为真实世界机器人提供最先进的机器学习模型、数据集和工具。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。

开源的MuZero实现，分布式AI框架

MuKoe是一个完全开源的MuZero实现，使用Ray作为分布式编排器在GKE上运行。它提供了Atari游戏的示例，并通过Google Next 2024的演讲提供了代码库的概览。MuKoe支持在CPU和TPU上运行，具有特定的硬件要求，适合需要大规模分布式计算资源的AI研究和开发。

在Google搜索中集成Gemini和GPT-4的侧边栏

SidePanel for Gemini and GPT-4 Google Search是一个Chrome插件，它将Gemini和GPT-4与Google搜索无缝集成，使您能够在一个地方获得答案、见解和信息。它还通过使用GPT-4添加相关的网页结果，确保您获得最准确、最全面的信息。

基于GPT-4-200K的OSINT助手，设计用于对泄露数据库执行查询

DarkGPT是一个基于GPT-4-200K的开源OSINT（开放源码情报）助手，旨在帮助用户在泄露的数据库上执行查询。它提供了一个人工智能助手，可以在传统的OSINT流程中发挥作用。

智能 AI 搜索引擎

Prefind 是一款智能 AI 搜索引擎，采用 GPT-4 和 Claude-3 技术，提供多模型比较和快速搜索等功能。完全免费。

微软AI程序员,自主生成代码,性能超GPT-4 30%

AutoDev是微软推出的一款AI程序员工具,可根据用户设定的目标自主生成、执行代码等任务,无需人工干预。它基于GPT-4模型,并采用多Agent协作机制,在HumanEval测试中,代码生成任务Pass@1达91.5%,测试生成任务Pass@1为87.8%,性能均超过GPT-4基线30%以上。AutoDev旨在提高开发效率,降低编程门槛。

用于测量和训练 AI 通用智能的软件平台

Universe 是一个软件平台,能够通过各种游戏、网站和其他应用程序,测量和训练人工智能的通用智能能力。它允许 AI 代理像人类一样使用计算机,通过观察屏幕像素和操作虚拟键盘和鼠标来与系统交互。该平台集成了包括 Flash 游戏、网页任务、视频游戏等上千种环境,旨在通过构建能够灵活应用过往经验快速掌握陌生环境的 AI 代理,从而实现通用人工智能的重大突破。

shell_gpt是一个基于AI大型语言模型（如GPT-4）的命令行生产力工具，旨在帮助用户更快更高效地完成任务

shell_gpt利用AI大型语言模型的强大能力，通过命令行界面提供辅助，使用户能够通过自然语言指令来执行任务，提高工作效率和效率。

AI动力API

Aipify是您AI动力API需求的最佳选择。通过Aipify，您可以获得结构化的响应、强大的性能以及安全、快速、实惠、可扩展的访问最新的AI模型，包括GPT-4，以增强您的应用程序功能。

聊天与文件上传助手

ChatGPT Sidebar & GPT-4 Vision Image & Gemini是一个智能AI助手，可帮助您在浏览器的每个标签中使用ChatGPT-3.5和GPT-4，并轻松与PDF或任何其他文件进行聊天。它还具有文件上传功能，方便您分析长文档、提问，以及利用GPT 3.5和4的强大功能。您还可以使用GPT-4 Vision分析图表、图片等。您不再受限于GPT的截止日期，可以使用Web Access功能访问实时数据。