产品库

新一代AI工程师在GitHub上构建

GitHub Models是GitHub推出的新一代AI模型服务，旨在帮助开发者成为AI工程师。它将行业领先的大型和小型语言模型直接集成到GitHub平台，让超过1亿用户能够直接在GitHub上访问和使用这些模型。GitHub Models提供了一个交互式的模型游乐场，用户可以在这里测试不同的提示和模型参数，无需支付费用。此外，GitHub Models与Codespaces和VS Code集成，允许开发者在开发环境中无缝使用这些模型，并通过Azure AI实现生产部署，提供企业级安全和数据隐私保护。

一个快速的AI网关

Portkey的AI网关是应用程序和托管LLM之间的接口。它使用统一的API对OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API请求进行了优化,从而实现了流畅的路由。该网关快速、轻量,内置重试机制,支持多模型负载均衡,确保应用程序的可靠性和性能。

AI提示工程师，优化大型语言模型应用

Weavel是一个AI提示工程师，它通过追踪、数据集管理、批量测试和评估等功能，帮助用户优化大型语言模型（LLM）的应用。Weavel与Weavel SDK结合使用，能够自动记录并添加LLM生成的数据到您的数据集中，实现无缝集成和针对特定用例的持续改进。此外，Weavel能够自动生成评估代码，并使用LLM作为复杂任务的公正裁判，简化评估流程，确保准确、细致的性能指标。

企业自定义AI工作流程的蓝图

NVIDIA NIM™ Agent Blueprints是一系列预训练的、可定制的AI工作流程，旨在为数百万企业开发者提供构建和部署生成式AI应用程序的全套软件工具。这些蓝图支持开发者使用一个或多个AI代理创建AI应用程序，包括客户服务头像、检索增强生成和药物发现虚拟筛选等典型用例。通过NIM Agent Blueprints，企业可以使用自己的业务数据修改蓝图，并在加速数据中心和云上运行生成式AI应用程序，实现数据驱动的AI飞轮效应。

未来派的AI驱动网页爬虫工具。

CyberScraper 2077是一款基于AI的网页爬虫工具，它利用OpenAI和Ollama等大型语言模型(LLM)来智能解析网页内容，提供数据提取服务。这款工具不仅拥有用户友好的图形界面，还支持多种数据导出格式，包括JSON、CSV、HTML、SQL和Excel。此外，它还具备隐形模式，以降低被检测为机器人的风险，以及遵循robots.txt和网站政策的道德爬取特性。

高效低成本的小型语言模型

Phi-3是微软Azure推出的一系列小型语言模型（SLMs），具有突破性的性能，同时成本和延迟都很低。这些模型专为生成式AI解决方案设计，体积更小，计算需求更低。Phi-3模型遵循微软AI原则开发，包括责任、透明度、公平性、可靠性和安全性、隐私和安全性以及包容性，确保了安全性。此外，Phi-3还提供了本地部署、准确相关回答、低延迟场景部署、成本受限任务处理和定制化精度等功能。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

一站式数据处理系统，为大型语言模型提供高质量数据。

Data-Juicer 是一个一站式的多模态数据处理系统，旨在为大型语言模型(LLMs)提供更高质量、更丰富、更易消化的数据。它提供了一个系统化和可复用的数据处理库，支持数据与模型的协同开发，通过沙盒实验室实现快速迭代，并提供基于数据和模型的反馈循环、可视化和多维度自动评估等功能，帮助用户更好地理解和改进他们的数据和模型。Data-Juicer 正在积极更新和维护，定期增强和添加更多功能、数据配方和数据集。

从文本描述生成高质量的3D室内场景。

SceneTeller是一个创新的3D场景生成平台，它利用最新的生成式人工智能技术，允许用户通过自然语言描述来设计室内3D场景。这项技术大大降低了3D设计的技术门槛，使得非专业用户也能轻松创建个性化的3D空间。产品的主要优点包括易用性、高效率和创意自由度。

开源版Anthropic的Claude Artifacts界面

AI Artifacts是一个开源的Anthropic Claude Artifacts界面版本，使用E2B的代码解释器SDK和核心SDK执行AI代码。E2B提供了一个云沙箱来安全地运行AI生成的代码，并可以处理安装库、运行shell命令、运行Python、JavaScript、R以及Nextjs应用程序等。

图像材质属性编辑技术

Alchemist是一种利用预训练的文本到图像模型和合成数据，允许用户在图像中编辑物体的材质属性的技术。它通过微调合成数据集，实现了对物体的特定材质属性（如粗糙度、金属感、基础颜色饱和度和透明度）的参数化编辑控制。这项技术的主要优点包括在保持物体几何形状和图像光照不变的同时，能够改变物体的属性，甚至在物体透明化时，能够真实地填充背后的背景、隐藏的内部结构和折射光效果。

通过GPT等大型语言模型与你的文档对话

IncarnaMind是一个开源项目，旨在通过大型语言模型（LLMs）如GPT、Claude和本地开源LLMs，实现与个人文档（PDF、TXT）的交互对话。该项目利用滑动窗口分块机制和集成检索器，提高查询效率，增强LLMs的准确性。它支持多文档对话问答，突破了单文档限制，并兼容多种文件格式和LLM模型。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

节省LLM成本，不牺牲质量的框架

RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

构建大型语言模型支持的多智能体应用。

AgentScope是一个创新的多智能体平台，旨在赋能开发者使用大规模模型构建多智能体应用。它具有易于使用、高鲁棒性和基于Actor的分布式特性，支持自定义容错控制和重试机制，以增强应用稳定性。

AI驱动的相册，自动生成图像元数据并与之对话。

Album AI是一个实验性项目，它使用gpt-4o-mini作为视觉模型，自动识别相册中图像文件的元数据，并利用RAG技术实现与相册的对话。它既可以作为传统相册使用，也可以作为图像知识库，辅助大型语言模型进行内容生成。

让任何人的声音听起来调皮/有趣

bleep_that_sht 是一个使用 Python 编写的应用程序，它利用 Whisper 转录模型来转录音频，然后根据用户选择的关键词，使用相应的时间戳来替换为哔声。所有处理都在本地完成，无需上传数据，保护用户隐私。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

低代码构建多Agent大模型应用的开发工具

LazyLLM是一个致力于简化人工智能应用构建流程的开发工具，它通过提供低代码的解决方案，使得开发者即使不了解大模型也能轻松组装包含多个Agent的AI应用。LazyLLM支持一键部署所有模块，跨平台兼容，自动进行网格搜索参数优化，以及高效的模型微调，从而提升应用效果。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

AI原生数据应用开发框架

DB-GPT是一个开源的AI原生数据应用开发框架，利用AWEL(Agentic Workflow Expression Language)和代理(agent)技术，简化了大型模型应用与数据的结合。它通过多模型管理、Text2SQL效果优化、RAG框架优化、多代理框架协作等技术能力，使企业和开发者能够以更少的代码构建定制化应用。DB-GPT在数据3.0时代，基于模型和数据库，为构建企业级报告分析和业务洞察提供了基础数据智能技术。

一个开放平台，用于日常使用的语言代理。

OpenAgents是一个开放平台，旨在使用户和开发者能够在日常生活中使用和托管语言代理。该平台已经实现了三种代理：数据分析的Data Agent、集成200+日常工具的Plugins Agent和自动网页浏览的Web Agent。OpenAgents通过优化的Web UI使普通用户能够与代理功能进行交互，同时为开发者和研究人员提供在本地设置上的无缝部署体验，为创新语言代理的构建和现实世界评估提供了基础。

本地语音聊天机器人，保护隐私，无需联网。

june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案，可以在本地机器上进行语音辅助交互，确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。

无需编写代码即可创建智能代理的LLM工具。

Nerve是一个可以创建具有状态的代理的LLM工具，用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态，使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型，具有高度的灵活性和效率，同时注重内存安全。

系统性调研生成式AI的提示技术

The Prompt Report 是一份系统性调研报告，专注于生成式人工智能（GenAI）的提示技术。它通过结合人类和机器的努力，从多个数据库中处理了4797条记录，提取出1565篇相关论文。报告提供了58种基于文本的技术，并补充了多模态和多语言技术的广泛集合。其目标是提供一个易于理解和实施的提示技术目录，并回顾了作为提示扩展的代理，包括评估输出和设计有助于安全性和安全性的提示的方法。此外，报告还应用提示技术在两个案例研究中进行了实践。

用于训练大型语言模型的开源合成数据生成管道。

Nemotron-4 340B是NVIDIA发布的一系列开放模型，专为生成合成数据以训练大型语言模型（LLMs）而设计。这些模型经过优化，可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型，形成一个生成合成数据的管道，用于训练和完善LLMs。这些模型在Hugging Face上提供下载，并很快将在ai.nvidia.com上提供，作为NVIDIA NIM微服务的一部分。

基于ChatTTS模型的文本到语音转换项目

ChatTTS-Forge是一个围绕TTS生成模型ChatTTS开发的项目，实现了API服务器和基于Gradio的WebUI，能够提供全面的API服务，支持生成1000字以上的长文本，保持一致性，并通过内置32种不同风格进行风格管理。

连接ModelScope模型与世界的代理框架

ModelScope-Agent是一个可定制且可扩展的代理框架，具备角色扮演、大型语言模型调用、工具使用、规划和记忆等能力。它简化了代理应用的实现过程，提供了丰富的模型和工具接口，统一的接口和高可扩展性，低耦合性，使得开发者可以轻松使用内置工具、LLM、记忆等组件，而无需绑定更高层次的代理。