产品库

由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型，专注于提升大型语言模型（LLM）生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF（特别是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术，还提供了与HuggingFace Transformers代码库兼容的模型转换格式，并可通过NVIDIA的build平台进行免费托管推理。

高效长序列大型语言模型推理技术

Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制，旨在提高基于Transformer的大型语言模型（LLM）在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度，同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容，无需额外训练或微调即可直接使用，并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用，进一步提升性能。

大型语言模型，支持多语言和编程语言文本生成。

Nemotron-4-340B-Base是由NVIDIA开发的大型语言模型，拥有3400亿参数，支持4096个token的上下文长度，适用于生成合成数据，帮助研究人员和开发者构建自己的大型语言模型。模型经过9万亿token的预训练，涵盖50多种自然语言和40多种编程语言。NVIDIA开放模型许可允许商业使用和派生模型的创建与分发，不声明对使用模型或派生模型生成的任何输出拥有所有权。

简化 LLM 提示管理和促进团队协作

Langtail 是一个旨在简化大型语言模型（LLM）提示管理的平台。通过Langtail，您可以增强团队协作、提高效率，并更深入地了解您的AI工作原理。尝试Langtail，以更具协作和洞察力的方式构建LLM应用。

LLM的评估和单元测试框架

DeepEval提供了不同方面的度量来评估LLM对问题的回答,以确保答案是相关的、一致的、无偏见的、非有毒的。这些可以很好地与CI/CD管道集成在一起,允许机器学习工程师快速评估并检查他们改进LLM应用程序时,LLM应用程序的性能是否良好。DeepEval提供了一种Python友好的离线评估方法,确保您的管道准备好投入生产。它就像是“针对您的管道的Pytest”,使生产和评估管道的过程与通过所有测试一样简单直接。

LLM提示管理与团队协作

LangTale是一个旨在简化LLM提示管理的平台，提供协作、版本控制、测试和性能监控等功能。LangTale使团队成员能够轻松管理和优化LLM提示，提高工作效率。定价详情请访问官方网站。

通过与LLM对话构建持久知识，存于本地Markdown文件

Basic Memory是一款知识管理系统，借助与LLM的自然对话构建持久知识，并保存于本地Markdown文件。它解决了多数LLM互动短暂、知识难留存的问题。其优点包括本地优先、双向读写、结构简单、可形成知识图谱、兼容现有编辑器、基础设施轻量。定位为帮助用户打造个人知识库，采用AGPL - 3.0许可证，无明确价格信息。

一个轻量级且强大的多智能体工作流框架

OpenAI Agents SDK是一个用于构建多智能体工作流的框架。它允许开发者通过配置指令、工具、安全机制和智能体之间的交接来创建复杂的自动化流程。该框架支持与任何符合OpenAI Chat Completions API格式的模型集成，具有高度的灵活性和可扩展性。它主要用于编程场景中，帮助开发者快速构建和优化智能体驱动的应用程序。

一个关于大型语言模型（LLM）后训练方法的教程、调查和指南资源库。

Awesome-LLM-Post-training 是一个专注于大型语言模型（LLM）后训练方法的资源库。它提供了关于 LLM 后训练的深入研究，包括教程、调查和指南。该资源库基于论文《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》，旨在帮助研究人员和开发者更好地理解和应用 LLM 后训练技术。该资源库免费开放，适合学术研究和工业应用。

一个用于从文本和图像中提取结构化数据的代理API，基于LLMs实现。

l1m是一个强大的工具，它通过代理的方式利用大型语言模型（LLMs）从非结构化的文本或图像中提取结构化的数据。这种技术的重要性在于它能够将复杂的信息转化为易于处理的格式，从而提高数据处理的效率和准确性。l1m的主要优点包括无需复杂的提示工程、支持多种LLM模型以及内置缓存功能等。它由Inferable公司开发，旨在为用户提供一个简单、高效且灵活的数据提取解决方案。l1m提供免费试用，适合需要从大量非结构化数据中提取有价值信息的企业和开发者。

为LLM训练和推理生成网站整合文本文件的工具

LLMs.txt生成器是一个由Firecrawl提供支持的在线工具，旨在帮助用户从网站生成用于LLM训练和推理的整合文本文件。它通过整合网页内容，为训练大型语言模型提供高质量的文本数据，从而提高模型的性能和准确性。该工具的主要优点是操作简单、高效，能够快速生成所需的文本文件。它主要面向需要大量文本数据进行模型训练的开发者和研究人员，为他们提供了一种便捷的解决方案。

基于LLM的文章翻译工具，自动翻译并创建多语言Markdown文件。

hugo-translator是一个基于大型语言模型（LLM）驱动的文章翻译工具。它能够自动将文章从一种语言翻译为另一种语言，并生成新的Markdown文件。该工具支持OpenAI和DeepSeek的模型，用户可以通过简单的配置和命令快速完成翻译任务。它主要面向使用Hugo静态网站生成器的用户，帮助他们快速实现多语言内容的生成和管理。产品目前免费开源，旨在提高内容创作者的效率，降低多语言内容发布的门槛。

基于LLM的代理框架，用于在代码库中执行大规模代码迁移。

Aviator Agents 是一款专注于代码迁移的编程工具。它通过集成LLM技术，能够直接与GitHub连接，支持多种模型，如Open-AI o1、Claude Sonnet 3.5、Llama 3.1和DeepSeek R1。该工具可以自动执行代码迁移任务，包括搜索代码依赖、优化代码、生成PR等，极大提高了代码迁移的效率和准确性。它主要面向开发团队，帮助他们高效完成代码迁移工作，节省时间和精力。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

通过强化学习提升大型语言模型在开源软件演变中的推理能力

SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术，旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制，优化模型的推理能力，使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用，为软件工程领域带来了新的可能性。该技术目前处于研究阶段，尚未明确商业化定价，但其在提升开发效率和代码质量方面具有显著潜力。

探索大型语言模型作为编程辅导工具的潜力，提出Trace-and-Verify工作流。

Coding-Tutor是一个基于大型语言模型（LLM）的编程辅导工具，旨在通过对话式交互帮助学习者提升编程能力。它通过Trace-and-Verify（Traver）工作流，结合知识追踪和逐轮验证，解决编程辅导中的关键挑战。该工具不仅适用于编程教育，还可扩展到其他任务辅导场景，帮助根据学习者的知识水平调整教学内容。项目开源，支持社区贡献。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

一个用于比较大型语言模型在总结短文档时产生幻觉的排行榜。

该产品是一个由Vectara开发的开源项目，用于评估大型语言模型（LLM）在总结短文档时的幻觉产生率。它使用了Vectara的Hughes幻觉评估模型（HHEM-2.1），通过检测模型输出中的幻觉来计算排名。该工具对于研究和开发更可靠的LLM具有重要意义，能够帮助开发者了解和改进模型的准确性。

Goedel-Prover 是一款开源的自动化定理证明模型，专注于数学问题的形式化证明。

Goedel-Prover 是一款专注于自动化定理证明的开源大型语言模型。它通过将自然语言数学问题翻译为形式化语言（如 Lean 4），并生成形式化证明，显著提升了数学问题的自动化证明效率。该模型在 miniF2F 基准测试中达到了 57.6% 的成功率，超越了其他开源模型。其主要优点包括高性能、开源可扩展性以及对数学问题的深度理解能力。Goedel-Prover 旨在推动自动化定理证明技术的发展，并为数学研究和教育提供强大的工具支持。

VisionAgent是一个用于生成代码以解决视觉任务的库，支持多种LLM提供商。

VisionAgent是一个强大的工具，它利用人工智能和大语言模型（LLM）来生成代码，帮助用户快速解决视觉任务。该工具的主要优点是能够自动将复杂的视觉任务转化为可执行的代码，极大地提高了开发效率。VisionAgent支持多种LLM提供商，用户可以根据自己的需求选择不同的模型。它适用于需要快速开发视觉应用的开发者和企业，能够帮助他们在短时间内实现功能强大的视觉解决方案。VisionAgent目前是免费的，旨在为用户提供高效、便捷的视觉任务处理能力。

OmniParser 是一款通用屏幕解析工具，可将 UI 截图转换为结构化格式，提升基于 LLM 的 UI 代理性能。

OmniParser 是微软开发的一种先进的图像解析技术，旨在将不规则的屏幕截图转换为结构化的元素列表，包括可交互区域的位置和图标的功能描述。它通过深度学习模型，如 YOLOv8 和 Florence-2，实现了对 UI 界面的高效解析。该技术的主要优点在于其高效性、准确性和广泛的适用性。OmniParser 可以显著提高基于大型语言模型（LLM）的 UI 代理的性能，使其能够更好地理解和操作各种用户界面。它在多种应用场景中表现出色，如自动化测试、智能助手开发等。OmniParser 的开源特性和灵活的许可证使其成为开发者和研究人员的有力工具。

OmniParser V2 是一种将任何 LLM 转化为计算机使用代理的技术。

OmniParser V2 是微软研究团队开发的一种先进的人工智能模型，旨在将大型语言模型（LLM）转化为能够理解和操作图形用户界面（GUI）的智能代理。该技术通过将界面截图从像素空间转换为可解释的结构化元素，使 LLM 能够更准确地识别可交互图标，并在屏幕上执行预定动作。OmniParser V2 在检测小图标和快速推理方面取得了显著进步，其结合 GPT-4o 在 ScreenSpot Pro 基准测试中达到了 39.6% 的平均准确率，远超原始模型的 0.8%。此外，OmniParser V2 还提供了 OmniTool 工具，支持与多种 LLM 结合使用，进一步推动了 GUI 自动化的发展。

非结构化数据处理平台，助力企业快速构建行业数据集并集成到LLM RAG知识库

Supametas.AI是一款专注于非结构化数据处理的平台，旨在帮助企业快速将音频、视频、图片、文本等多种格式的数据转化为适用于LLM RAG知识库的结构化数据。该平台通过提供多种数据采集方式和强大的预处理功能，极大地简化了数据处理流程，降低了企业构建行业数据集的门槛。其无缝集成到LLM RAG知识库的能力，使得企业能够更高效地利用数据驱动业务发展。Supametas.AI的定位是成为行业领先的LLM数据结构化处理开发平台，满足企业在数据隐私和灵活性方面的需求。

基于LLM和LangChain的全栈应用，用于检索股票数据和新闻

该产品是一个全栈应用，通过LLM（大型语言模型）和LangChain技术，结合LangGraph实现股票数据和新闻的检索与分析。它利用ChromaDB作为向量数据库，支持语义搜索和数据可视化，为用户提供股票市场的深入洞察。该产品主要面向投资者、金融分析师和数据科学家，帮助他们快速获取和分析股票相关信息，辅助决策。产品目前开源免费，适合需要高效处理金融数据和新闻的用户。

Mistral Small 24B 是一款多语言、高性能的指令微调型大型语言模型，适用于多种应用场景。

Mistral Small 24B 是一款由 Mistral AI 团队开发的大型语言模型，拥有 240 亿参数，支持多语言对话和指令处理。该模型通过指令微调，能够生成高质量的文本内容，适用于聊天、写作、编程辅助等多种场景。其主要优点包括强大的语言生成能力、多语言支持以及高效推理能力。该模型适合需要高性能语言处理的个人和企业用户，具有开源许可，支持本地部署和量化优化，适合对数据隐私有要求的场景。

一个基于AI的深度研究工具，能够持续搜索信息直至满足用户查询需求。

OpenDeepResearcher 是一个基于 AI 的研究工具，通过结合 SERPAPI、Jina 和 OpenRouter 等服务，能够根据用户输入的查询主题，自动进行多轮迭代搜索，直至收集到足够的信息并生成最终报告。该工具的核心优势在于其高效的异步处理能力、去重功能以及强大的 LLM 决策支持，能够显著提升研究效率。它主要面向需要进行大量文献搜索和信息整理的科研人员、学生以及相关领域的专业人士，帮助他们快速获取高质量的研究资料。该工具目前以开源形式提供，用户可以根据需要自行部署和使用。

DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型，专注于推理和对话能力。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型，基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色，支持多种应用场景，包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力，同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。

这是一个先进的多模态大型语言模型系列，展示了卓越的整体性能。

InternVL2.5-MPO是一个基于InternVL2.5和混合偏好优化（MPO）的多模态大型语言模型系列。它在多模态任务中表现出色，通过整合新近增量预训练的InternViT与多种预训练的大型语言模型（LLMs），如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。该模型系列在多模态推理偏好数据集MMPR上进行了训练，包含约300万个样本，通过有效的数据构建流程和混合偏好优化技术，提升了模型的推理能力和回答质量。

一个实时适应未见任务的自适应大型语言模型框架。

SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架，旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型（LLMs）以适应未见任务：首先，调度系统识别任务属性；然后，使用强化学习训练的任务特定'专家'向量被动态混合，以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发，目前在GitHub上开源，拥有195颗星和12次分叉。

InternLM3-8B-Instruct是一个开源的80亿参数指令模型，用于通用用途和高级推理。

InternLM3-8B-Instruct是InternLM团队开发的大型语言模型，具有卓越的推理能力和知识密集型任务处理能力。该模型在仅使用4万亿高质量词元进行训练的情况下，实现了比同级别模型低75%以上的训练成本，同时在多个基准测试中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式，能够通过长思维链解决复杂的推理任务，同时也具备流畅的用户交互能力。该模型基于Apache-2.0许可证开源，适用于需要高效推理和知识处理的各种应用场景。