产品库

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

提升大型语言模型解决数学问题的能力

ChatGLM-Math 是一个基于自我批评流程定制的数学问题解决模型，旨在提高大型语言模型（LLMs）在数学问题解决方面的能力。该模型通过训练一个通用的Math-Critique模型来提供反馈信号，并采用拒绝采样微调和直接偏好优化来增强LLM的数学问题解决能力。它在学术数据集和新创建的挑战性数据集MathUserEval上进行了实验，显示出在保持语言能力的同时，显著提升了数学问题解决能力。

Prompto是一个开源的网络应用程序，旨在使与LLM的交互简单高效。

Prompto是一个开源的网页应用程序，旨在使与大型语言模型（LLMs）的交互简单高效。它可以轻松切换不同的LLMs，通过调整温度设置来调整LLM的创造力和风险水平，提供聊天机器人界面和笔记本界面，可以创建常用提示的模板，并且在浏览器中运行，确保流畅响应的体验。所有设置和聊天记录仅存储在浏览器的本地存储中，保护用户隐私。

一个用于创意写作的大型语言模型，具有出色的写作风格。

Meta-Llama-3-120B-Instruct 是一个基于 Meta-Llama-3-70B-Instruct 通过 MergeKit 自我合并的大型语言模型。它在创意写作方面表现出色，但在其他任务上可能存在挑战。该模型使用 Llama 3 聊天模板，默认上下文窗口为 8K，可以通过绳索theta扩展。模型在生成文本时有时会出现错别字，并且喜欢使用大写字母。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。

一款私人且离线的AI个人知识管理桌面应用

Reor是一个AI驱动的桌面笔记应用，它通过自动链接相关笔记、回答笔记上的问题、提供语义搜索以及生成AI闪卡来增强个人的知识管理。所有数据本地存储，支持类似Obsidian的Markdown编辑器。Reor项目的核心假设是，思考工具的AI模型应默认在本地运行。它利用了Ollama、Transformers.js和LanceDB等技术，使得大型语言模型（LLM）和嵌入模型能够在本地运行。同时，也支持连接到OpenAI或兼容的API，如Oobabooga。

使用ollama Python客户端与ComfyUI工作流集成的大型语言模型（LLM）

ComfyUI Ollama是为ComfyUI工作流设计的自定义节点，它使用ollama Python客户端，允许用户轻松地将大型语言模型（LLM）集成到他们的工作流程中，或者仅仅是进行GPT实验。这个插件的主要优点在于它提供了与Ollama服务器交互的能力，使得用户可以执行图像查询、通过给定的提示查询LLM，以及使用精细调整参数进行LLM查询，同时保持生成链的上下文。

一种通过大型语言模型引导的模拟到现实世界转移策略，用于获取机器人技能。

DrEureka是一个利用大型语言模型（LLMs）自动化和加速模拟到现实（sim-to-real）设计的方法。它通过物理模拟自动构建合适的奖励函数和领域随机化分布，以支持现实世界中的转移。DrEureka在四足机器人运动和灵巧操作任务上展示了与人工设计相媲美的sim-to-real配置，并能够解决如四足机器人在瑜伽球上平衡和行走等新颖任务，无需人工迭代设计。

AI代码查找器，快速找到AI论文的代码实现

AI Code Finder是一个免费的浏览器插件，可以快速找到任何AI研究论文的代码实现。它能够自动在Google、ArXiv、学术搜索引擎、论坛等网站上找到与论文相关的代码链接，并提供CODE按钮供用户点击跳转到开源代码实现。用户还可以创建提醒以获取最新的代码实现、作者的最新工作和最新进展。此插件适用于从事人工智能、数据科学、计算机视觉、语音识别、深度学习和大型语言模型等领域的工程师、研究人员、开发人员和技术领导者。

构建定制的大型语言模型（LLM）以增强聊天机器人的能力。

ChatRTX 是 NVIDIA 提供的一个用于构建定制大型语言模型（LLM）的平台，旨在提升聊天机器人的智能水平和交互能力。它利用先进的 AI 技术，通过理解自然语言处理（NLP）来提供更加人性化的对话体验。ChatRTX 的主要优点包括高度的可定制性、强大的语言理解能力和高效的交互设计，适合需要高级对话系统的各种商业应用。

基于AI的Python网络爬虫库，自动化提取网页信息。

ScrapeGraphAI是一个使用LLM（大型语言模型）和直接图逻辑来为网站、文档和XML文件创建抓取管道的Python网络爬虫库。用户只需指定想要提取的信息，库就会自动完成这项工作。该库的主要优点在于简化了网络数据抓取的过程，提高了数据提取的效率和准确性。它适用于数据探索和研究目的，但不应被滥用。

使用大型语言模型（LLMs）进行数据清洗和整理的Python库。

databonsai是一个Python库，利用大型语言模型（LLMs）执行数据清洗任务。它提供了一系列工具，包括数据分类、转换和提取，以及对LLM输出的验证，支持批量处理以节省令牌，并且具备重试逻辑以处理速率限制和瞬时错误。

一款基于生物医学数据的8亿参数大型语言模型

Llama-3[8B] Meditron V1.0是一款专为生物医学领域设计的8亿参数的大型语言模型（LLM），在Meta发布Llama-3后24小时内完成微调。该模型在MedQA和MedMCQA等标准基准测试中超越了同参数级别的所有现有开放模型，并且接近70B参数级别医学领域领先的开放模型Llama-2[70B]-Meditron的性能。该工作展示了开放基础模型的创新潜力，是确保资源匮乏地区公平参与访问该技术更大倡议的一部分。

创建你自己的AI女友，无过滤的18+对话，满足你在NSFW Character AI中的幻想！

Nextpart AI是一个NSFW AI聊天应用程序，利用大型语言模型实现用户与AI角色之间逼真的互动。它具有AI生成语音和图像的能力，提供无过滤的18+对话。产品背景信息、定位和价格等详细信息请访问网站。

基于GPT-4架构的先进聊天模型，提供高质量的对话体验。

gpt2-chatbot是一个基于GPT-4架构的大型语言模型，由OpenAI训练。它在对话中表现出色，能够提供结构化、有深度的回答，并且在知识存储方面表现出色。该模型在LMSYS的Direct Chat和Arena (Battle)模式中可供使用，允许用户无需登录即可进行交流和评估。

下一代本地优先的大型语言模型（LLMs）

anime.gf 是由 moecorp 发起的下一代本地优先的大型语言模型（LLMs），目前正处于积极开发阶段。它代表了一种新兴的本地化和开源的人工智能技术，旨在提供更高效、更个性化的用户体验。

在线聊天机器人竞技场，比较不同语言模型的表现。

LMSYS Chatbot Arena 是一个在线平台，旨在通过用户与匿名聊天机器人模型的互动，对大型语言模型(Large Language Models, LLMs)进行基准测试。该平台收集了超过70万次人类投票，计算出LLM的Elo排行榜，以确定谁是聊天机器人领域的冠军。平台提供了一个研究预览，具有有限的安全措施，可能生成不当内容，因此需要用户遵守特定的使用条款。

与多个AI聊天机器人同时对话，发现最佳答案

ChatALL是一款桌面客户端软件，它允许用户同时与多个大型语言模型（LLMs）基础的AI聊天机器人进行对话，帮助用户发现最佳的对话结果。这款软件的主要优点在于其能够并发发送提示给不同的AI机器人，从而快速比较它们在不同任务上的表现，并找到最适合的机器人。产品背景信息显示，ChatALL适合于希望从LLMs中找到最佳答案或创作的专家、研究人员以及LLM应用的开发者。目前，ChatALL是免费提供给用户的。

AI基础设施，适用于每个人，一键部署团队AI助手。

NextChat是一个多功能的AI聊天服务平台，支持与领先的大型语言模型（LLMs）兼容，允许用户轻松部署团队范围内的AI辅助工具。它提供了一个优雅的用户界面，集中管理所有数据，并提供统计追踪团队AI使用情况的功能。此外，它还包括反馈分析工具，帮助用户聆听并分析其受众。NextChat支持OpenAI和Gemini模型，是一个面向所有人的AI基础设施，旨在提供个性化的AI聊天服务。

开源的基于深度文档理解的RAG（检索增强生成）引擎

RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。

扩展LLaVA模型，集成Phi-3和LLaMA-3，提升视觉与语言模型的交互能力。

LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。

一款由Gradient AI团队开发的高性能文本生成模型。

Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。

结合文本提取、网络分析和大型语言模型提示与总结的端到端系统

GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型（LLM）的提示和总结，来丰富理解文本数据集的技术。该技术即将在GitHub上开源，是微软研究项目的一部分，旨在通过先进的算法提升文本数据的处理和分析能力。

AI预算优化工具，比较和计算大型语言模型API的最新价格。

LLM Price Check是一个在线工具，它允许用户比较和计算不同大型语言模型（LLM）API的价格，这些API由领先的提供商如OpenAI、Anthropic、Google等提供。该工具可以帮助用户优化他们的AI预算，通过比较不同模型的价格和性能，用户可以做出更明智的选择。

探索不同的文本生成模型，通过草拟消息和微调响应来提升体验。

Workers AI LLM Playground是一个在线平台，允许用户通过草拟消息和微调响应来探索不同的文本生成模型。该平台由先进的人工智能技术驱动，旨在为开发者和研究人员提供一个实验和学习的环境，以更好地理解和利用大型语言模型（LLM）的能力。

用于构建理解和模拟人类语音表情的声控人工智能接口。

Hume AI的同理心语音接口(EVI)是一种由同理心大型语言模型(eLLM)驱动的API,可以理解和模拟语音音调、词语重音等,从而优化人机交互。它基于10多年的研究成果、数百万专利数据点和30多篇发表在顶尖期刊的论文。EVI旨在为任何应用程序提供更自然、富有同情心的语音界面,让人与AI的互动更加人性化。该技术可广泛应用于销售/会议分析、健康与保健、AI研究服务、社交网络等领域。

AI驱动的全自动测试解决方案，让您可以10倍更快地启动。

TestSprite是一个基于AI的全自动测试解决方案，利用最先进的大型语言模型（LLM）技术和云计算基础设施，提供高效、安全的测试服务。只需一次点击，我们的AI就能负责编写端到端测试代码的所有方面，节省宝贵的时间。我们的测试报告设计简洁易懂，提供全面的测试总结，识别任何失败，并提供潜在原因的建议。通过TestSprite，您可以减少测试时间、提高测试效率。

快速训练和微调大型语言模型

Unsloth 是一个旨在提高大型语言模型（LLMs）训练和微调速度的平台。它通过手动推导所有计算密集型数学步骤并手写GPU内核，实现了无需硬件更改即可显著加快训练速度。Unsloth 支持多种GPU，包括NVIDIA、AMD和Intel，并提供开源版本供用户在Google Colab或Kaggle Notebooks上免费试用。它还提供了不同级别的定价方案，包括免费版、Pro版和企业版，以满足不同用户的需求。

高质量英文网页数据集

FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据，来源于CommonCrawl。该数据集专为大型语言模型预训练设计，旨在推动开源模型的发展。数据集经过精心处理和筛选，以确保高质量，适用于各种自然语言处理任务。