产品库

先进的编译器优化大型语言模型

Meta Large Language Model Compiler (LLM Compiler-13b) 是基于Code Llama构建的，专注于代码优化和编译器推理的先进大型语言模型。它在编译器优化任务上展现出比现有公开可用的大型语言模型更强的理解能力，能够完美模拟编译器输出20%的时间。LLM Compiler提供了两种模型尺寸：7B和13B参数，针对不同的服务和延迟需求进行了训练。该模型是免费的，适用于研究和商业用途，旨在支持编译器研究人员和工程师，并激发创新工具的开发。

用于训练大型语言模型的开源合成数据生成管道。

Nemotron-4 340B是NVIDIA发布的一系列开放模型，专为生成合成数据以训练大型语言模型（LLMs）而设计。这些模型经过优化，可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型，形成一个生成合成数据的管道，用于训练和完善LLMs。这些模型在Hugging Face上提供下载，并很快将在ai.nvidia.com上提供，作为NVIDIA NIM微服务的一部分。

高速大型语言模型本地部署推理引擎

PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点，通过预加载热激活的神经元到 GPU 上，从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符，优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理，比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。

先进的编译器优化大型语言模型

Meta Large Language Model Compiler (LLM Compiler-13b-ftd) 是一个基于Code Llama构建的先进大型语言模型，专注于编译器优化和代码推理。它在预测LLVM优化效果和汇编代码反编译方面展现出了卓越的性能，能够显著提高代码效率和减小代码体积。

先进的编译器优化大型语言模型

LLM Compiler-7b-ftd是由Meta开发的大型语言模型，它基于Code Llama，针对代码优化和编译器推理进行了改进。它在预测LLVM优化效果方面表现卓越，能够完美模拟编译器输出，是编译器优化任务的理想工具。

先进的代码优化和编译器推理的大型语言模型。

LLM Compiler-7b是Meta开发的一款专注于代码优化和编译器推理的大型语言模型。它基于Code Llama模型，通过深度学习优化代码，支持编译器中间表示、汇编语言和优化的理解。此模型在减少代码大小和从汇编到编译器中间表示的反编译方面展现出卓越的性能，是编译器研究人员和工程师的有力工具。

无需编写代码即可创建智能代理的LLM工具。

Nerve是一个可以创建具有状态的代理的LLM工具，用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态，使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型，具有高度的灵活性和效率，同时注重内存安全。

使用大型语言模型编辑大型代码库的工具。

Moatless Tools 是一个业余项目，作者在这里尝试一些关于如何使用大型语言模型(LLMs)来编辑大型现有代码库的想法。项目认为，构建好工具以插入正确的上下文到提示中并处理响应，比依赖代理推理解决方案更为关键。

数学作为黑箱的深度学习模型

MathBlackBox是一个深度学习模型，旨在探索数学问题解决的黑箱方法。它使用VLLM或其他OpenAI兼容的方法，通过Huggingface工具包和OpenAI进行推理，支持在Slurm环境下运行，并能够处理多种数据集。该项目目前处于早期阶段，需要充分测试后才能部署到实际产品中。

NVIDIA的高级语言模型，优化于英文对话场景。

Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM)，专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度，经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上，通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好，并且能够为多种用例生成高质量的合成数据。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

通过本地Ollama LLM与你的Obsidian笔记聊天

Obsidian Ollama Chat是一个插件，允许用户通过本地运行的Ollama LLM模型与自己的Obsidian笔记进行交互和查询。它提供了一种新颖的笔记管理和信息检索方式，使得用户可以更加直观和便捷地获取所需信息。该插件的开发背景是索引和查询笔记内容的需要，它通过本地模型运行，保护用户隐私，并且避免了对外部服务的依赖。

提升大型语言模型的推理准确性和效率

Buffer of Thoughts (BoT) 是一种新型的思考增强推理方法，旨在提高大型语言模型（LLMs）的准确性、效率和鲁棒性。通过引入一个元缓冲区来存储从各种任务的问题解决过程中提取的高级思考模板，称为思考模板。对于每个问题，检索一个相关的思考模板，并适应性地将其实例化为特定的推理结构以进行高效推理。此外，还提出了一个缓冲区管理器来动态更新元缓冲区，从而随着解决更多任务而增强其容量。

安全数据湖，为生成式AI开发提供数据

Tonic Textual 是全球首个为大型语言模型（LLMs）设计的Secure Data Lakehouse。它通过自动化流程，帮助企业从云存储中提取、治理、丰富和部署非结构化数据，以支持生成式AI的发展。该产品强调数据隐私保护，利用其专有的命名实体识别（NER）模型自动检测和去标识化敏感信息，同时通过数据合成保持数据的语义真实性。它支持多种数据格式，并通过AWS Marketplace、Google Cloud Marketplace和Snowflake Marketplace提供服务。

基于llama3 8B的SOTA视觉模型

llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

高效的检索增强生成研究工具包

FlashRAG是一个Python工具包，用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架，包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件，允许灵活组装复杂流程。此外，FlashRAG还提供了高效的预处理阶段和优化的执行，支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

开源大型语言模型的托管、部署、构建和微调一站式解决方案。

AIKit 是一个开源工具，旨在简化大型语言模型（LLMs）的托管、部署、构建和微调过程。它提供了与OpenAI API兼容的REST API，支持多种推理能力和格式，使用户可以使用任何兼容的客户端发送请求。此外，AIKit 还提供了一个可扩展的微调接口，支持Unsloth，为用户提供快速、内存高效且易于使用的微调体验。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

开源的、专为大型语言模型优化的网页爬虫与抓取工具。

Crawl4AI是一个强大的、免费的网页爬取服务，旨在从网页中提取有用信息，并使其对大型语言模型（LLMs）和AI应用可用。它支持高效的网页爬取，提供对LLM友好的输出格式，如JSON、清理过的HTML和Markdown，支持同时爬取多个URL，并完全免费且开源。

使用ollama Python客户端与ComfyUI工作流集成的大型语言模型（LLM）

ComfyUI Ollama是为ComfyUI工作流设计的自定义节点，它使用ollama Python客户端，允许用户轻松地将大型语言模型（LLM）集成到他们的工作流程中，或者仅仅是进行GPT实验。这个插件的主要优点在于它提供了与Ollama服务器交互的能力，使得用户可以执行图像查询、通过给定的提示查询LLM，以及使用精细调整参数进行LLM查询，同时保持生成链的上下文。

AI基础设施，适用于每个人，一键部署团队AI助手。

NextChat是一个多功能的AI聊天服务平台，支持与领先的大型语言模型（LLMs）兼容，允许用户轻松部署团队范围内的AI辅助工具。它提供了一个优雅的用户界面，集中管理所有数据，并提供统计追踪团队AI使用情况的功能。此外，它还包括反馈分析工具，帮助用户聆听并分析其受众。NextChat支持OpenAI和Gemini模型，是一个面向所有人的AI基础设施，旨在提供个性化的AI聊天服务。

高效的企业级人工智能模型，低成本实现高质量定制模型。

Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型（LLM），它在 SQL 生成、编码以及指令遵循等基准测试中表现出色，即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理，为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外，Arctic 采用 Apache 2.0 许可，提供无门槛的权重和代码访问，并通过开源数据配方和研究洞察，进一步推动了社区的开放性和成本效益。

用于构建理解和模拟人类语音表情的声控人工智能接口。

Hume AI的同理心语音接口(EVI)是一种由同理心大型语言模型(eLLM)驱动的API,可以理解和模拟语音音调、词语重音等,从而优化人机交互。它基于10多年的研究成果、数百万专利数据点和30多篇发表在顶尖期刊的论文。EVI旨在为任何应用程序提供更自然、富有同情心的语音界面,让人与AI的互动更加人性化。该技术可广泛应用于销售/会议分析、健康与保健、AI研究服务、社交网络等领域。

AI驱动的全自动测试解决方案，让您可以10倍更快地启动。

TestSprite是一个基于AI的全自动测试解决方案，利用最先进的大型语言模型（LLM）技术和云计算基础设施，提供高效、安全的测试服务。只需一次点击，我们的AI就能负责编写端到端测试代码的所有方面，节省宝贵的时间。我们的测试报告设计简洁易懂，提供全面的测试总结，识别任何失败，并提供潜在原因的建议。通过TestSprite，您可以减少测试时间、提高测试效率。

开源的先进文本嵌入模型

Snowflake Arctic Embed是一系列基于Apache 2.0许可开源的文本嵌入模型，专为检索用例设计。这些模型在Massive Text Embedding Benchmark (MTEB)检索基准测试中提供了领先的检索性能，为组织在结合专有数据集与大型语言模型（LLMs）进行检索增强生成（RAG）或语义搜索服务时提供了新的优势。这些模型的尺寸从超小型（xs）到大型（l），具有不同的上下文窗口和参数数量，以满足不同企业的延迟、成本和检索性能需求。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。