产品库

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

高效单遍统一生成和检索框架，适用于大型语言模型。

OneGen是一个为大型语言模型（LLMs）设计的高效单遍生成和检索框架，用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中，通过将检索任务分配给以自回归方式生成的检索令牌，使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本，还显著减少了推理成本，因为它避免了对查询进行两次前向传递计算的需求。

使大型语言模型在长文本问答中生成细粒度引用

LongCite是一个开源的模型，它通过训练大型语言模型（LLMs）来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度，使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度，并且提供了两个模型：LongCite-glm4-9b和LongCite-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。

利用大型语言模型增量构建知识图谱

iText2KG是一个Python包，旨在利用大型语言模型从文本文档中提取实体和关系，增量构建一致的知识图谱。它具备零样本能力，允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块，确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示，支持交互式探索和分析结构化数据。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

大型语言模型，支持多种参数规模

Meta Llama 3 是 Meta 推出的最新大型语言模型，旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本，支持预训练和指令调优。模型通过 GitHub 仓库提供，用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用，具有广泛的研究和商业潜力。

大型语言模型，支持多语言和代码数据

Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型（LLM），是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练，显著优于大小相似或更小的现有模型。其主要特点包括：支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头（GQA）、2^17词汇量（约128k）、旋转嵌入（theta=1M）。该模型在多种基准测试中表现出色，如HellaSwag（0-shot）、Winogrande（0-shot）、OpenBookQA（0-shot）等。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

大型语言模型的详细列表和信息

Models Table 提供了一个包含300多个大型语言模型的列表，这些模型被所有主要的AI实验室使用，包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性，对于AI研究者和开发者来说是一个宝贵的资源。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

大型语言模型，支持指令式对话和功能调用。

Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型，它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本，适合于需要交互式对话和自动化任务的场景。

一种大型语言模型，具有扩展词汇量。

Mistral-7B-v0.3是由Mistral AI团队开发的大型语言模型(Large Language Model, LLM)，它是Mistral-7B-v0.2的升级版，具有扩展到32768的词汇量。该模型支持文本生成，适合于需要文本生成能力的应用场景。目前，该模型没有内容审核机制，团队正在寻求社区合作，以实现更精细的内容审核，满足需要内容审核的部署环境。

一款具有128k有效上下文长度的70B参数的大型语言模型。

Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型，它通过PoSE和动态NTK插值的训练方法，具有更长的有效上下文长度，能够处理大量的文本数据。该模型在训练中使用了约1.5B个token，并且通过适配器转换技术，将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上，以提高模型的性能。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理

Phi-3 Mini是一款轻量级的最先进的开源大模型,构建于用于Phi-2的合成数据和过滤网站数据之上,致力于提供极高质量、推理密集型的数据。该模型经过了严格的增强过程,结合了监督式微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。该仓库提供了Phi-3 Mini的优化ONNX版本,可通过ONNX Runtime在CPU和GPU上进行加速推理,支持服务器、Windows、Linux、Mac等多种平台,并针对每个平台提供最佳精度配置。ONNX Runtime的DirectML支持还可让开发人员在AMD、英特尔和NVIDIA GPU驱动的Windows设备上实现大规模硬件加速。

新模型，多种型号，AI驱动合成数据训练

WizardLM-2是WizardLM推出的新一代大型语言模型，包含三种型号：8x22B、70B和7B。该产品采用AI驱动的合成数据训练系统，通过数据分析、加权抽样、渐进式学习和AI互校AI等方法，优化模型性能。它能够自动生成高品质的指令和响应，提供多样化的对话能力，适用于多种编程和开发场景。

简化 LLM 提示管理和促进团队协作

Langtail 是一个旨在简化大型语言模型（LLM）提示管理的平台。通过Langtail，您可以增强团队协作、提高效率，并更深入地了解您的AI工作原理。尝试Langtail，以更具协作和洞察力的方式构建LLM应用。

构建为您工作的AI团队

使用BrainSoup，您可以创建自定义AI代理来处理任务并通过自然语言自动化流程。提高AI的能力与您的数据，同时保持最佳的隐私和安全性。BrainSoup支持多个大型语言模型和语义核心技术，使AI代理更加强大和个性化。

Stable Diffusion推理优化java实现

sd4j是一个使用ONNX Runtime的Stable Diffusion推理Java实现,以C#实现进行了优化移植,带有重复生成图像的图形界面,并支持负面文本输入。 旨在演示如何在Java中使用ONNX Runtime,以及获得良好性能的ONNX Runtime的最佳实践。 我们将使其与ONNX Runtime的最新版本保持同步,并随着通过ONNX Runtime Java API提供的性能相关ONNX Runtime功能的出现进行适当更新。 所有代码都可能会发生变化,因为这是一个代码示例,任何API都不应该被视为稳定的。

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

快速构建自然语言处理应用

GradientJ是一个用于测试、部署和管理自然语言处理应用的平台。它基于大型语言模型如GPT-4，提供快速构建NLP应用的能力。用户可以使用GradientJ开发自定义的文本生成、问答系统、聊天机器人等NLP应用。GradientJ提供简单易用的接口和工具，让开发者能够快速上手并实现自己的用例。定价方案灵活，适合个人开发者和企业用户。

Andes - 大型语言模型（LLM）API市场

Andes是一个大型语言模型（LLM）API市场，连接领先的人工智能技术，提供自然语言处理、自动文本生成、翻译等功能，为您的应用增加智能能力。

开放的大型推理模型，解决现实世界问题

Marco-o1是一个开放的大型推理模型，旨在通过先进的技术如Chain-of-Thought (CoT) fine-tuning、Monte Carlo Tree Search (MCTS)、反射机制和创新的推理策略，优化复杂现实世界问题的解决任务。该模型不仅关注数学、物理和编程等有标准答案的学科，还强调开放性问题的解决。Marco-o1由阿里巴巴国际数字商务的MarcoPolo团队开发，具有强大的推理能力，已在多个领域展示出卓越的性能。

知识共享的对话式AI平台

Dokko是一个革命性的知识管理平台，它通过先进的AI和自然语言理解技术，提供直观的聊天机器人界面，无缝连接团队和客户，促进轻松沟通和知识交流。Dokko通过集中化、直观的系统整合分散的数据源，使用自然、会话式的文本，解决了组织中信息孤岛的问题。产品的主要优点包括易于集成、自动化数据组织和集成、实时性能监控和优化等。Dokko支持多种大型语言模型（LLMs），允许用户根据特定需求选择最佳的AI引擎，并定制响应以反映组织的独特特性。

123B参数的大型语言模型，具备先进推理和编码能力。

Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型，它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言，并在80多种编程语言上进行了训练，包括但不限于Python、Java、C、C++等。它以代理为中心，具备原生函数调用和JSON输出能力，是进行科研和开发的理想选择。

Qwen2.5-Coder系列的1.5B参数指令调优模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专为代码生成、代码推理和代码修复而设计。基于强大的Qwen2.5，通过增加训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型，其编码能力与GPT-4o相匹配。此模型是1.5B参数的指令调优版本，采用GGUF格式，具有因果语言模型、预训练和后训练阶段、transformers架构等特点。