产品库

构建和训练大型语言模型的综合框架

DataComp-LM (DCLM) 是一个为构建和训练大型语言模型（LLMs）而设计的综合性框架，提供了标准化的语料库、基于open_lm框架的高效预训练配方，以及超过50种评估方法。DCLM 支持研究人员在不同的计算规模上实验不同的数据集构建策略，从411M到7B参数模型。DCLM 通过优化的数据集设计显著提高了模型性能，并且已经促成了多个高质量数据集的创建，这些数据集在不同规模上表现优异，超越了所有开放数据集。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型，专注于提升大型语言模型（LLM）生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF（特别是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术，还提供了与HuggingFace Transformers代码库兼容的模型转换格式，并可通过NVIDIA的build平台进行免费托管推理。

文本到图像生成的自适应工作流

ComfyGen 是一个专注于文本到图像生成的自适应工作流系统，它通过学习用户提示来自动化并定制有效的工作流。这项技术的出现，标志着从使用单一模型到结合多个专业组件的复杂工作流的转变，旨在提高图像生成的质量。ComfyGen 背后的主要优点是能够根据用户的文本提示自动调整工作流，以生成更高质量的图像，这对于需要生成特定风格或主题图像的用户来说非常重要。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

突破大型语言模型限制的自动化框架

AutoDAN-Turbo是一个自动化的、无需人为干预的框架，旨在自动发现并实施多种策略，以突破大型语言模型（LLMs）的限制。该框架能够自动开发出多样的攻击策略，显著提高了攻击成功率，并且可以作为一个统一的框架整合现有的人为设计的越狱策略。AutoDAN-Turbo的重要性在于其能够提升LLMs在对抗环境中的安全性和可靠性，为红队评估工具提供了一种新的自动化方法。

AI模型选择助手

Lumigator 是 Mozilla.ai 开发的一款产品，旨在帮助开发者从众多大型语言模型（LLM）中选择最适合其特定项目的模型。它通过提供任务特定的指标框架来评估模型，确保所选模型能够满足项目需求。Lumigator 的愿景是成为一个开源平台，促进道德和透明的AI开发，并填补行业工具链中的空白。

客户数据统一与检索平台

Tilores Identity RAG 是一个为大型语言模型（LLMs）提供客户数据搜索、统一和检索服务的平台。它通过实时模糊搜索技术，处理拼写错误和不准确信息，提供准确、相关且统一的客户数据响应。该平台解决了大型语言模型在检索结构化客户数据时面临的挑战，如数据来源分散、搜索词不完全匹配时难以找到客户数据，以及统一客户记录的复杂性。它允许快速检索结构化客户数据，构建动态客户档案，并在查询时提供实时统一且准确的客户数据。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

糖尿病护理专用的大型语言模型

Diabetica-7B是一个针对糖尿病护理领域优化的大型语言模型。它在糖尿病相关的多种任务上表现出色，包括诊断、治疗建议、药物管理、生活方式建议、患者教育等。该模型基于开源模型进行微调，使用特定疾病数据集和微调技术，提供了一个可复现的框架，可以加速AI辅助医疗的发展。此外，它还经过了全面的评估和临床试验，以验证其在临床应用中的有效性。

糖尿病护理专用的大型语言模型

Diabetica-1.5B是一个为糖尿病护理领域特别定制的大型语言模型，它在诊断、治疗建议、药物管理、生活方式建议、患者教育等多个与糖尿病相关的任务中表现出色。该模型基于开源模型开发，并利用特定疾病数据集进行微调，提供了一个可复现的框架，可以加速AI辅助医疗的发展。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

AI与产品管理领域的知识社区

觅识AI社区是一个专注于人工智能与产品管理领域的知识社区，提供AI产品管理的相关知识体系和研发产品用例。社区成员有机会成为'超级个体和一人公司'。可通过邮件或社交媒体与主理人联系，加入AI PM社区。

前沿级多模态大型语言模型，实现视觉-语言任务的先进性能。

NVLM 1.0是一系列前沿级的多模态大型语言模型（LLMs），在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是，NVLM 1.0在多模态训练后，其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。

AI驱动的训练和评估平台，提升员工培训效率。

Solidroad是一个AI优先的训练和评估平台，它将公司的知识库转化为沉浸式培训项目，易于培训者管理，同时为员工提供更吸引人的学习体验。该平台通过个性化支持、指导和专业知识，帮助客户节省时间和资源，加快新员工的熟练速度，并提高客户满意度评分。

高效单遍统一生成和检索框架，适用于大型语言模型。

OneGen是一个为大型语言模型（LLMs）设计的高效单遍生成和检索框架，用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中，通过将检索任务分配给以自回归方式生成的检索令牌，使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本，还显著减少了推理成本，因为它避免了对查询进行两次前向传递计算的需求。

开源大型语言模型工具集合

Open Source LLM Tools是一个专注于收集和展示开源大型语言模型（LLM）工具的平台。它提供了一个更新频繁的资源库，帮助开发者和研究者发现和利用最新的开源AI工具。该平台的主要优点在于其高更新频率和对活跃开源AI开发者的聚焦，使得用户能够及时获取到行业的最新动态和技术进展。

多语言大型语言模型，支持多领域文本生成。

XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型，采用混合专家模型（MoE）架构，具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言，特别在中英双语上表现优异。模型使用8K长度的训练样本，并通过精细化的数据采样比例和动态数据切换策略，保证了模型的高质量和多样性。此外，模型还针对MoE架构进行了定制优化，提升了计算效率和整体吞吐量。

AI编程智能体语言，实现LLM与IDE之间的通信以自动化编程。

the Shire是一种AI编程智能体语言，旨在实现大型语言模型（LLM）与集成开发环境（IDE）之间的通信，以支持自动化编程。它起源于AutoDev项目，旨在为开发者提供一个AI驱动的IDE，包括DevIns，Shire的前身。Shire通过提供定制化的AI代理，使用户能够构建符合个人需求的AI驱动开发环境。

免费且快速的提示链生成器

PromptChainer 是一个旨在提高大型语言模型输出质量的工具，通过自动化提示链的生成，帮助用户将复杂任务分解成可管理的小步骤，从而获得更精确和高质量的结果。它特别适合需要多步骤和/或大量上下文和知识的任务。

使大型语言模型在长文本问答中生成细粒度引用

LongCite是一个开源的模型，它通过训练大型语言模型（LLMs）来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度，使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度，并且提供了两个模型：LongCite-glm4-9b和LongCite-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

利用大型语言模型增量构建知识图谱

iText2KG是一个Python包，旨在利用大型语言模型从文本文档中提取实体和关系，增量构建一致的知识图谱。它具备零样本能力，允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块，确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示，支持交互式探索和分析结构化数据。

一种用于文本到图像扩散模型的概念擦除技术

RECE是一种文本到图像扩散模型的概念擦除技术，它通过在模型训练过程中引入正则化项来实现对特定概念的可靠和高效擦除。这项技术对于提高图像生成模型的安全性和控制性具有重要意义，特别是在需要避免生成不适当内容的场景中。RECE技术的主要优点包括高效率、高可靠性和易于集成到现有模型中。

简洁的FLUX LoRA训练UI，支持低VRAM配置。

Flux Gym是一个为FLUX LoRA模型训练设计的简洁Web UI，特别适合只有12GB、16GB或20GB VRAM的设备使用。它结合了AI-Toolkit项目的易用性和Kohya Scripts的灵活性，使得用户无需复杂的终端操作即可进行模型训练。Flux Gym支持用户通过简单的界面上传图片和添加描述，然后启动训练过程。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。