产品库

Karpathy推出的用于BPE算法的简洁代码项目

minbpe项目旨在为LLM中常用的BPE算法创建干净、教育性的代码实现。该项目提供了两种Tokenizer,实现了BPE算法的训练、编码、解码等主要功能,代码简洁易读,为用户提供便捷高效的使用体验。该项目展现出巨大的关注度和吸引力,相信其会对LLM和自然语言处理技术的发展起到重要作用。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。

快速高效的非结构化数据提取工具

Extractous是一个用Rust编写的非结构化数据提取工具，提供多语言绑定。它专注于从各种文件类型（如PDF、Word、HTML等）中提取内容和元数据，并且性能优异，内存占用低。Extractous通过原生代码执行实现快速处理速度和低内存使用，支持多种文件格式，并集成了Apache Tika和tesseract-ocr技术，使其能够处理广泛的文件类型并进行OCR识别。该工具的开源性质和Apache 2.0许可使其可以免费用于商业用途，适合需要处理大量文档数据的企业和开发者。

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。

一个全面的Prompt Engineering技术资源库

Prompt Engineering是人工智能领域的前沿技术，它改变了我们与AI技术的交互方式。这个开源项目旨在为初学者和经验丰富的实践者提供一个学习、构建和分享Prompt Engineering技术的平台。该项目包含了从基础到高级的各种示例，旨在促进Prompt Engineering领域的学习、实验和创新。此外，它还鼓励社区成员分享自己的创新技术，共同推动Prompt Engineering技术的发展。

小型语言模型调研、测量与洞察

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

一个全面的生成式AI代理开发和实现资源库

GenAI_Agents是一个开源的、面向生成式AI代理开发和实现的资源库。它提供了从基础到高级的教程和实现，旨在帮助开发者学习、构建和分享生成式AI代理。这个资源库不仅适合初学者，也适合经验丰富的从业者，通过提供丰富的示例和文档，促进学习和创新。

多语言大型语言模型

Llama-3.2-1B是由Meta公司发布的多语言大型语言模型，专注于文本生成任务。该模型使用优化的Transformer架构，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）进行调优，以符合人类对有用性和安全性的偏好。该模型支持8种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语，并在多种对话使用案例中表现优异。

全栈式虚拟人多场景应用服务

讯飞虚拟人利用最新的AI虚拟形象技术，结合语音识别、语义理解、语音合成、NLP、星火大模型等AI核心技术，提供虚拟人形象资产构建、AI驱动、多模态交互的多场景虚拟人产品服务。一站式虚拟人音视频内容生产，AIGC助力创作灵活高效；在虚拟'AI演播室'中输入文本或录音，一键完成音、视频作品的输出，3分钟内渲染出稿。

开源时空基础模型，用于交通预测

OpenCity是一个开源的时空基础模型，专注于交通预测领域。该模型通过整合Transformer架构和图神经网络，有效捕捉和标准化交通数据中的复杂时空依赖关系，实现对不同城市环境的零样本泛化。它在大规模、异构的交通数据集上进行预训练，学习到丰富、可泛化的表示，能够无缝应用于多种交通预测场景。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

生成高质量中文方言语音的大规模文本到语音模型。

Bailing-TTS是由Giant Network的AI Lab开发的大型文本到语音(TTS)模型系列，专注于生成高质量的中文方言语音。该模型采用持续的半监督学习和特定的Transformer架构，通过多阶段训练过程，有效对齐文本和语音标记，实现中文方言的高质量语音合成。Bailing-TTS在实验中展现出接近人类自然表达的语音合成效果，对于方言语音合成领域具有重要意义。

7.8亿参数的双语生成模型

EXAONE-3.0-7.8B-Instruct是LG AI Research开发的一款具有7.8亿参数的双语（英语和韩语）预训练生成模型。模型通过8T的精选token进行预训练，并经过监督式微调和直接偏好优化进行后训练，展现出与同类大小的开放模型相比极具竞争力的基准性能。

开源AI搜索引擎框架，性能媲美Perplexity.ai Pro。

MindSearch是一个基于大型语言模型（LLM）的多智能体网络搜索引擎框架，具有与Perplexity.ai Pro相似的性能。用户可以轻松部署自己的搜索引擎，支持闭源大型语言模型（如GPT、Claude）或开源大型语言模型（如InternLM2.5-7b-chat）。它具备以下特点：能够解决生活中的任何问题，利用网络知识提供深入和广泛的知识库答案；展示详细的解决方案路径，提高最终响应的可信度和可用性；提供优化的UI体验，包括React、Gradio、Streamlit和Terminal等多种接口；动态构建图谱，将用户查询分解为图谱中的原子子问题，并根据WebSearcher的搜索结果逐步扩展图谱。

1T开源多语言大型语言模型

Tele-FLM-1T是一个开源的1T多语言大型语言模型，基于解码器仅Transformer架构，经过约2T tokens的训练。该模型在规模上展现出卓越的性能，有时甚至超越了更大的模型。除了分享模型权重外，还提供了核心设计、工程实践和训练细节，期待对学术和工业社区都有所裨益。

多语言对话生成模型

Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种规模的模型，专为多语言对话使用案例优化，性能优于许多开源和闭源聊天模型。

7亿参数的语言模型，展示数据整理技术的有效性。

DCLM-Baseline-7B是一个7亿参数的语言模型，由DataComp for Language Models (DCLM)团队开发，主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架，优化器为AdamW，学习率为2e-3，权重衰减为0.05，批次大小为2048序列，序列长度为2048个token，总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。

依托AI与NLP的文本自动查错与智能纠错系统。

无忧智能审核系统是一款基于大数据、人工智能（AI）和自然语言处理技术（NLP）的文本自动查错与智能纠错系统。它通过深度学习能够全面校对多种文本错误类型，有效提升人工检校效率，消除审校盲区，提升内容安全和文本质量。系统支持多种部署方式，包括嵌入版、整站审核和接口版，能够满足不同行业和场景的需求。

高性能的开源代码模型

Mamba-Codestral-7B-v0.1 是 Mistral AI Team 开发的基于 Mamba2 架构的开源代码模型，性能与最先进的基于 Transformer 的代码模型相当。它在多个行业标准基准测试中表现出色，提供高效的代码生成和理解能力，适用于编程和软件开发领域。

快速且内存高效的精确注意力机制

FlashAttention是一个开源的注意力机制库，专为深度学习中的Transformer模型设计，以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算，减少了内存占用，同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配，而FlashAttention-3针对Hopper GPU进行了优化，支持FP16和BF16数据类型。

大型视频语言模型，用于视觉问答和视频字幕生成。

VideoLLaMA2-7B-16F-Base是由DAMO-NLP-SG团队开发的大型视频语言模型，专注于视频问答（Visual Question Answering）和视频字幕生成。该模型结合了先进的空间-时间建模和音频理解能力，为多模态视频内容分析提供了强大的支持。它在视觉问答和视频字幕生成任务上展现出卓越的性能，能够处理复杂的视频内容并生成准确的描述和答案。

生成高分辨率和长视频的端到端解决方案

EasyAnimate 是一个基于 transformer 架构的流水线，可以用于生成 AI 照片和视频，训练基线模型和 Lora 模型以用于 Diffusion Transformer。支持直接从预训练的 EasyAnimate 模型进行预测，生成不同分辨率、约 6 秒（24fps）的视频。用户还可以训练自己的基线模型和 Lora 模型以执行特定风格转换。

构建定制的大型语言模型（LLM）以增强聊天机器人的能力。

ChatRTX 是 NVIDIA 提供的一个用于构建定制大型语言模型（LLM）的平台，旨在提升聊天机器人的智能水平和交互能力。它利用先进的 AI 技术，通过理解自然语言处理（NLP）来提供更加人性化的对话体验。ChatRTX 的主要优点包括高度的可定制性、强大的语言理解能力和高效的交互设计，适合需要高级对话系统的各种商业应用。

构建最好的中文Llama大模型，完全开源可商用。

Llama中文社区是一个专注于Llama模型在中文方面的优化和上层建设的技术社区。社区提供基于大规模中文数据的预训练模型，并对Llama2和Llama3模型进行持续的中文能力迭代升级。社区拥有高级工程师团队支持，丰富的社区活动，以及开放共享的合作环境，旨在推动中文自然语言处理技术的发展。

SpaceByte是一种新的字节级解码架构,避免了Tokenization的缺陷。

SpaceByte是一种全新的字节级解码架构,旨在解决大型语言模型中广泛使用的Tokenization技术所带来的一些弊端。Tokenization虽能显著提升模型性能,但也存在诸多缺陷,如引入性能偏差、增加对抗攻击脆弱性、降低字符级建模效果及增加建模复杂度等。SpaceByte在保留Tokenizer的优势基础上,有效解决了上述缺陷。它使用字节级Transformer作为基础,并在模型层次中间插入更大的Transformer块,尤其是在遇到空格等通常表示单词边界的字节时。该架构在相同的训练和推理计算资源预算下,不但超越了其他字节级模型,甚至可以与Tokenization的Transformer模型取得相当的性能。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。