产品库

新一代大模型架构，超越 Transformer。

RWKV 是一种革新的深度学习架构，结合了 RNN 和 Transformer 的最佳特性。它提供出色的性能，快速的推理和训练，并且不依赖自注意力机制，节省 VRAM，支持 ' 无限 ' 的上下文长度。RWKV 在多个语言和编码中表现出色，成为全球开发者的热门选择，推动了开源大语言模型的进步。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

开源的专家混合语言模型，具有1.3亿活跃参数。

OLMoE是一个完全开放的、最先进的专家混合模型，具有1.3亿活跃参数和6.9亿总参数。该模型的所有数据、代码和日志都已发布。它提供了论文'OLMoE: Open Mixture-of-Experts Language Models'的所有资源概览。该模型在预训练、微调、适应和评估方面都具有重要应用，是自然语言处理领域的一个里程碑。

AI工具目录，发现最佳AI工具

Aixploria是一个专注于人工智能的网站，提供在线AI工具目录，帮助用户发现和选择满足其需求的最佳AI工具。该平台以简化的设计和直观的搜索引擎，让用户能够轻松地通过关键词搜索，找到各种AI应用。Aixploria不仅提供工具列表，还发布关于每个AI如何工作的文章，帮助用户理解最新趋势和最受欢迎的应用。此外，Aixploria还设有实时更新的'top 10 AI'专区，方便用户快速了解每个类别中的顶级AI工具。Aixploria适合所有对AI感兴趣的人，无论是初学者还是专家，都能在这里找到有价值的信息。

一个用于与ChatGPT模型交互的提示集合

Awesome ChatGPT Prompts是一个开源仓库，收集了用于与ChatGPT模型交互的提示示例。这个仓库鼓励用户添加自己的提示，并使用ChatGPT生成新的提示。

RWKV v6 Finch 14B，开源大模型，高效处理长文本。

RWKV v6 Finch 14B是RWKV架构的第六个版本，也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中，提高了处理长文本时的效率。Finch 14B模型在处理提示时，能够更好地管理其长期记忆，从而提供更广泛的应用范围。该模型是开源的，由Linux Foundation认可，并且接受社区的GPU集群时间捐赠以支持训练。

AI即时推理解决方案，速度领先世界。

Cerebras Inference是Cerebras公司推出的AI推理平台，提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术，为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型，包括医疗、能源、政府和金融服务等行业应用，具有开放源代码的特性，允许用户训练自己的基础模型或微调开源模型。

与大型语言模型进行自然的语音对话

OpenVoiceChat是一个开源项目，旨在提供一个与大型语言模型（LLM）进行自然语音对话的平台。它支持多种语音识别（STT）、文本到语音（TTS）和LLM模型，允许用户通过语音与AI进行交互。项目采用Apache-2.0许可，强调开放性和易用性，目标是成为封闭商业实现的开源替代品。

基于知识图谱的智能问答系统。

Fact Finder 是一个开源的智能问答系统，它使用语言模型和知识图谱来生成自然语言回答和提供证据。该系统通过调用语言模型生成Cypher查询，查询知识图谱以获取答案，并使用另一个语言模型调用生成最终的自然语言回答。Fact Finder 的主要优点包括能够提供透明性，允许用户查看查询和证据，以及通过可视化子图提供直观的证据。

9天内预训练的紧凑型大型语言模型

1.5-Pints是一个开源的紧凑型大型语言模型（LLM），它在9天内使用高质量数据进行预训练，旨在成为与Apple OpenELM和Microsoft Phi相当的AI助手。该模型的代码库和架构公开，以促进模型的复制、实验和进一步的开源开发。

开源的语音到语音转换模块

speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。

一个正在训练中的开源语言模型，具备“听力”能力。

llama3-s是一个开放的、正在进行中的研究实验，旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术，专注于令牌传递性，将声音令牌扩展到LLM的词汇表中，未来可能扩展到各种输入类型。作为一个开源科学实验，代码库和数据集都是公开的。

300行代码实现基于LLM的语音转录。

WeST是一个开源的语音识别转录模型，以300行代码的简洁形式，基于大型语言模型（LLM）实现语音到文本的转换。它由一个大型语言模型、一个语音编码器和一个投影器组成，其中仅投影器部分可训练。WeST的开发灵感来源于SLAM-ASR和LLaMA 3.1，旨在通过简化的代码实现高效的语音识别功能。

多功能文本到多模态内容生成框架

Alpha-VLLM提供了一系列模型，支持从文本到图像、音频等多模态内容的生成。这些模型基于深度学习技术，可以广泛应用于内容创作、数据增强、自动化设计等领域。

开源框架，支持数据驱动的自适应语言代理。

aiwaves-cn/agents 是一个开源框架，专注于数据驱动的自适应语言代理。它提供了一种系统化框架，通过符号学习训练语言代理，灵感来源于用于训练神经网络的连接主义学习过程。该框架实现了反向传播和基于梯度的权重更新，使用基于语言的损失、梯度和权重，支持多代理系统的优化。

通过文本搜索快速找到完美表情包

Meme Search是一款通过视觉内容和文本索引表情包的应用程序，它能够让用户通过文本搜索快速找到所需的表情包。该应用使用自然语言处理技术，将图片中的文本描述自动生成并作为向量索引存储，从而实现快速检索。Meme Search的开源特性和创新的搜索方式，使其成为提升表情包搜索效率的有力工具。

开源实现分布式低通信AI模型训练

OpenDiLoCo是一个开源框架，用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法，支持全球分布式AI模型训练。它通过提供可扩展的、去中心化的框架，使得在资源分散的地区也能高效地进行AI模型的训练，这对于推动AI技术的普及和创新具有重要意义。

轻量级、先进的文本生成模型

Gemma 2是Google开发的一系列轻量级、先进的开放模型，基于与Gemini模型相同的研究和技术构建。它们是文本到文本的解码器仅大型语言模型，仅提供英文版本，具有开放的权重，适用于预训练变体和指令调整变体。Gemma模型非常适合各种文本生成任务，包括问答、摘要和推理。其相对较小的体积使其能够部署在资源有限的环境中，如笔记本电脑、桌面或您自己的云基础设施，使先进的AI模型的访问民主化，并帮助为每个人促进创新。

下一代开源AI模型，性能卓越。

Gemma 2是谷歌DeepMind推出的下一代开源AI模型，提供9亿和27亿参数版本，具有卓越的性能和推理效率，支持在不同硬件上以全精度高效运行，大幅降低部署成本。Gemma 2在27亿参数版本中，提供了两倍于其大小模型的竞争力，并且可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，显著降低部署成本。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

轻量级大语言模型，专注于文本生成。

Index-1.9B-Pure是Index系列模型中的轻量版本，专为文本生成而设计。它在2.8T的中英文语料上进行了预训练，与同等级模型相比，在多个评测基准上表现领先。该模型特别过滤了所有指令相关数据，以验证指令对benchmark的影响，适用于需要高质量文本生成的领域。

基于大规模数据的高质量信息抽取模型

雅意信息抽取大模型（YAYI-UIE）由中科闻歌算法团队研发，是一款在百万级人工构造的高质量信息抽取数据上进行指令微调的模型。它能够统一训练信息抽取任务，包括命名实体识别（NER）、关系抽取（RE）和事件抽取（EE），覆盖了通用、安全、金融、生物、医疗、商业等多个场景的结构化抽取。该模型的开源旨在促进中文预训练大模型开源社区的发展，并通过开源共建雅意大模型生态。

从零开始实现Llama3模型

这是一个开源项目，作者naklecha从零开始实现了Llama3模型，这是一个大型语言模型。项目提供了详细的代码实现，包括模型的各个组成部分，如注意力机制、前馈网络等。通过这个项目，开发者可以深入理解大型语言模型的工作原理，同时也可以在此基础上进行自己的实验和改进。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

开源基础模型，用于代码智能任务，支持116种编程语言。

Granite Code Models 是 IBM 开发的一系列开源基础模型，专为代码生成任务设计，如修复错误、解释代码、文档化代码等。这些模型在多种编程语言上进行了训练，并在不同的代码相关任务上达到了最先进的性能。主要优点包括全面的性能、企业级的信任度以及遵循 IBM 的 AI 伦理原则进行训练。

开源框架，用于构建模块化的生产级应用程序。

Cognita 是一个开源框架，用于组织 RAG（Retrieval Augmented Generation）代码库，并提供一个前端界面，以便在不同的 RAG 定制中进行实验。它提供了一种简单的方法来组织代码库，使得在本地测试变得容易，同时也能够部署到生产环境中。Cognita 使用 Langchain/Llamaindex 作为底层技术，并提供了一个组织结构，使得每个 RAG 组件都是模块化的、API 驱动的，并且易于扩展。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

开源的基于深度文档理解的RAG（检索增强生成）引擎

RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。

结合文本提取、网络分析和大型语言模型提示与总结的端到端系统

GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型（LLM）的提示和总结，来丰富理解文本数据集的技术。该技术即将在GitHub上开源，是微软研究项目的一部分，旨在通过先进的算法提升文本数据的处理和分析能力。