产品库

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

创造无限可能的人工智能助手

YunHu Ai 是一个基于人工智能技术的聊天助手，旨在通过自然语言处理和机器学习技术，为用户提供高效、智能的对话体验。它能够理解用户的需求，提供准确的信息和建议，帮助用户解决问题。YunHu Ai 以其强大的语言理解能力、快速响应和用户友好的界面而受到用户的喜爱。

探索无限智能，构建更完美的聚合之路。

智语1号是一个以智能系统为基础的聊天平台，提供用户与AI进行互动交流的体验。它利用大模型技术，通过自然语言处理和机器学习，使得AI能够理解和回应用户的各种问题和需求。智语1号的背景是随着人工智能技术的发展，人们对于智能助手的需求日益增长，它旨在为用户提供一个高效、智能的交流环境。产品目前是免费试用，主要面向对智能聊天感兴趣的用户群体。

高效能、低资源消耗的混合专家模型

GRIN-MoE是由微软开发的混合专家(Mixture of Experts, MoE)模型，专注于提高模型在资源受限环境下的性能。该模型通过使用SparseMixer-v2来估计专家路由的梯度，与传统的MoE训练方法相比，GRIN-MoE在不依赖专家并行处理和令牌丢弃的情况下，实现了模型训练的扩展。它在编码和数学任务上表现尤为出色，适用于需要强推理能力的场景。

高效能的指令式微调AI模型

Mistral-Small-Instruct-2409是由Mistral AI Team开发的一个具有22B参数的指令式微调AI模型，支持多种语言，并能够支持高达128k的序列长度。该模型特别适用于需要长文本处理和复杂指令理解的场景，如自然语言处理、机器学习等领域。

加速人类科学发现的人工智能

xAI是一家专注于构建人工智能以加速人类科学发现的公司。我们由埃隆·马斯克领导，他是特斯拉和SpaceX的CEO。我们的团队贡献了一些该领域最广泛使用的方法，包括Adam优化器、批量归一化、层归一化和对抗性示例的发现。我们进一步引入了Transformer-XL、Autoformalization、记忆变换器、批量大小缩放、μTransfer和SimCLR等创新技术和分析。我们参与并领导了AlphaStar、AlphaCode、Inception、Minerva、GPT-3.5和GPT-4等该领域一些最大的突破性发展。我们的团队由AI安全中心主任Dan Hendrycks提供咨询。我们与X公司紧密合作，将我们的技术带给超过5亿X应用用户。

基于记忆的RAG框架，用于全目的应用

MemoRAG是一个基于记忆的RAG框架，它通过高效的超长记忆模型，为各种应用提供支持。与传统的RAG不同，MemoRAG利用其记忆模型实现对整个数据库的全局理解，通过从记忆中回忆查询特定的线索，增强证据检索，从而生成更准确、更丰富的上下文响应。MemoRAG的开发活跃，不断有资源和原型在此仓库发布。

模块化研究导向的检索增强生成统一框架

RAGLAB是一个模块化、研究导向的开源框架，专注于检索增强生成(RAG)算法。它提供了6种现有RAG算法的复现，以及一个包含10个基准数据集的全面评估系统，支持公平比较不同RAG算法，并便于高效开发新算法、数据集和评估指标。

集成了通用和编程能力的人工智能模型

DeepSeek-V2.5 是一个升级版本，结合了 DeepSeek-V2-Chat 和 DeepSeek-Coder-V2-Instruct 的功能。这个新模型整合了两个先前版本的通用和编程能力，更好地符合人类的偏好，并在写作和指令遵循等多个方面进行了优化。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

RWKV v6 Finch 14B，开源大模型，高效处理长文本。

RWKV v6 Finch 14B是RWKV架构的第六个版本，也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中，提高了处理长文本时的效率。Finch 14B模型在处理提示时，能够更好地管理其长期记忆，从而提供更广泛的应用范围。该模型是开源的，由Linux Foundation认可，并且接受社区的GPU集群时间捐赠以支持训练。

104B参数的多语种高级对话生成模型

C4AI Command R+ 08-2024是一个拥有104B参数的大规模研究发布模型，具备高度先进的能力，包括检索增强生成（RAG）和工具使用，以自动化复杂任务。该模型支持23种语言的训练，并在10种语言中进行评估。它优化了多种用例，包括推理、总结和问答。

一个用于加载和测试大型语言模型的互动平台。

LLM Playground是一个在线平台，允许用户加载和测试各种大型语言模型。它为开发者和研究者提供了一个实验和探索人工智能最新进展的环境。该平台的主要优点是易于使用，支持多种模型，并且可以即时看到模型的输出结果。

大型语言模型的详细列表和信息

Models Table 提供了一个包含300多个大型语言模型的列表，这些模型被所有主要的AI实验室使用，包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性，对于AI研究者和开发者来说是一个宝贵的资源。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

小米开发的大规模预训练语言模型，参数规模64亿。

MiLM-6B是由小米公司开发的大规模预训练语言模型，参数规模达到64亿，它在中文基础模型评测数据集C-Eval和CMMLU上均取得同尺寸最好的效果。该模型代表了自然语言处理领域的最新进展，具有强大的语言理解和生成能力，可以广泛应用于文本生成、机器翻译、问答系统等多种场景。

GPT-4o，一款能够实时处理音频、视觉和文本的旗舰模型。

GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。

Fugaku-LLM是一个专注于文本生成的人工智能模型。

Fugaku-LLM是一个由Fugaku-LLM团队开发的人工智能语言模型，专注于文本生成领域。它通过先进的机器学习技术，能够生成流畅、连贯的文本，适用于多种语言和场景。Fugaku-LLM的主要优点包括其高效的文本生成能力、对多种语言的支持以及持续的模型更新，以保持技术领先。该模型在社区中拥有广泛的应用，包括但不限于写作辅助、聊天机器人开发和教育工具。

找到人工智能、机器学习、自然语言处理和数据科学等领域的最佳AI工作和职业机会。

Next AI Jobs是一个提供人工智能、机器学习、自然语言处理和数据科学等领域的工作和职业机会的网站。它连接了人工智能行业的雇主和求职者，为人才提供了广阔的发展空间和机会。Next AI Jobs的主要优点是它集中了人工智能领域的工作和职业机会，为求职者提供了更便捷的职业发展途径。

一款具有128k有效上下文长度的70B参数的大型语言模型。

Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型，它通过PoSE和动态NTK插值的训练方法，具有更长的有效上下文长度，能够处理大量的文本数据。该模型在训练中使用了约1.5B个token，并且通过适配器转换技术，将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上，以提高模型的性能。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

构建基于检索增强生成（RAG）和代理的生成式AI应用的先进语言模型

Amazon Titan Text Premier 是 Amazon Titan 系列模型中的新成员，专为文本基础的企业级应用设计，支持定制化微调以适应特定领域、组织、品牌风格和用例。该模型在 Amazon Bedrock 中提供，具备32K令牌的最大上下文长度，特别适合英文任务，并整合了负责任的人工智能实践。

致力于收录开源社区的phi3训练变体版本，整理训练、推理、部署教程。

phi3-Chinese是一个公共的GitHub仓库，专注于收集和整理开源社区中关于phi3模型的各种训练变体版本。它不仅提供了不同版本的phi3模型下载链接，还包含了训练、推理、部署的相关教程，旨在帮助开发者更好地理解和使用phi3模型。

为密集非结构化数据提供挑战性查询的RAG框架

spRAG是一个专为非结构化数据设计的RAG（Retrieval-Augmented Generation）框架，特别擅长处理复杂的文本查询，例如金融报告、法律文件和学术论文。它在复杂的开放性问答任务上，如FinanceBench基准测试中，准确率显著高于传统的RAG基线模型。

扩展LLaVA模型，集成Phi-3和LLaMA-3，提升视觉与语言模型的交互能力。

LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。