产品库

从语言到视觉的长上下文转换模型

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

高效无限上下文语言模型的官方实现

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

全球最长上下文窗口大模型

Baichuan2-192K推出全球最长上下文窗口大模型Baichuan2-192K，一次可输入35万字超越Claude2。Baichuan2-192K不仅在上下文窗口长度上超越Claude2，在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。Baichuan2-192K通过算法和工程的极致优化，实现了窗口长度和模型性能之间的平衡，做到了窗口长度和模型性能的同步提升。Baichuan2-192K已经开放了API接口，提供给企业用户，并已经在法律、媒体、金融等行业落地应用。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

超长上下文模型，革新软件开发

Magic团队开发的超长上下文模型（LTM）能够处理高达100M tokens的上下文信息，这在AI领域是一个重大突破。该技术主要针对软件开发领域，通过在推理过程中提供大量代码、文档和库的上下文，极大地提升了代码合成的质量和效率。与传统的循环神经网络和状态空间模型相比，LTM模型在存储和检索大量信息方面具有明显优势，能够构建更复杂的逻辑电路。此外，Magic团队还与Google Cloud合作，利用NVIDIA GB200 NVL72构建下一代AI超级计算机，进一步推动模型的推理和训练效率。

LG AI Research开发的多语言生成模型

EXAONE-3.5-32B-Instruct-AWQ是LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理，在真实世界用例和长上下文理解方面展现出最先进的性能，同时在与最近发布的类似大小模型相比，在通用领域保持竞争力。该模型通过AWQ量化技术，实现了4位组级别的权重量化，优化了模型的部署效率。

权限感知上下文提供者

ReLLM提供权限感知上下文，可用于大型语言模型（如ChatGPT）的应用中。通过将用户的长期记忆提供给ChatGPT，实现更自然的对话体验。ReLLM还处理与ChatGPT的通信和消息链管理，保证数据安全性。只提供用户可以访问的数据。数据加密存储，解密只在使用时进行。定价详见官方网站。

LG AI Research开发的多语言、高性能大型语言模型

EXAONE-3.5-32B-Instruct-GGUF是LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，包含2.4B至32B参数的不同版本。这些模型支持长达32K令牌的长上下文处理，展现了在真实世界用例和长上下文理解中的最前沿性能，同时在与近期发布的类似规模模型相比，在通用领域保持竞争力。该模型系列通过技术报告、博客和GitHub提供了详细信息，并且包含了多种精度的指令调优32B语言模型，具有以下特点：参数数量（不含嵌入）为30.95B，层数为64，注意力头数为GQA，包含40个Q头和8个KV头，词汇量为102,400，上下文长度为32,768令牌，量化包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等GGUF格式（也包括BF16权重）。

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

将LLM上下文窗口扩展至200万令牌的技术

LongRoPE是微软推出的技术，可以将预训练大型语言模型（LLM）的上下文窗口扩展到2048k（200万）令牌，实现从短上下文到长上下文的扩展，降低训练成本和时间，同时保持原有短上下文窗口性能。适用于提高语言模型在长文本上的理解和生成能力，提升机器阅读理解、文本摘要和长篇文章生成等任务。

超级上下文定向引擎！

Neuwo是一款领先的上下文人工智能引擎，用于内容分类和品牌安全。我们的技术帮助出版商和数字资产管理者改善用户体验并提供不打扰的广告。Neuwo通过丰富您的宝贵数据，提供元标签、相关内容和IAB分类，实现上下文广告的最大化利用。我们的使命是使您的数据更有价值！

LG AI Research开发的多语言生成模型

EXAONE-3.5-7.8B-Instruct是由LG AI Research开发的一系列指令调优的双语（英语和韩语）生成模型，参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理，并在真实世界用例和长上下文理解方面展现出最先进的性能，同时在与近期发布的类似大小模型相比，在通用领域保持竞争力。

实时零唇语音转换的流式上下文感知语言建模

StreamVoice是一种基于语言模型的零唇语音转换模型，可实现实时转换，无需完整的源语音。它采用全因果上下文感知语言模型，结合时间独立的声学预测器，能够在每个时间步骤交替处理语义和声学特征，从而消除对完整源语音的依赖。为了增强在流式处理中可能出现的上下文不完整而导致的性能下降，StreamVoice通过两种策略增强了语言模型的上下文感知性：1）教师引导的上下文预见，在训练过程中利用教师模型总结当前和未来的语义上下文，引导模型对缺失上下文进行预测；2）语义屏蔽策略，促进从先前受损的语义和声学输入进行声学预测，增强上下文学习能力。值得注意的是，StreamVoice是第一个基于语言模型的流式零唇语音转换模型，无需任何未来预测。实验结果表明，StreamVoice具有流式转换能力，同时保持与非流式语音转换系统相媲美的零唇性能。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

MiniMax-Text-01是一个强大的语言模型，具有4560亿总参数，能够处理长达400万token的上下文。

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万token，并能在推理时处理长达400万token的上下文。在多个学术基准测试中，MiniMax-Text-01展现出了顶级模型的性能。

1T开源多语言大型语言模型

Tele-FLM-1T是一个开源的1T多语言大型语言模型，基于解码器仅Transformer架构，经过约2T tokens的训练。该模型在规模上展现出卓越的性能，有时甚至超越了更大的模型。除了分享模型权重外，还提供了核心设计、工程实践和训练细节，期待对学术和工业社区都有所裨益。

EasyContext演示了如何利用现有技术组合，来训练700K和1M上下文的语言模型。

EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。主要采用的技术包括序列并行、Deepspeed zero3离载、Flash注意力以及激活checkpoint等。该项目不提出新的创新点,而是展示如何组合现有的技术手段来实现这一目标。已成功训练出Llama-2-7B和Llama-2-13B两个模型,分别在8块A100和16块A100上实现了700K和1M词元的上下文长度。

开源代码生成大型语言模型

Qwen2.5-Coder是一系列专为代码生成设计的Qwen大型语言模型，包含0.5、1.5、3、7、14、32亿参数的六种主流模型尺寸，以满足不同开发者的需求。该模型在代码生成、代码推理和代码修复方面有显著提升，基于强大的Qwen2.5，训练令牌扩展到5.5万亿，包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前最先进的开源代码生成大型语言模型，其编码能力与GPT-4o相匹配。它不仅增强了编码能力，还保持了在数学和通用能力方面的优势，并支持长达128K令牌的长上下文。

高效编码的开源大型语言模型

Yi-Coder是一系列开源的代码大型语言模型（LLMs），在少于100亿参数的情况下提供最先进的编码性能。它有两种尺寸—1.5B和9B参数—提供基础和聊天版本，旨在高效推理和灵活训练。Yi-Coder-9B在GitHub的代码库级别代码语料库和从CommonCrawl筛选的代码相关数据上，额外训练了2.4万亿高质量token。Yi-Coder在多种编程任务中表现出色，包括基础和竞技编程、代码编辑和仓库级完成、长上下文理解以及数学推理。

Qwen1.5 - 开源的基础和聊天模型，支持多种规模，优化开发者体验。

Qwen1.5是Qwen系列的下一个版本，提供了基础和聊天模型的开源版本，覆盖了0.5B到72B的多个规模。支持多语言，长上下文，对齐人类偏好，并在基本能力、聊天性能、多语言理解等方面取得显著进展。

开源的多语言代码生成模型

CodeGeeX4-ALL-9B是CodeGeeX4系列模型的最新开源版本，基于GLM-4-9B持续训练，显著提升了代码生成能力。它支持代码补全、生成、代码解释、网页搜索、函数调用、代码问答等功能，覆盖软件开发的多个场景。在公共基准测试如BigCodeBench和NaturalCodeBench上表现优异，是参数少于10亿的最强代码生成模型，实现了推理速度与模型性能的最佳平衡。

智能对话应用，上下文理解、代码展示、多端同步

小秋 AI 是优秀的智能对话应用，支持上下文理解、代码块展示、代码块一键复制，兼容适配移动端与 PC 端，会话数据可进行多端同步。同时支持切换不同的 AI 应用并创建属于自己的 AI 应用，希望它能够成为您的得力助手，让每个人能尽情享受人工智能的魅力。

在本地运行GPT-4和基础模型，无需上传屏幕上下文。

AmbientGPT是一个革命性的编程辅助工具，它允许开发者在本地运行GPT-4和基础模型，同时能够直接推断屏幕上下文，从而无需手动上传上下文信息。这大大提高了代码编写和问题解决的效率。产品目前处于测试阶段，适用于拥有ARM64架构MacBook的开发者，并且需要一个兼容的OpenAI API密钥。

使用自然语言指令编辑图片，保持上下文和身份一致。

FLUX.1 Kontext是一款AI图像编辑工具，通过自然语言指令实现编辑，保持上下文和身份一致。其主要优点包括快速编辑、保持人物特征和身份一致、支持多种编辑模式，适用于各种创意需求。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

开源代码生成语言模型

Qwen2.5-Coder 是针对代码生成的模型，在代码生成等方面显著提升，参数规模多样，支持量化。免费，面向开发者提高效率和质量。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

将您的代码上下文直接提供给AI助手，优化AI编码工作流程。

EchoComet是一个AI开发者工具，通过将代码上下文直接提供给AI助手，极大地简化了AI编码工作流程。它的主要优点在于能够轻松收集代码，并将其输入到AI助手中，提高AI处理代码的准确性和效率。

体验革命性的FLUX Kontext AI图像生成和编辑，利用具有上下文感知的技术创建、修改和增强图像。

Kontext AI的FLUX Kontext是一项具有上下文感知能力的技术，可用于图像生成和编辑。其主要优点包括快速、准确的生成和编辑图像，支持复杂的编辑工作流程，结合了传统文本到图像模型和流式生成建模。

加速长上下文大型语言模型的预填充处理

MInference 1.0 是一种稀疏计算方法，旨在加速长序列处理的预填充阶段。它通过识别长上下文注意力矩阵中的三种独特模式，实现了对长上下文大型语言模型（LLMs）的动态稀疏注意力方法，加速了1M token提示的预填充阶段，同时保持了LLMs的能力，尤其是检索能力。