产品库

从语言到视觉的长上下文转换模型

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

全球最长上下文窗口大模型

Baichuan2-192K推出全球最长上下文窗口大模型Baichuan2-192K，一次可输入35万字超越Claude2。Baichuan2-192K不仅在上下文窗口长度上超越Claude2，在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。Baichuan2-192K通过算法和工程的极致优化，实现了窗口长度和模型性能之间的平衡，做到了窗口长度和模型性能的同步提升。Baichuan2-192K已经开放了API接口，提供给企业用户，并已经在法律、媒体、金融等行业落地应用。

超长上下文模型，革新软件开发

Magic团队开发的超长上下文模型（LTM）能够处理高达100M tokens的上下文信息，这在AI领域是一个重大突破。该技术主要针对软件开发领域，通过在推理过程中提供大量代码、文档和库的上下文，极大地提升了代码合成的质量和效率。与传统的循环神经网络和状态空间模型相比，LTM模型在存储和检索大量信息方面具有明显优势，能够构建更复杂的逻辑电路。此外，Magic团队还与Google Cloud合作，利用NVIDIA GB200 NVL72构建下一代AI超级计算机，进一步推动模型的推理和训练效率。

高效无限上下文语言模型的官方实现

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

高性能多模态AI模型

Gemini Pro是DeepMind推出的一款高性能多模态AI模型，专为广泛的任务设计，具有高达两百万token的长上下文窗口，能够处理大规模文档、代码、音频和视频等。它在多个基准测试中表现出色，包括代码生成、数学问题解决和多语言翻译等。

EgoLife是一个长期、多模态、多视角的日常生活AI助手项目，旨在推进长期上下文理解研究。

EgoLife是一个面向长期、多模态、多视角日常生活的AI助手项目。该项目通过记录六名志愿者一周的共享生活体验，生成了约50小时的视频数据，涵盖日常活动、社交互动等场景。其多模态数据（包括视频、视线、IMU数据）和多视角摄像头系统为AI研究提供了丰富的上下文信息。此外，该项目提出了EgoRAG框架，用于解决长期上下文理解任务，推动了AI在复杂环境中的应用能力。

权限感知上下文提供者

ReLLM提供权限感知上下文，可用于大型语言模型（如ChatGPT）的应用中。通过将用户的长期记忆提供给ChatGPT，实现更自然的对话体验。ReLLM还处理与ChatGPT的通信和消息链管理，保证数据安全性。只提供用户可以访问的数据。数据加密存储，解密只在使用时进行。定价详见官方网站。

在本地运行GPT-4和基础模型，无需上传屏幕上下文。

AmbientGPT是一个革命性的编程辅助工具，它允许开发者在本地运行GPT-4和基础模型，同时能够直接推断屏幕上下文，从而无需手动上传上下文信息。这大大提高了代码编写和问题解决的效率。产品目前处于测试阶段，适用于拥有ARM64架构MacBook的开发者，并且需要一个兼容的OpenAI API密钥。

将LLM上下文窗口扩展至200万令牌的技术

LongRoPE是微软推出的技术，可以将预训练大型语言模型（LLM）的上下文窗口扩展到2048k（200万）令牌，实现从短上下文到长上下文的扩展，降低训练成本和时间，同时保持原有短上下文窗口性能。适用于提高语言模型在长文本上的理解和生成能力，提升机器阅读理解、文本摘要和长篇文章生成等任务。

超级上下文定向引擎！

Neuwo是一款领先的上下文人工智能引擎，用于内容分类和品牌安全。我们的技术帮助出版商和数字资产管理者改善用户体验并提供不打扰的广告。Neuwo通过丰富您的宝贵数据，提供元标签、相关内容和IAB分类，实现上下文广告的最大化利用。我们的使命是使您的数据更有价值！

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

视觉定位GUI指令的多模态模型

Aria-UI是一个专为GUI指令视觉定位而设计的大规模多模态模型。它采用纯视觉方法，不依赖辅助输入，能够适应多样化的规划指令，并通过合成多样化、高质量的指令样本来适应不同的任务。Aria-UI在离线和在线代理基准测试中均创下新的最高记录，超越了仅依赖视觉和依赖AXTree的基线。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

MiniMax-Text-01是一个强大的语言模型，具有4560亿总参数，能够处理长达400万token的上下文。

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万token，并能在推理时处理长达400万token的上下文。在多个学术基准测试中，MiniMax-Text-01展现出了顶级模型的性能。

体验革命性的FLUX Kontext AI图像生成和编辑，利用具有上下文感知的技术创建、修改和增强图像。

Kontext AI的FLUX Kontext是一项具有上下文感知能力的技术，可用于图像生成和编辑。其主要优点包括快速、准确的生成和编辑图像，支持复杂的编辑工作流程，结合了传统文本到图像模型和流式生成建模。

MCP Defender是一款AI防火墙，旨在监控和保护模型上下文协议（MCP）通信。

MCP Defender是一款AI防火墙，用于监控和保护MCP通信。它拦截工具调用和响应，并根据安全签名验证它们。MCP Defender提供高级的LLM驱动的恶意活动检测，并允许用户管理扫描过程中使用的签名。

EasyContext演示了如何利用现有技术组合，来训练700K和1M上下文的语言模型。

EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。主要采用的技术包括序列并行、Deepspeed zero3离载、Flash注意力以及激活checkpoint等。该项目不提出新的创新点,而是展示如何组合现有的技术手段来实现这一目标。已成功训练出Llama-2-7B和Llama-2-13B两个模型,分别在8块A100和16块A100上实现了700K和1M词元的上下文长度。

智能对话应用，上下文理解、代码展示、多端同步

小秋 AI 是优秀的智能对话应用，支持上下文理解、代码块展示、代码块一键复制，兼容适配移动端与 PC 端，会话数据可进行多端同步。同时支持切换不同的 AI 应用并创建属于自己的 AI 应用，希望它能够成为您的得力助手，让每个人能尽情享受人工智能的魅力。

实时零唇语音转换的流式上下文感知语言建模

StreamVoice是一种基于语言模型的零唇语音转换模型，可实现实时转换，无需完整的源语音。它采用全因果上下文感知语言模型，结合时间独立的声学预测器，能够在每个时间步骤交替处理语义和声学特征，从而消除对完整源语音的依赖。为了增强在流式处理中可能出现的上下文不完整而导致的性能下降，StreamVoice通过两种策略增强了语言模型的上下文感知性：1）教师引导的上下文预见，在训练过程中利用教师模型总结当前和未来的语义上下文，引导模型对缺失上下文进行预测；2）语义屏蔽策略，促进从先前受损的语义和声学输入进行声学预测，增强上下文学习能力。值得注意的是，StreamVoice是第一个基于语言模型的流式零唇语音转换模型，无需任何未来预测。实验结果表明，StreamVoice具有流式转换能力，同时保持与非流式语音转换系统相媲美的零唇性能。

使用自然语言指令编辑图片，保持上下文和身份一致。

FLUX.1 Kontext是一款AI图像编辑工具，通过自然语言指令实现编辑，保持上下文和身份一致。其主要优点包括快速编辑、保持人物特征和身份一致、支持多种编辑模式，适用于各种创意需求。

将您的代码上下文直接提供给AI助手，优化AI编码工作流程。

EchoComet是一个AI开发者工具，通过将代码上下文直接提供给AI助手，极大地简化了AI编码工作流程。它的主要优点在于能够轻松收集代码，并将其输入到AI助手中，提高AI处理代码的准确性和效率。

70亿参数的超长上下文对话模型

InternLM2.5-7B-Chat-1M 是一个开源的70亿参数的对话模型，具有卓越的推理能力，在数学推理方面超越了同量级模型。该模型支持1M超长上下文窗口，能够处理长文本任务，如LongBench等。此外，它还具备强大的工具调用能力，能够从上百个网页搜集信息进行分析推理。

给GPT3添加上下文，打造定制化AI体验

Godly是一个让您可以轻松给GPT3添加上下文的工具，为您的GPT3完成提供个性化的回复。它提供了简单的设置和管理界面，让您可以在几分钟内建立和管理您的上下文。我们使用OpenAI的嵌入模型来找到最相关的上下文，并将其附加到您的提示中。每个项目都配有一个聊天机器人，无需编码即可探索您的上下文。Godly Playground使调试和管理哪些上下文影响您的提示变得轻松。我们还为开发者提供了简单易用的SDK，让您快速将上下文集成到GPT3的完成中。立即开始免费试用，为您的上下文未来提供保障。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

月之暗面推出的最新AI模型，支持自动同步更新和大上下文长度，适用于AI聊天和智能助手构建。

kimi-latest 是月之暗面公司推出的最新 AI 模型，与 Kimi 智能助手同步升级，具备强大的上下文处理能力和自动缓存功能，能够有效降低使用成本。该模型支持图像理解和多种功能，如 ToolCalls 和联网搜索，适用于构建 AI 智能助手或客服系统。其价格为每百万 Tokens 1 元，定位为高效、灵活的 AI 模型解决方案。

ChatGPT增强工具-添加上下文菜单、键盘快捷键、历史记录等

AI Anywhere for ChatGPT是一个增强工具，为ChatGPT提供便利功能，包括自定义上下文菜单选项（摘要/解释/翻译所选文本）、点击工具栏图标快速访问、在Google上重新搜索ChatGPT、按上/下箭头访问先前的查询等。支持独立开发者和Addons官方朋友！

用于多模态上下文中的检索增强生成的基准测试代码库。

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。

AI助手：代码片段管理器+工作流上下文工具

Pieces for Developers是一款AI助手，提供代码片段管理和工作流上下文工具。它可以保存、增强、生成、搜索和重用开发者材料，帮助开发者提高生产力。它的特点包括保存和搜索代码片段、自动生成标题和描述、提取屏幕截图中的代码、离线使用、智能协助等。Pieces for Developers还与多种开发工具和平台进行了集成，如Visual Studio Code、IntelliJ IDEA、Chrome浏览器等。