产品库

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

将LLM上下文窗口扩展至200万令牌的技术

LongRoPE是微软推出的技术，可以将预训练大型语言模型（LLM）的上下文窗口扩展到2048k（200万）令牌，实现从短上下文到长上下文的扩展，降低训练成本和时间，同时保持原有短上下文窗口性能。适用于提高语言模型在长文本上的理解和生成能力，提升机器阅读理解、文本摘要和长篇文章生成等任务。

扩展大语言模型的上下文窗口

LLM Maybe LongLM是一个面向开发者和研究人员的人工智能平台，提供各种模型、数据集和解决方案。其中，LLM Maybe LongLM是针对大语言模型长上下文处理的研究成果，通过自我扩展实现了对长上下文的处理能力。该方法无需训练，只需对原始模型进行少量代码修改即可扩展上下文窗口，为处理长文本提供了有效的解决方案。

全球最长上下文窗口大模型

Baichuan2-192K推出全球最长上下文窗口大模型Baichuan2-192K，一次可输入35万字超越Claude2。Baichuan2-192K不仅在上下文窗口长度上超越Claude2，在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。Baichuan2-192K通过算法和工程的极致优化，实现了窗口长度和模型性能之间的平衡，做到了窗口长度和模型性能的同步提升。Baichuan2-192K已经开放了API接口，提供给企业用户，并已经在法律、媒体、金融等行业落地应用。

高效无限上下文语言模型的官方实现

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

从语言到视觉的长上下文转换模型

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

EasyContext演示了如何利用现有技术组合，来训练700K和1M上下文的语言模型。

EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。主要采用的技术包括序列并行、Deepspeed zero3离载、Flash注意力以及激活checkpoint等。该项目不提出新的创新点,而是展示如何组合现有的技术手段来实现这一目标。已成功训练出Llama-2-7B和Llama-2-13B两个模型,分别在8块A100和16块A100上实现了700K和1M词元的上下文长度。

权限感知上下文提供者

ReLLM提供权限感知上下文，可用于大型语言模型（如ChatGPT）的应用中。通过将用户的长期记忆提供给ChatGPT，实现更自然的对话体验。ReLLM还处理与ChatGPT的通信和消息链管理，保证数据安全性。只提供用户可以访问的数据。数据加密存储，解密只在使用时进行。定价详见官方网站。

超长上下文模型，革新软件开发

Magic团队开发的超长上下文模型（LTM）能够处理高达100M tokens的上下文信息，这在AI领域是一个重大突破。该技术主要针对软件开发领域，通过在推理过程中提供大量代码、文档和库的上下文，极大地提升了代码合成的质量和效率。与传统的循环神经网络和状态空间模型相比，LTM模型在存储和检索大量信息方面具有明显优势，能够构建更复杂的逻辑电路。此外，Magic团队还与Google Cloud合作，利用NVIDIA GB200 NVL72构建下一代AI超级计算机，进一步推动模型的推理和训练效率。

超级上下文定向引擎！

Neuwo是一款领先的上下文人工智能引擎，用于内容分类和品牌安全。我们的技术帮助出版商和数字资产管理者改善用户体验并提供不打扰的广告。Neuwo通过丰富您的宝贵数据，提供元标签、相关内容和IAB分类，实现上下文广告的最大化利用。我们的使命是使您的数据更有价值！

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

在本地运行GPT-4和基础模型，无需上传屏幕上下文。

AmbientGPT是一个革命性的编程辅助工具，它允许开发者在本地运行GPT-4和基础模型，同时能够直接推断屏幕上下文，从而无需手动上传上下文信息。这大大提高了代码编写和问题解决的效率。产品目前处于测试阶段，适用于拥有ARM64架构MacBook的开发者，并且需要一个兼容的OpenAI API密钥。

实时零唇语音转换的流式上下文感知语言建模

StreamVoice是一种基于语言模型的零唇语音转换模型，可实现实时转换，无需完整的源语音。它采用全因果上下文感知语言模型，结合时间独立的声学预测器，能够在每个时间步骤交替处理语义和声学特征，从而消除对完整源语音的依赖。为了增强在流式处理中可能出现的上下文不完整而导致的性能下降，StreamVoice通过两种策略增强了语言模型的上下文感知性：1）教师引导的上下文预见，在训练过程中利用教师模型总结当前和未来的语义上下文，引导模型对缺失上下文进行预测；2）语义屏蔽策略，促进从先前受损的语义和声学输入进行声学预测，增强上下文学习能力。值得注意的是，StreamVoice是第一个基于语言模型的流式零唇语音转换模型，无需任何未来预测。实验结果表明，StreamVoice具有流式转换能力，同时保持与非流式语音转换系统相媲美的零唇性能。

illumi是支持集成多模型的上下文感知白板，助力AI团队高效协作。

illumi是一款面向AI驱动团队的上下文感知白板，其重要性在于解决了团队使用AI工作时存在的痛点，如分散的提示、受限的工作流和进度易丢失等问题。主要优点包括：能让团队在无限画布上实时协作，使知识得以留存和积累，方便团队成员共同提升AI技能，还能统一多种AI工具，避免上下文切换。产品背景是基于当前AI驱动团队工作方式的变革和需求而开发，目前处于测试阶段。价格方面提供免费试用，定位是为团队和个人提供高效的AI协作与知识管理平台。

使用自然语言指令编辑图片，保持上下文和身份一致。

FLUX.1 Kontext是一款AI图像编辑工具，通过自然语言指令实现编辑，保持上下文和身份一致。其主要优点包括快速编辑、保持人物特征和身份一致、支持多种编辑模式，适用于各种创意需求。

MiniMax-Text-01是一个强大的语言模型，具有4560亿总参数，能够处理长达400万token的上下文。

MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型，拥有4560亿总参数，其中每个token激活459亿参数。它采用了混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE）技术，通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、变长环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万token，并能在推理时处理长达400万token的上下文。在多个学术基准测试中，MiniMax-Text-01展现出了顶级模型的性能。

MCP Defender是一款AI防火墙，旨在监控和保护模型上下文协议（MCP）通信。

MCP Defender是一款AI防火墙，用于监控和保护MCP通信。它拦截工具调用和响应，并根据安全签名验证它们。MCP Defender提供高级的LLM驱动的恶意活动检测，并允许用户管理扫描过程中使用的签名。

智能对话应用，上下文理解、代码展示、多端同步

小秋 AI 是优秀的智能对话应用，支持上下文理解、代码块展示、代码块一键复制，兼容适配移动端与 PC 端，会话数据可进行多端同步。同时支持切换不同的 AI 应用并创建属于自己的 AI 应用，希望它能够成为您的得力助手，让每个人能尽情享受人工智能的魅力。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

将您的代码上下文直接提供给AI助手，优化AI编码工作流程。

EchoComet是一个AI开发者工具，通过将代码上下文直接提供给AI助手，极大地简化了AI编码工作流程。它的主要优点在于能够轻松收集代码，并将其输入到AI助手中，提高AI处理代码的准确性和效率。

体验革命性的FLUX Kontext AI图像生成和编辑，利用具有上下文感知的技术创建、修改和增强图像。

Kontext AI的FLUX Kontext是一项具有上下文感知能力的技术，可用于图像生成和编辑。其主要优点包括快速、准确的生成和编辑图像，支持复杂的编辑工作流程，结合了传统文本到图像模型和流式生成建模。

给GPT3添加上下文，打造定制化AI体验

Godly是一个让您可以轻松给GPT3添加上下文的工具，为您的GPT3完成提供个性化的回复。它提供了简单的设置和管理界面，让您可以在几分钟内建立和管理您的上下文。我们使用OpenAI的嵌入模型来找到最相关的上下文，并将其附加到您的提示中。每个项目都配有一个聊天机器人，无需编码即可探索您的上下文。Godly Playground使调试和管理哪些上下文影响您的提示变得轻松。我们还为开发者提供了简单易用的SDK，让您快速将上下文集成到GPT3的完成中。立即开始免费试用，为您的上下文未来提供保障。

月之暗面推出的最新AI模型，支持自动同步更新和大上下文长度，适用于AI聊天和智能助手构建。

kimi-latest 是月之暗面公司推出的最新 AI 模型，与 Kimi 智能助手同步升级，具备强大的上下文处理能力和自动缓存功能，能够有效降低使用成本。该模型支持图像理解和多种功能，如 ToolCalls 和联网搜索，适用于构建 AI 智能助手或客服系统。其价格为每百万 Tokens 1 元，定位为高效、灵活的 AI 模型解决方案。

革命性的上下文感知 AI 图像编辑与生成技术。

Fluxx AI 是一款革命性的多模态 AI 模型，能够通过文本和视觉上下文进行即时图像编辑与生成。该技术不仅理解用户的编辑意图，还能保持图像中的角色一致性与风格连贯性，适用于创意项目与品牌资产。Fluxx AI 提供多个版本，支持从基础到专业的多种需求，定价灵活，提供免费和付费选项，适合不同用户使用。

Omnipilot是一款在macOS上工作的AI副驾驶员。它可以在任何应用程序中为您自动完成文本，从Apple Notes到Gmail，并且还可以使用来自您最近使用的应用程序的上下文，使用GPT-4进行更长的上下文生成。

Omnipilot是一款在macOS上工作的AI副驾驶员。它可以在任何应用程序中为您自动完成文本，从Apple Notes到Gmail，并且还可以使用来自您最近使用的应用程序的上下文，使用GPT-4进行更长的上下文生成。它的主要优点是提高工作效率，减少写作和输入的时间和努力。Omnipilot的定位是为用户提供更快速、智能的文本输入和生成体验。

ChatGPT增强工具-添加上下文菜单、键盘快捷键、历史记录等

AI Anywhere for ChatGPT是一个增强工具，为ChatGPT提供便利功能，包括自定义上下文菜单选项（摘要/解释/翻译所选文本）、点击工具栏图标快速访问、在Google上重新搜索ChatGPT、按上/下箭头访问先前的查询等。支持独立开发者和Addons官方朋友！

AI助手：代码片段管理器+工作流上下文工具

Pieces for Developers是一款AI助手，提供代码片段管理和工作流上下文工具。它可以保存、增强、生成、搜索和重用开发者材料，帮助开发者提高生产力。它的特点包括保存和搜索代码片段、自动生成标题和描述、提取屏幕截图中的代码、离线使用、智能协助等。Pieces for Developers还与多种开发工具和平台进行了集成，如Visual Studio Code、IntelliJ IDEA、Chrome浏览器等。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

AI聊天客户端，实现模型上下文协议（MCP）

ChatMCP是一个AI聊天客户端，它实现了模型上下文协议（MCP），允许用户使用任何大型语言模型（LLM）与MCP服务器进行交互。这个项目的主要优点在于它的灵活性和开放性，用户可以根据自己的需求选择不同的LLM模型进行聊天，并且可以通过MCP服务器市场安装不同的服务器来与不同的数据进行交互。ChatMCP提供了一个用户友好的界面，支持自动安装MCP服务器、SSE MCP传输支持、自动选择MCP服务器、聊天历史记录等功能。