产品库

高效能长文本处理AI模型

Jamba 1.5 Open Model Family是AI21公司推出的最新AI模型系列，基于SSM-Transformer架构，具有超长文本处理能力、高速度和高质量，是市场上同类产品中表现最优的。这些模型专为企业级应用设计，考虑了资源效率、质量、速度和解决关键任务的能力。

高效能的长文本处理AI模型

AI21-Jamba-1.5-Mini是AI21实验室开发的最新一代混合SSM-Transformer指令跟随基础模型。这款模型以其卓越的长文本处理能力、速度和质量在市场上脱颖而出，相较于同类大小的领先模型，推理速度提升高达2.5倍。Jamba 1.5 Mini和Jamba 1.5 Large专为商业用例和功能进行了优化，如函数调用、结构化输出（JSON）和基础生成。

高效处理长文本的双向编码器模型

ModernBERT-base是一个现代化的双向编码器Transformer模型，预训练于2万亿英文和代码数据，原生支持长达8192个token的上下文。该模型采用了Rotary Positional Embeddings (RoPE)、Local-Global Alternating Attention和Unpadding等最新架构改进，使其在长文本处理任务中表现出色。ModernBERT-base适用于需要处理长文档的任务，如检索、分类和大型语料库中的语义搜索。模型训练数据主要为英文和代码，因此可能在其他语言上的表现会有所降低。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

前沿级别的AI模型，提供顶级的指令遵循和长文本处理能力。

EXAONE 3.5是LG AI Research发布的一系列人工智能模型，这些模型以其卓越的性能和成本效益而著称。它们在模型训练效率、去污染处理、长文本理解和指令遵循能力方面表现出色。EXAONE 3.5模型的开发遵循了LG的AI伦理原则，进行了AI伦理影响评估，以确保模型的负责任使用。这些模型的发布旨在推动AI研究和生态系统的发展，并为AI创新奠定基础。

Gemini 2.0 Flash-Lite 是高效的语言模型，专为长文本处理和多种应用场景优化。

Gemini 2.0 Flash-Lite 是 Google 推出的高效语言模型，专为长文本处理和复杂任务优化。它在推理、多模态、数学和事实性基准测试中表现出色，具备简化的价格策略，使得百万级上下文窗口更加经济实惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面开放，适合企业级生产使用。

AI21推出的Jamba 1.6模型，专为企业私有部署设计，具备卓越的长文本处理能力。

Jamba 1.6 是 AI21 推出的最新语言模型，专为企业私有部署而设计。它在长文本处理方面表现出色，能够处理长达 256K 的上下文窗口，采用混合 SSM-Transformer 架构，可高效准确地处理长文本问答任务。该模型在质量上超越了 Mistral、Meta 和 Cohere 等同类模型，同时支持灵活的部署方式，包括在本地或 VPC 中私有部署，确保数据安全。它为企业提供了一种无需在数据安全和模型质量之间妥协的解决方案，适用于需要处理大量数据和长文本的场景，如研发、法律和金融分析等。目前，Jamba 1.6 已在多个企业中得到应用，如 Fnac 使用其进行数据分类，Educa Edtech 利用其构建个性化聊天机器人等。

高效处理长文本的先进语言模型

Qwen2.5-Turbo是阿里巴巴开发团队推出的一款能够处理超长文本的语言模型，它在Qwen2.5的基础上进行了优化，支持长达1M个token的上下文，相当于约100万英文单词或150万中文字符。该模型在1M-token Passkey Retrieval任务中实现了100%的准确率，并在RULER长文本评估基准测试中得分93.1，超越了GPT-4和GLM4-9B-1M。Qwen2.5-Turbo不仅在长文本处理上表现出色，还保持了短文本处理的高性能，且成本效益高，每1M个token的处理成本仅为0.3元。

AI21 Jamba Large 1.6 是一款强大的混合 SSM-Transformer 架构基础模型，擅长长文本处理和高效推理。

AI21-Jamba-Large-1.6 是由 AI21 Labs 开发的混合 SSM-Transformer 架构基础模型，专为长文本处理和高效推理而设计。该模型在长文本处理、推理速度和质量方面表现出色，支持多种语言，并具备强大的指令跟随能力。它适用于需要处理大量文本数据的企业级应用，如金融分析、内容生成等。该模型采用 Jamba Open Model License 授权，允许在许可条款下进行研究和商业使用。

256M参数的医学领域语言模型，用于医学文本处理等任务

SmolDocling-256M-preview是由ds4sd推出的一个具有256M参数的语言模型，专注于医学领域。其重要性在于为医学文本处理、医学知识提取等任务提供了有效的工具。在医学研究和临床实践中，大量的文本数据需要进行分析和处理，该模型能够理解和处理医学专业语言。主要优点包括在医学领域有较好的性能表现，能够处理多种医学相关的文本任务，如疾病诊断辅助、医学文献摘要等。该模型的背景是随着医学数据的增长，对处理医学文本的技术需求日益增加。其定位是为医学领域的研究人员、医生、开发者等提供语言处理能力支持，目前未提及价格相关信息。

国际领先的语言理解与长文本处理大模型。

GLM-4-Plus是智谱推出的一款基座大模型，它在语言理解、指令遵循和长文本处理等方面性能得到全面提升，保持了国际领先水平。该模型的推出，不仅代表了中国在大模型领域的创新和突破，还为开发者和企业提供了强大的语言处理能力，进一步推动了人工智能技术的发展和应用。

MoBA 是一种用于长文本上下文的混合块注意力机制，旨在提升大语言模型的效率。

MoBA（Mixture of Block Attention）是一种创新的注意力机制，专为长文本上下文的大语言模型设计。它通过将上下文划分为块，并让每个查询令牌学习关注最相关的块，从而实现高效的长序列处理。MoBA 的主要优点是能够在全注意力和稀疏注意力之间无缝切换，既保证了性能，又提高了计算效率。该技术适用于需要处理长文本的任务，如文档分析、代码生成等，能够显著降低计算成本，同时保持模型的高性能表现。MoBA 的开源实现为研究人员和开发者提供了强大的工具，推动了大语言模型在长文本处理领域的应用。

专注长文本、多语言、垂直化

达观 “曹植” 大模型是专注于长文本、多语言、垂直化发展的国产大语言模型。具有自动化写作、翻译、专业性报告写作能力，支持多语言应用和垂直行业定制。可提供高质量文案撰写服务，广泛适用于各行业，是解决企业实际问题的智能工具。

QwQ-32B 是一款强大的推理模型，专为复杂问题解决和文本生成设计，性能卓越。

QwQ-32B 是 Qwen 系列的推理模型，专注于复杂问题的思考和推理能力。它在下游任务中表现出色，尤其是在解决难题方面。该模型基于 Qwen2.5 架构，经过预训练和强化学习优化，具有 325 亿参数，支持 131072 个完整上下文长度的处理能力。其主要优点包括强大的推理能力、高效的长文本处理能力和灵活的部署选项。该模型适用于需要深度思考和复杂推理的场景，如学术研究、编程辅助和创意写作等。

一款由Gradient AI团队开发的高性能语言模型，支持长文本生成和对话。

Llama-3 70B Instruct Gradient 1048k是一款由Gradient AI团队开发的先进语言模型，它通过扩展上下文长度至超过1048K，展示了SOTA（State of the Art）语言模型在经过适当调整后能够学习处理长文本的能力。该模型使用了NTK-aware插值和RingAttention技术，以及EasyContext Blockwise RingAttention库，以高效地在高性能计算集群上进行训练。它在商业和研究用途中具有广泛的应用潜力，尤其是在需要长文本处理和生成的场景中。

用AI处理文本

Plus on Setapp是一款AI助手应用，可以帮助您撰写、翻译、总结和解释文本。它可以在任何应用程序中选择文本，并通过简单的快捷键将其发送给AI助手，让它帮您改进、校对、总结、解释或翻译文本。此外，您还可以自定义提示来完成特定任务。Plus on Setapp是Setapp订阅服务中的一部分，订阅费用为9.99美元/月。

业界首个llama3中文指令微调模型，支持长文本输入，实现高质量中文问答。

Unichat-llama3-Chinese是中国联通AI创新中心发布的业界首个基于Meta Llama 3模型的中文指令微调模型。该模型通过增加中文数据进行训练，实现了高质量的中文问答功能，支持长达28K的上下文输入，并计划发布支持长度64K的版本。模型的微调指令数据经过人工筛查，确保了数据的高质量。此外，该模型还计划陆续发布700亿参数的中文微调版本，包括长文本版本和加入中文二次预训练的版本。

深入理解Transformer模型的可视化工具

Transformer Explainer是一个致力于帮助用户深入理解Transformer模型的在线可视化工具。它通过图形化的方式展示了Transformer模型的各个组件，包括自注意力机制、前馈网络等，让用户能够直观地看到数据在模型中的流动和处理过程。该工具对于教育和研究领域具有重要意义，可以帮助学生和研究人员更好地理解自然语言处理领域的先进技术。

7B参数的文本图像理解与合成模型

InternLM-XComposer2.5是一款专注于文本图像理解与合成应用的大型语言模型，具有7B参数的后端支持，能够处理长达96K的长文本上下文，适合需要广泛输入输出的复杂任务。

首个多模态 Mistral 模型，支持图像和文本的混合任务处理。

Pixtral 12B 是 Mistral AI 团队开发的一款多模态 AI 模型，它能够理解自然图像和文档，具备出色的多模态任务处理能力，同时在文本基准测试中也保持了最先进的性能。该模型支持多种图像尺寸和宽高比，能够在长上下文窗口中处理任意数量的图像，是 Mistral Nemo 12B 的升级版，专为多模态推理而设计，不牺牲关键文本处理能力。

GPT-4.1 是一款在编程、指令跟随和长文本理解方面有显著提升的模型。

GPT-4.1 是一系列新模型，提供了显著的性能提升，特别是在编码、指令跟随和处理长文本上下文方面。它的上下文窗口扩大到 100 万标记，并且在真实世界的应用中表现出色，适合开发者创建更高效的应用程序。此模型的价格相对较低，且具有快速响应能力，使其在开发和执行复杂任务时更加高效。

70亿参数的超长上下文对话模型

InternLM2.5-7B-Chat-1M 是一个开源的70亿参数的对话模型，具有卓越的推理能力，在数学推理方面超越了同量级模型。该模型支持1M超长上下文窗口，能够处理长文本任务，如LongBench等。此外，它还具备强大的工具调用能力，能够从上百个网页搜集信息进行分析推理。

长文本问答增强型检索生成模型

LongRAG是一个基于大型语言模型（LLM）的双视角、鲁棒的检索增强型生成系统范式，旨在增强对复杂长文本知识的理解和检索能力。该模型特别适用于长文本问答（LCQA），能够处理全局信息和事实细节。产品背景信息显示，LongRAG通过结合检索和生成技术，提升了对长文本问答任务的性能，特别是在需要多跳推理的场景中。该模型是开源的，可以免费使用，主要面向研究者和开发者。

新一代多语言预训练模型，支持长文本和代码执行。

GLM-4-9B-Chat是智谱AI推出的新一代预训练模型GLM-4系列中的开源版本，具备多轮对话、网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。支持包括日语、韩语、德语在内的26种语言，并且推出了支持1M上下文长度的模型。

基于 Transformer 的图像识别模型

Google Vision Transformer 是一款基于 Transformer 编码器的图像识别模型，使用大规模图像数据进行预训练，可用于图像分类等任务。该模型在 ImageNet-21k 数据集上进行了预训练，并在 ImageNet 数据集上进行了微调，具备良好的图像特征提取能力。该模型通过将图像切分为固定大小的图像块，并线性嵌入这些图像块来处理图像数据。同时，模型在输入序列前添加了位置编码，以便在 Transformer 编码器中处理序列数据。用户可以通过在预训练的编码器之上添加线性层进行图像分类等任务。Google Vision Transformer 的优势在于其强大的图像特征学习能力和广泛的适用性。该模型免费提供使用。

扩展Transformer模型处理无限长输入

Google开发的“Infini-attention”技术旨在扩展基于Transformer的大语言模型以处理无限长的输入，通过压缩记忆机制实现无限长输入处理，并在多个长序列任务上取得优异表现。技术方法包括压缩记忆机制、局部与长期注意力的结合和流式处理能力等。实验结果显示在长上下文语言建模、密钥上下文块检索和书籍摘要任务上的性能优势。

多模态大型模型，处理文本、图像和视频数据

Valley-Eagle-7B是由字节跳动开发的多模态大型模型，旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器，并引入了VisionEncoder，以增强模型在极端场景下的性能。

多模态原生Mixture-of-Experts模型

Aria-Base-64K是Aria系列的基础模型之一，专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成，经过33B个token（21B多模态，12B语言，69%为长文本）的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调，即使在资源有限的情况下，也可以通过短指令调优数据集进行后训练，并转移到长文本问答场景。该模型能够理解多达250张高分辨率图像或多达500张中等分辨率图像，并在语言和多模态场景中保持强大的基础性能。

增强文本与视觉任务处理能力的开源模型。

Mistral-Small-3.1-24B-Base-2503 是一款具有 240 亿参数的先进开源模型，支持多语言和长上下文处理，适用于文本与视觉任务。它是 Mistral Small 3.1 的基础模型，具有较强的多模态能力，适合企业需求。

一款由Gradient AI团队开发的高性能文本生成模型。

Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。