产品库

MoBA 是一种用于长文本上下文的混合块注意力机制，旨在提升大语言模型的效率。

MoBA（Mixture of Block Attention）是一种创新的注意力机制，专为长文本上下文的大语言模型设计。它通过将上下文划分为块，并让每个查询令牌学习关注最相关的块，从而实现高效的长序列处理。MoBA 的主要优点是能够在全注意力和稀疏注意力之间无缝切换，既保证了性能，又提高了计算效率。该技术适用于需要处理长文本的任务，如文档分析、代码生成等，能够显著降低计算成本，同时保持模型的高性能表现。MoBA 的开源实现为研究人员和开发者提供了强大的工具，推动了大语言模型在长文本处理领域的应用。

高效能长文本处理AI模型

Jamba 1.5 Open Model Family是AI21公司推出的最新AI模型系列，基于SSM-Transformer架构，具有超长文本处理能力、高速度和高质量，是市场上同类产品中表现最优的。这些模型专为企业级应用设计，考虑了资源效率、质量、速度和解决关键任务的能力。

高效能的长文本处理AI模型

AI21-Jamba-1.5-Mini是AI21实验室开发的最新一代混合SSM-Transformer指令跟随基础模型。这款模型以其卓越的长文本处理能力、速度和质量在市场上脱颖而出，相较于同类大小的领先模型，推理速度提升高达2.5倍。Jamba 1.5 Mini和Jamba 1.5 Large专为商业用例和功能进行了优化，如函数调用、结构化输出（JSON）和基础生成。

快速且内存高效的精确注意力机制

FlashAttention是一个开源的注意力机制库，专为深度学习中的Transformer模型设计，以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算，减少了内存占用，同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配，而FlashAttention-3针对Hopper GPU进行了优化，支持FP16和BF16数据类型。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

快速且内存高效的精确注意力机制

FlexHeadFA 是一个基于 FlashAttention 的改进模型，专注于提供快速且内存高效的精确注意力机制。它支持灵活的头维度配置，能够显著提升大语言模型的性能和效率。该模型的主要优点包括高效利用 GPU 资源、支持多种头维度配置以及与 FlashAttention-2 和 FlashAttention-3 兼容。它适用于需要高效计算和内存优化的深度学习场景，尤其在处理长序列数据时表现出色。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

国际领先的语言理解与长文本处理大模型。

GLM-4-Plus是智谱推出的一款基座大模型，它在语言理解、指令遵循和长文本处理等方面性能得到全面提升，保持了国际领先水平。该模型的推出，不仅代表了中国在大模型领域的创新和突破，还为开发者和企业提供了强大的语言处理能力，进一步推动了人工智能技术的发展和应用。

专注长文本、多语言、垂直化

达观 “曹植” 大模型是专注于长文本、多语言、垂直化发展的国产大语言模型。具有自动化写作、翻译、专业性报告写作能力，支持多语言应用和垂直行业定制。可提供高质量文案撰写服务，广泛适用于各行业，是解决企业实际问题的智能工具。

Gemini 2.0 Flash-Lite 是高效的语言模型，专为长文本处理和多种应用场景优化。

Gemini 2.0 Flash-Lite 是 Google 推出的高效语言模型，专为长文本处理和复杂任务优化。它在推理、多模态、数学和事实性基准测试中表现出色，具备简化的价格策略，使得百万级上下文窗口更加经济实惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面开放，适合企业级生产使用。

前沿级别的AI模型，提供顶级的指令遵循和长文本处理能力。

EXAONE 3.5是LG AI Research发布的一系列人工智能模型，这些模型以其卓越的性能和成本效益而著称。它们在模型训练效率、去污染处理、长文本理解和指令遵循能力方面表现出色。EXAONE 3.5模型的开发遵循了LG的AI伦理原则，进行了AI伦理影响评估，以确保模型的负责任使用。这些模型的发布旨在推动AI研究和生态系统的发展，并为AI创新奠定基础。

AI21推出的Jamba 1.6模型，专为企业私有部署设计，具备卓越的长文本处理能力。

Jamba 1.6 是 AI21 推出的最新语言模型，专为企业私有部署而设计。它在长文本处理方面表现出色，能够处理长达 256K 的上下文窗口，采用混合 SSM-Transformer 架构，可高效准确地处理长文本问答任务。该模型在质量上超越了 Mistral、Meta 和 Cohere 等同类模型，同时支持灵活的部署方式，包括在本地或 VPC 中私有部署，确保数据安全。它为企业提供了一种无需在数据安全和模型质量之间妥协的解决方案，适用于需要处理大量数据和长文本的场景，如研发、法律和金融分析等。目前，Jamba 1.6 已在多个企业中得到应用，如 Fnac 使用其进行数据分类，Educa Edtech 利用其构建个性化聊天机器人等。

高效处理长文本的先进语言模型

Qwen2.5-Turbo是阿里巴巴开发团队推出的一款能够处理超长文本的语言模型，它在Qwen2.5的基础上进行了优化，支持长达1M个token的上下文，相当于约100万英文单词或150万中文字符。该模型在1M-token Passkey Retrieval任务中实现了100%的准确率，并在RULER长文本评估基准测试中得分93.1，超越了GPT-4和GLM4-9B-1M。Qwen2.5-Turbo不仅在长文本处理上表现出色，还保持了短文本处理的高性能，且成本效益高，每1M个token的处理成本仅为0.3元。

基于注意力机制的运动生成和无训练编辑模型

MotionCLR是一个基于注意力机制的运动扩散模型，专注于人类动作的生成和编辑。它通过自注意力和交叉注意力机制，分别模拟模态内和模态间的交互，实现对动作序列的精细控制和编辑。该模型的主要优点包括无需训练即可进行编辑，具有较好的解释性，能够通过操作注意力图来实现多种运动编辑方法，如动作的强调或减弱、就地替换动作、基于示例的动作生成等。MotionCLR的研究背景是解决以往运动扩散模型在细粒度编辑能力上的不足，通过清晰的文本-动作对应关系，提高动作编辑的灵活性和精确性。

首个无需注意力机制的7B大规模模型

Falcon Mamba是由阿布扎比技术创新研究所（TII）发布的首个无需注意力机制的7B大规模模型。该模型在处理大型序列时，不受序列长度增加导致的计算和存储成本增加的限制，同时保持了与现有最先进模型相当的性能。

个性化图像生成的注意力混合架构

Mixture-of-Attention (MoA) 是一种用于个性化文本到图像扩散模型的新架构，它通过两个注意力路径——个性化分支和非个性化先验分支——来分配生成工作负载。MoA 设计用于保留原始模型的先验，同时通过个性化分支最小干预生成过程，该分支学习将主题嵌入到先验分支生成的布局和上下文中。MoA 通过一种新颖的路由机制管理每层像素在这些分支之间的分布，以优化个性化和通用内容创建的混合。训练完成后，MoA 能够创建高质量、个性化的图像，展示多个主题的组成和互动，与原始模型生成的一样多样化。MoA 增强了模型的先有能力与新增强的个性化干预之间的区别，从而提供了以前无法实现的更解耦的主题上下文控制。

高效处理长文本的双向编码器模型

ModernBERT-base是一个现代化的双向编码器Transformer模型，预训练于2万亿英文和代码数据，原生支持长达8192个token的上下文。该模型采用了Rotary Positional Embeddings (RoPE)、Local-Global Alternating Attention和Unpadding等最新架构改进，使其在长文本处理任务中表现出色。ModernBERT-base适用于需要处理长文档的任务，如检索、分类和大型语料库中的语义搜索。模型训练数据主要为英文和代码，因此可能在其他语言上的表现会有所降低。

256M参数的医学领域语言模型，用于医学文本处理等任务

SmolDocling-256M-preview是由ds4sd推出的一个具有256M参数的语言模型，专注于医学领域。其重要性在于为医学文本处理、医学知识提取等任务提供了有效的工具。在医学研究和临床实践中，大量的文本数据需要进行分析和处理，该模型能够理解和处理医学专业语言。主要优点包括在医学领域有较好的性能表现，能够处理多种医学相关的文本任务，如疾病诊断辅助、医学文献摘要等。该模型的背景是随着医学数据的增长，对处理医学文本的技术需求日益增加。其定位是为医学领域的研究人员、医生、开发者等提供语言处理能力支持，目前未提及价格相关信息。

个人AI助手，帮助管理注意力和专注

Monkai是您的个人AI助手，帮助您管理注意力、避免分心，并提供正念引导。它能帮助您远离Facebook、Instagram等分散注意力和不健康的网站，帮助您保持专注。它通过时间逐渐减少您在这些网站上的使用。Monkai采用人工智能（AI）技术，能够理解和引导您的数字习惯。您的隐私是我们的首要任务！我们使用先进的设备上联合学习技术，确保您的原始信息永远不会被存储或共享。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

高效能混合专家注意力路由语言模型

Yuan2.0-M32是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。提出了一种新的路由网络——注意力路由，用于更高效的专家选择，提高了3.8%的准确性。该模型从零开始训练，使用了2000B个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。在编码、数学和各种专业领域表现出竞争力，仅使用3.7B个活跃参数，每个token的前向计算量仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。在MATH和ARC-Challenge基准测试中超越了Llama3-70B，准确率分别达到了55.9%和95.8%。

AI21 Jamba Large 1.6 是一款强大的混合 SSM-Transformer 架构基础模型，擅长长文本处理和高效推理。

AI21-Jamba-Large-1.6 是由 AI21 Labs 开发的混合 SSM-Transformer 架构基础模型，专为长文本处理和高效推理而设计。该模型在长文本处理、推理速度和质量方面表现出色，支持多种语言，并具备强大的指令跟随能力。它适用于需要处理大量文本数据的企业级应用，如金融分析、内容生成等。该模型采用 Jamba Open Model License 授权，允许在许可条款下进行研究和商业使用。

万亿参数MoE文本大模型

abab 6.5系列包含两个模型：abab 6.5和abab 6.5s，均支持200k tokens的上下文长度。abab 6.5包含万亿参数，而abab 6.5s则更高效，能在1秒内处理近3万字的文本。它们在知识、推理、数学、编程、指令遵从等核心能力测试中表现出色，接近行业领先水平。

一款由Gradient AI团队开发的高性能语言模型，支持长文本生成和对话。

Llama-3 70B Instruct Gradient 1048k是一款由Gradient AI团队开发的先进语言模型，它通过扩展上下文长度至超过1048K，展示了SOTA（State of the Art）语言模型在经过适当调整后能够学习处理长文本的能力。该模型使用了NTK-aware插值和RingAttention技术，以及EasyContext Blockwise RingAttention库，以高效地在高性能计算集群上进行训练。它在商业和研究用途中具有广泛的应用潜力，尤其是在需要长文本处理和生成的场景中。

高效长序列大型语言模型推理技术

Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制，旨在提高基于Transformer的大型语言模型（LLM）在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度，同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容，无需额外训练或微调即可直接使用，并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用，进一步提升性能。

通过 AI 冥想提高注意力和减轻压力

Bliss Brain 是一款利用人工智能技术创建定制冥想的应用。它可以根据你的需求生成个性化的冥想内容，帮助你提高注意力、减轻压力，并改善睡眠质量。你可以选择不同的目标，包括减压、缓解焦虑、增强注意力或改善睡眠质量。此外，你还可以选择不同的声音和背景音乐，以获得更丰富的冥想体验。Bliss Brain 为你提供 5、10 或 15 分钟的冥想时长，让冥想融入你的日常生活。

具有注意力下沉的高效流媒体语言模型

StreamingLLM是一种高效的语言模型，能够处理无限长度的输入，而不会牺牲效率和性能。它通过保留最近的令牌和注意力池，丢弃中间令牌，从而使模型能够从最近的令牌生成连贯的文本，而无需缓存重置。StreamingLLM的优势在于能够在不需要刷新缓存的情况下，从最近的对话中生成响应，而不需要依赖过去的数据。

处理长文本的大型语言模型

LongLLaMA 是一个大型语言模型，能够处理长篇文本。它基于 OpenLLaMA，并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一个较小的 3B 基础模型（未经过指令调整），并在 Hugging Face 上提供了支持更长上下文的推断代码。我们的模型权重可以作为现有实现中 LLaMA 的替代品（适用于最多 2048 个标记的短上下文）。此外，我们还提供了评估结果和与原始 OpenLLaMA 模型的比较。

用AI处理文本

Plus on Setapp是一款AI助手应用，可以帮助您撰写、翻译、总结和解释文本。它可以在任何应用程序中选择文本，并通过简单的快捷键将其发送给AI助手，让它帮您改进、校对、总结、解释或翻译文本。此外，您还可以自定义提示来完成特定任务。Plus on Setapp是Setapp订阅服务中的一部分，订阅费用为9.99美元/月。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。