产品库

腾讯QQ多媒体研究团队开发的轻量级灵活视频多语言模型

Video-CCAM 是腾讯QQ多媒体研究团队开发的一系列灵活的视频多语言模型（Video-MLLM），致力于提升视频-语言理解能力，特别适用于短视频和长视频的分析。它通过因果交叉注意力掩码（Causal Cross-Attention Masks）来实现这一目标。Video-CCAM 在多个基准测试中表现优异，特别是在 MVBench、VideoVista 和 MLVU 上。模型的源代码已经重写，以简化部署过程。

个人AI助手，帮助管理注意力和专注

Monkai是您的个人AI助手，帮助您管理注意力、避免分心，并提供正念引导。它能帮助您远离Facebook、Instagram等分散注意力和不健康的网站，帮助您保持专注。它通过时间逐渐减少您在这些网站上的使用。Monkai采用人工智能（AI）技术，能够理解和引导您的数字习惯。您的隐私是我们的首要任务！我们使用先进的设备上联合学习技术，确保您的原始信息永远不会被存储或共享。

高效能混合专家注意力路由语言模型

Yuan2.0-M32是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。提出了一种新的路由网络——注意力路由，用于更高效的专家选择，提高了3.8%的准确性。该模型从零开始训练，使用了2000B个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。在编码、数学和各种专业领域表现出竞争力，仅使用3.7B个活跃参数，每个token的前向计算量仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。在MATH和ARC-Challenge基准测试中超越了Llama3-70B，准确率分别达到了55.9%和95.8%。

快速且内存高效的精确注意力机制

FlashAttention是一个开源的注意力机制库，专为深度学习中的Transformer模型设计，以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算，减少了内存占用，同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配，而FlashAttention-3针对Hopper GPU进行了优化，支持FP16和BF16数据类型。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

首个无需注意力机制的7B大规模模型

Falcon Mamba是由阿布扎比技术创新研究所（TII）发布的首个无需注意力机制的7B大规模模型。该模型在处理大型序列时，不受序列长度增加导致的计算和存储成本增加的限制，同时保持了与现有最先进模型相当的性能。

快速且内存高效的精确注意力机制

FlexHeadFA 是一个基于 FlashAttention 的改进模型，专注于提供快速且内存高效的精确注意力机制。它支持灵活的头维度配置，能够显著提升大语言模型的性能和效率。该模型的主要优点包括高效利用 GPU 资源、支持多种头维度配置以及与 FlashAttention-2 和 FlashAttention-3 兼容。它适用于需要高效计算和内存优化的深度学习场景，尤其在处理长序列数据时表现出色。

多语言模型问答助手

Snack AI是一款多语言模型问答助手，可以同时向多个语言模型提问并获取答案。它能够帮助用户快速获取准确的信息，并提供丰富的功能和使用场景。Snack AI的定价灵活多样，适合个人用户和企业用户的不同需求。

最新的视觉语言模型，支持多语言和多模态理解

Qwen2-VL-72B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最新的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，并可以集成到手机、机器人等设备中，进行基于视觉环境和文本指令的自动操作。除了英语和中文，Qwen2-VL现在还支持图像中不同语言文本的理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

个性化图像生成的注意力混合架构

Mixture-of-Attention (MoA) 是一种用于个性化文本到图像扩散模型的新架构，它通过两个注意力路径——个性化分支和非个性化先验分支——来分配生成工作负载。MoA 设计用于保留原始模型的先验，同时通过个性化分支最小干预生成过程，该分支学习将主题嵌入到先验分支生成的布局和上下文中。MoA 通过一种新颖的路由机制管理每层像素在这些分支之间的分布，以优化个性化和通用内容创建的混合。训练完成后，MoA 能够创建高质量、个性化的图像，展示多个主题的组成和互动，与原始模型生成的一样多样化。MoA 增强了模型的先有能力与新增强的个性化干预之间的区别，从而提供了以前无法实现的更解耦的主题上下文控制。

通过 AI 冥想提高注意力和减轻压力

Bliss Brain 是一款利用人工智能技术创建定制冥想的应用。它可以根据你的需求生成个性化的冥想内容，帮助你提高注意力、减轻压力，并改善睡眠质量。你可以选择不同的目标，包括减压、缓解焦虑、增强注意力或改善睡眠质量。此外，你还可以选择不同的声音和背景音乐，以获得更丰富的冥想体验。Bliss Brain 为你提供 5、10 或 15 分钟的冥想时长，让冥想融入你的日常生活。

MoBA 是一种用于长文本上下文的混合块注意力机制，旨在提升大语言模型的效率。

MoBA（Mixture of Block Attention）是一种创新的注意力机制，专为长文本上下文的大语言模型设计。它通过将上下文划分为块，并让每个查询令牌学习关注最相关的块，从而实现高效的长序列处理。MoBA 的主要优点是能够在全注意力和稀疏注意力之间无缝切换，既保证了性能，又提高了计算效率。该技术适用于需要处理长文本的任务，如文档分析、代码生成等，能够显著降低计算成本，同时保持模型的高性能表现。MoBA 的开源实现为研究人员和开发者提供了强大的工具，推动了大语言模型在长文本处理领域的应用。

基于注意力机制的运动生成和无训练编辑模型

MotionCLR是一个基于注意力机制的运动扩散模型，专注于人类动作的生成和编辑。它通过自注意力和交叉注意力机制，分别模拟模态内和模态间的交互，实现对动作序列的精细控制和编辑。该模型的主要优点包括无需训练即可进行编辑，具有较好的解释性，能够通过操作注意力图来实现多种运动编辑方法，如动作的强调或减弱、就地替换动作、基于示例的动作生成等。MotionCLR的研究背景是解决以往运动扩散模型在细粒度编辑能力上的不足，通过清晰的文本-动作对应关系，提高动作编辑的灵活性和精确性。

多语言对话生成模型

Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种规模的模型，专为多语言对话使用案例优化，性能优于许多开源和闭源聊天模型。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

大型多语言预训练语言模型

Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型，包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构，使用监督式微调（SFT）和强化学习与人类反馈（RLHF）进行调优，以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色，并在行业基准测试中超越了许多现有的开源和封闭聊天模型。

多语言AI模型，支持101种语言。

Aya是由Cohere For AI领导的全球性倡议，涉及119个国家的3000多名独立研究人员。Aya是一个尖端模型和数据集，通过开放科学推进101种语言的多语言AI。Aya模型能够理解并按照101种语言的指令执行任务，是迄今为止最大的开放科学机器学习项目之一，重新定义了研究领域，通过与全球独立研究人员合作，实现了完全开源的数据集和模型。

专注长文本、多语言、垂直化

达观 “曹植” 大模型是专注于长文本、多语言、垂直化发展的国产大语言模型。具有自动化写作、翻译、专业性报告写作能力，支持多语言应用和垂直行业定制。可提供高质量文案撰写服务，广泛适用于各行业，是解决企业实际问题的智能工具。

视频配音应用，支持多语言配音

ElevenLabs Video Dubbing Application 是一个用户友好的界面，用于使用 ElevenLabs API 配音视频。该应用允许用户上传视频文件或提供视频网址（来自 YouTube、TikTok、Twitter 或 Vimeo 等平台），并将其配音成各种语言。应用使用 Gradio 提供易于使用的 Web 界面。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

70亿参数的多语言大型语言模型

Llama-3.3-70B-Instruct是由Meta开发的一个70亿参数的大型语言模型，专门针对多语言对话场景进行了优化。该模型使用优化的Transformer架构，并通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)来提高其有用性和安全性。它支持多种语言，并能够处理文本生成任务，是自然语言处理领域的一项重要技术。

具有注意力下沉的高效流媒体语言模型

StreamingLLM是一种高效的语言模型，能够处理无限长度的输入，而不会牺牲效率和性能。它通过保留最近的令牌和注意力池，丢弃中间令牌，从而使模型能够从最近的令牌生成连贯的文本，而无需缓存重置。StreamingLLM的优势在于能够在不需要刷新缓存的情况下，从最近的对话中生成响应，而不需要依赖过去的数据。

多语言大型语言模型，优化对话场景。

Meta Llama 3.1是一系列多语言的大型预训练和指令调整的生成模型，包含8B、70B和405B大小的版本。这些模型专为多语言对话用例而优化，并在常见行业基准测试中表现优于许多开源和闭源聊天模型。模型使用优化的transformer架构，并通过监督式微调(SFT)和强化学习与人类反馈(RLHF)进行调整，以符合人类对有用性和安全性的偏好。

AI视频多语言配音服务

Speax AI提供快速、准确的AI视频配音服务，支持29种以上语言的即时翻译和配音。它通过先进的AI技术确保声音同步和文化准确性，同时提供具有竞争力的价格。

多语言大型语言模型，支持23种语言

Aya Expanse是一个具有高级多语言能力的开放权重研究模型。它专注于将高性能的预训练模型与Cohere For AI一年的研究成果相结合，包括数据套利、多语言偏好训练、安全调整和模型合并。该模型是一个强大的多语言大型语言模型，服务于23种语言，包括阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

多语言大型语言模型

Llama-3.2-1B是由Meta公司发布的多语言大型语言模型，专注于文本生成任务。该模型使用优化的Transformer架构，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）进行调优，以符合人类对有用性和安全性的偏好。该模型支持8种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语，并在多种对话使用案例中表现优异。

多语言指令微调的大型语言模型

Aya-23-8B是由Cohere For AI开发的指令微调模型，具有23种语言的强大多语言能力，专注于将高性能预训练模型与Aya Collection结合，为研究人员提供高性能的多语言模型。

Aya Vision 是 Cohere 推出的多语言多模态视觉模型，旨在提升多语言场景下的视觉和文本理解能力。

Aya Vision 是 Cohere For AI 团队开发的先进视觉模型，专注于多语言多模态任务，支持 23 种语言。该模型通过创新的算法突破，如合成标注、多语言数据扩展和多模态模型融合，显著提升了视觉和文本任务的性能。其主要优点包括高效性（在计算资源有限的情况下仍能表现出色）和广泛的多语言支持。Aya Vision 的发布旨在推动多语言多模态研究的前沿发展，并为全球研究社区提供技术支持。

1T开源多语言大型语言模型

Tele-FLM-1T是一个开源的1T多语言大型语言模型，基于解码器仅Transformer架构，经过约2T tokens的训练。该模型在规模上展现出卓越的性能，有时甚至超越了更大的模型。除了分享模型权重外，还提供了核心设计、工程实践和训练细节，期待对学术和工业社区都有所裨益。