Qwen2.5-Coder系列的1.5B参数代码生成模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5,该模型在训练中使用了5.5万亿的源代码、文本代码关联、合成数据等,使其成为当前开源代码语言模型中的佼佼者。该模型不仅在编程能力上有所增强,还保持了在数学和通用能力方面的优势。
Qwen2.5-Coder系列中的3B参数量指令调优模型
Qwen2.5-Coder-3B-Instruct-GPTQ-Int8是Qwen2.5-Coder系列中的一种大型语言模型,专门针对代码生成、代码推理和代码修复进行了优化。该模型基于Qwen2.5,训练数据包括源代码、文本代码关联、合成数据等,达到5.5万亿个训练令牌。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型,其编码能力与GPT-4o相匹配。该模型还为现实世界中的应用提供了更全面的基础,如代码代理,不仅增强了编码能力,还保持了在数学和通用能力方面的优势。
先进的混合SSM-Transformer指令遵循基础模型
AI21 Jamba 1.5系列模型是市场上最强大的长上下文模型之一,提供比同类领先模型快2.5倍的推理速度。这些模型展示了卓越的长上下文处理能力、速度和质量,是首次成功将非Transformer模型扩展到市场领先模型的质量和强度。
高性能多模态AI模型
Gemini Pro是DeepMind推出的一款高性能多模态AI模型,专为广泛的任务设计,具有高达两百万token的长上下文窗口,能够处理大规模文档、代码、音频和视频等。它在多个基准测试中表现出色,包括代码生成、数学问题解决和多语言翻译等。
从语言到视觉的长上下文转换模型
LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试,并且可以通过Hugging Face平台进行快速启动和使用。
高效无限上下文语言模型的官方实现
Samba是一个简单而强大的混合模型,具有无限的上下文长度。它的架构非常简单:Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token,主要基准测试(例如MMLU、GSM8K和HumanEval)上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力,同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务(如长上下文摘要)上表现出色。
Qwen1.5 - 开源的基础和聊天模型,支持多种规模,优化开发者体验。
Qwen1.5是Qwen系列的下一个版本,提供了基础和聊天模型的开源版本,覆盖了0.5B到72B的多个规模。支持多语言,长上下文,对齐人类偏好,并在基本能力、聊天性能、多语言理解等方面取得显著进展。
© 2024 AIbase 备案号:闽ICP备08105208号-14