高效处理长文本的先进语言模型
Qwen2.5-Turbo是阿里巴巴开发团队推出的一款能够处理超长文本的语言模型,它在Qwen2.5的基础上进行了优化,支持长达1M个token的上下文,相当于约100万英文单词或150万中文字符。该模型在1M-token Passkey Retrieval任务中实现了100%的准确率,并在RULER长文本评估基准测试中得分93.1,超越了GPT-4和GLM4-9B-1M。Qwen2.5-Turbo不仅在长文本处理上表现出色,还保持了短文本处理的高性能,且成本效益高,每1M个token的处理成本仅为0.3元。
Qwen2.5-Coder系列中的3B参数指令调优模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专为代码生成、推理和修复而设计。该模型基于Qwen2.5,扩展了训练令牌至5.5万亿,包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前开源代码LLM中的佼佼者,其编码能力与GPT-4o相匹配。此模型为GPTQ-量化的4位指令调优3B参数Qwen2.5-Coder模型,具有因果语言模型、预训练和后训练阶段、transformers架构等特点。
开源代码生成语言模型
Qwen2.5-Coder-32B-Instruct-GPTQ-Int8是Qwen系列中针对代码生成优化的大型语言模型,拥有32亿参数,支持长文本处理,是当前开源代码生成领域最先进的模型之一。该模型基于Qwen2.5进行了进一步的训练和优化,不仅在代码生成、推理和修复方面有显著提升,而且在数学和通用能力上也保持了优势。模型采用GPTQ 8-bit量化技术,以减少模型大小并提高运行效率。
开源的32亿参数代码生成语言模型
Qwen2.5-Coder-32B-Instruct-GPTQ-Int4是基于Qwen2.5的代码生成大型语言模型,具有32.5亿参数量,支持长文本处理,最大支持128K tokens。该模型在代码生成、代码推理和代码修复方面有显著提升,是当前开源代码语言模型中的佼佼者。它不仅增强了编码能力,还保持了在数学和通用能力方面的优势。
Qwen2.5-Coder系列中参数最多的开源代码生成模型
Qwen2.5-Coder-32B是基于Qwen2.5的代码生成模型,拥有32亿参数,是目前开源代码语言模型中参数最多的模型之一。它在代码生成、代码推理和代码修复方面有显著提升,能够处理长达128K tokens的长文本,适用于代码代理等实际应用场景。该模型在数学和通用能力上也保持了优势,支持长文本处理,是开发者在进行代码开发时的强大助手。
高效能的指令式微调AI模型
Mistral-Small-Instruct-2409是由Mistral AI Team开发的一个具有22B参数的指令式微调AI模型,支持多种语言,并能够支持高达128k的序列长度。该模型特别适用于需要长文本处理和复杂指令理解的场景,如自然语言处理、机器学习等领域。
将网页HTML内容转换为清晰的Markdown格式。
Reader-LM是Jina AI开发的小型语言模型,旨在将网络中的原始、杂乱的HTML内容转换为清洁的Markdown格式。这些模型特别针对长文本处理进行了优化,支持多语言,并能够处理高达256K令牌的上下文长度。Reader-LM模型通过直接从HTML到Markdown的转换,减少了对正则表达式和启发式规则的依赖,提高了转换的准确性和效率。
高效能的长文本处理AI模型
AI21-Jamba-1.5-Mini是AI21实验室开发的最新一代混合SSM-Transformer指令跟随基础模型。这款模型以其卓越的长文本处理能力、速度和质量在市场上脱颖而出,相较于同类大小的领先模型,推理速度提升高达2.5倍。Jamba 1.5 Mini和Jamba 1.5 Large专为商业用例和功能进行了优化,如函数调用、结构化输出(JSON)和基础生成。
高效能长文本处理AI模型
Jamba 1.5 Open Model Family是AI21公司推出的最新AI模型系列,基于SSM-Transformer架构,具有超长文本处理能力、高速度和高质量,是市场上同类产品中表现最优的。这些模型专为企业级应用设计,考虑了资源效率、质量、速度和解决关键任务的能力。
7B参数的文本图像理解与合成模型
InternLM-XComposer2.5是一款专注于文本图像理解与合成应用的大型语言模型,具有7B参数的后端支持,能够处理长达96K的长文本上下文,适合需要广泛输入输出的复杂任务。
70亿参数的超长上下文对话模型
InternLM2.5-7B-Chat-1M 是一个开源的70亿参数的对话模型,具有卓越的推理能力,在数学推理方面超越了同量级模型。该模型支持1M超长上下文窗口,能够处理长文本任务,如LongBench等。此外,它还具备强大的工具调用能力,能够从上百个网页搜集信息进行分析推理。
70亿参数的高性能对话模型
InternLM2.5-7B-Chat是一个开源的7亿参数的中文对话模型,专为实用场景设计,具有卓越的推理能力,在数学推理方面超越了Llama3和Gemma2-9B等模型。支持从上百个网页搜集信息进行分析推理,具有强大的工具调用能力,支持1M超长上下文窗口,适合进行长文本处理和复杂任务的智能体构建。
新一代多语言预训练模型,性能卓越。
Qwen2是一系列经过预训练和指令调整的模型,支持多达27种语言,包括英语和中文。这些模型在多个基准测试中表现出色,特别是在编码和数学方面有显著提升。Qwen2模型的上下文长度支持高达128K个token,适用于处理长文本任务。此外,Qwen2-72B-Instruct模型在安全性方面与GPT-4相当,显著优于Mistral-8x22B模型。
新一代开源预训练模型,支持多轮对话和多语言。
GLM-4-9B-Chat-1M 是智谱 AI 推出的新一代预训练模型,属于 GLM-4 系列的开源版本。它在语义、数学、推理、代码和知识等多方面的数据集测评中展现出较高的性能。该模型不仅支持多轮对话,还具备网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。支持包括日语、韩语、德语在内的26种语言,并特别推出了支持1M上下文长度的模型版本,适合需要处理大量数据和多语言环境的开发者和研究人员使用。
新一代多语言预训练模型,支持长文本和代码执行。
GLM-4-9B-Chat是智谱AI推出的新一代预训练模型GLM-4系列中的开源版本,具备多轮对话、网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。支持包括日语、韩语、德语在内的26种语言,并且推出了支持1M上下文长度的模型。
Llama-3 70B模型的LoRA适配器,扩展上下文长度至超过524K。
Llama-3 70B Gradient 524K Adapter是一个基于Llama-3 70B模型的适配器,由Gradient AI Team开发,旨在通过LoRA技术扩展模型的上下文长度至524K,从而提升模型在处理长文本数据时的性能。该模型使用了先进的训练技术,包括NTK-aware插值和RingAttention库,以高效地在高性能计算集群上进行训练。
一款由Gradient AI团队开发的高性能语言模型,支持长文本生成和对话。
Llama-3 70B Instruct Gradient 1048k是一款由Gradient AI团队开发的先进语言模型,它通过扩展上下文长度至超过1048K,展示了SOTA(State of the Art)语言模型在经过适当调整后能够学习处理长文本的能力。该模型使用了NTK-aware插值和RingAttention技术,以及EasyContext Blockwise RingAttention库,以高效地在高性能计算集群上进行训练。它在商业和研究用途中具有广泛的应用潜力,尤其是在需要长文本处理和生成的场景中。
业界首个llama3中文指令微调模型,支持长文本输入,实现高质量中文问答。
Unichat-llama3-Chinese是中国联通AI创新中心发布的业界首个基于Meta Llama 3模型的中文指令微调模型。该模型通过增加中文数据进行训练,实现了高质量的中文问答功能,支持长达28K的上下文输入,并计划发布支持长度64K的版本。模型的微调指令数据经过人工筛查,确保了数据的高质量。此外,该模型还计划陆续发布700亿参数的中文微调版本,包括长文本版本和加入中文二次预训练的版本。
© 2024 AIbase 备案号:闽ICP备08105208号-14