需求人群:
"目标受众为需要在资源受限设备上部署高性能语言模型的研究人员和开发者,以及需要处理长上下文信息和多语言文本生成的应用开发者。EXAONE 3.5模型因其强大的性能和长上下文处理能力,特别适合于需要处理大量数据和复杂语言任务的场景。"
使用场景示例:
研究人员使用EXAONE 3.5模型进行长文本的语义理解和分析。
开发者利用EXAONE 3.5模型开发多语言对话系统。
企业使用EXAONE 3.5模型优化其客户服务自动化流程。
产品特色:
支持长达32K令牌的长上下文处理能力。
在真实世界用例和长上下文理解方面展现出最先进的性能。
与近期发布的类似大小模型相比,在通用领域保持竞争力。
提供多种精度的指令调优7.8B语言模型,包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等量化类型。
支持多种部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。
模型经过优化,适用于小或资源受限的设备。
提供预量化的EXAONE 3.5模型,使用AWQ和多种量化类型。
使用教程:
1. 安装llama.cpp,具体安装指南请参考llama.cpp的GitHub仓库。
2. 下载EXAONE 3.5模型的GGUF格式文件。
3. 使用huggingface-cli下载指定的EXAONE 3.5模型文件,例如:'huggingface-cli download LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct-GGUF --include "EXAONE-3.5-7.8B-Instruct-BF16*.gguf" --local-dir .'
4. 使用llama-cli运行模型进行对话模式的推理,例如:'llama-cli -cnv -m ./EXAONE-3.5-7.8B-Instruct-BF16.gguf -p "You are EXAONE model from LG AI Research, a helpful assistant."'
浏览量:6
最新流量情况
月访问量
26103.68k
平均访问时长
00:04:43
每次访问页数
5.49
跳出率
43.69%
流量来源
直接访问
48.80%
自然搜索
35.36%
邮件
0.03%
外链引荐
12.91%
社交媒体
2.88%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
16.85%
印度
7.96%
日本
3.46%
俄罗斯
5.47%
美国
16.98%
EXAONE 3.5系列的7.8B参数双语生成模型
EXAONE 3.5是LG AI Research开发的一系列双语(英语和韩语)指令调优的生成模型,参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理,在真实世界用例和长上下文理解方面展现出了最先进的性能,同时在与近期发布的类似大小模型相比,在通用领域保持竞争力。EXAONE 3.5模型包括:1) 2.4B模型,优化用于部署在小型或资源受限的设备上;2) 7.8B模型,与前代模型大小匹配但提供改进的性能;3) 32B模型,提供强大的性能。
LG AI Research开发的双语生成模型
EXAONE 3.5是LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与最近发布的类似大小模型相比的一般领域中保持竞争力。EXAONE 3.5模型包括:1) 2.4B模型,优化用于小型或资源受限设备的部署;2) 7.8B模型,与前代模型大小相匹配,但提供改进的性能;3) 32B模型,提供强大的性能。
LG AI Research开发的双语文本生成模型
EXAONE-3.5-2.4B-Instruct是LG AI Research开发的一系列双语(英语和韩语)指令调优的生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与最近发布的类似大小模型相比的通用领域中保持竞争力。该模型特别适合需要处理长文本和多语言需求的场景,如自动翻译、文本摘要、对话系统等。
Qwen团队开发的实验性研究模型,专注于提升AI推理能力。
QwQ-32B-Preview是一个由Qwen团队开发的实验性研究模型,旨在提高人工智能的推理能力。该模型展示了有前景的分析能力,但也存在一些重要的限制。模型在数学和编程方面表现出色,但在常识推理和细微语言理解方面还有提升空间。该模型使用了transformers架构,具有32.5B个参数,64层,以及40个注意力头(GQA)。产品背景信息显示,QwQ-32B-Preview是基于Qwen2.5-32B模型的进一步开发,具有更深层次的语言理解和生成能力。
LG AI Research开发的多语言生成模型
EXAONE-3.5-32B-Instruct-AWQ是LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理,在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与最近发布的类似大小模型相比,在通用领域保持竞争力。该模型通过AWQ量化技术,实现了4位组级别的权重量化,优化了模型的部署效率。
一个基于Llama模型的量化版本,用于对话和幻觉检测。
PatronusAI/Llama-3-Patronus-Lynx-8B-v1.1-Instruct-Q8-GGUF是一个基于Llama模型的量化版本,专为对话和幻觉检测设计。该模型使用了GGUF格式,拥有8.03亿参数,属于大型语言模型。它的重要性在于能够提供高质量的对话生成和幻觉检测能力,同时保持模型的高效运行。该模型是基于Transformers库和GGUF技术构建的,适用于需要高性能对话系统和内容生成的应用场景。
LG AI Research开发的双语文本生成模型
EXAONE-3.5-2.4B-Instruct-AWQ是由LG AI Research开发的一系列双语(英语和韩语)指令调优生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并且在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与近期发布的类似大小模型相比,在通用领域保持竞争力。该模型在部署到小型或资源受限设备上进行了优化,并且采用了AWQ量化技术,实现了4位群组权重量化(W4A16g128)。
LG AI Research开发的32B参数双语生成模型
EXAONE-3.5-32B-Instruct是由LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,包含从2.4B到32B参数的不同模型。这些模型支持长达32K令牌的长上下文处理,并在真实世界用例和长上下文理解方面展现出了最先进的性能,同时在与近期发布的类似大小模型相比时,在通用领域也保持了竞争力。
70亿参数的量化文本生成模型
Llama-Lynx-70b-4bit-Quantized是由PatronusAI开发的一个大型文本生成模型,具有70亿参数,并且经过4位量化处理,以优化模型大小和推理速度。该模型基于Hugging Face的Transformers库构建,支持多种语言,特别是在对话生成和文本生成领域表现出色。它的重要性在于能够在保持较高性能的同时减少模型的存储和计算需求,使得在资源受限的环境中也能部署强大的AI模型。
70亿参数的文本生成模型
Llama-lynx-70b-4bitAWQ是一个由Hugging Face托管的70亿参数的文本生成模型,使用了4-bit精度和AWQ技术。该模型在自然语言处理领域具有重要性,特别是在需要处理大量数据和复杂任务时。它的优势在于能够生成高质量的文本,同时保持较低的计算成本。产品背景信息显示,该模型与'transformers'和'safetensors'库兼容,适用于文本生成任务。
高性能的量化语言模型
PatronusAI/glider-gguf是一个基于Hugging Face平台的高性能量化语言模型,采用GGUF格式,支持多种量化版本,如BF16、Q8_0、Q5_K_M、Q4_K_M等。该模型基于phi3架构,拥有3.82B参数,主要优点包括高效的计算性能和较小的模型体积,适用于需要快速推理和低资源消耗的场景。产品背景信息显示,该模型由PatronusAI提供,适合需要进行自然语言处理和文本生成的开发者和企业使用。
LG AI Research开发的多语言生成模型
EXAONE-3.5-7.8B-Instruct是由LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与近期发布的类似大小模型相比,在通用领域保持竞争力。
基于LLaMA-3.1 8B的小型推理模型,实现透明可控的AI推理。
Deepthought-8B是一个小型但功能强大的推理模型,它基于LLaMA-3.1 8B构建,旨在使AI推理更加透明和可控。尽管模型相对较小,但它实现了与更大模型相媲美的复杂推理能力。该模型以其独特的问题解决方法而设计,将其思考过程分解为清晰、独特、有记录的步骤,并将推理过程以结构化的JSON格式输出,便于理解和验证其决策过程。
多语言大型语言模型,支持23种语言
Aya Expanse 32B是由Cohere For AI开发的多语言大型语言模型,拥有32亿参数,专注于提供高性能的多语言支持。它结合了先进的数据仲裁、多语言偏好训练、安全调整和模型合并技术,以支持23种语言,包括阿拉伯语、中文(简体和繁体)、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。该模型的发布旨在使社区基础的研究工作更加易于获取,通过发布高性能的多语言模型权重,供全球研究人员使用。
TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。
TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以在许多建立在Llama基础上的开源项目中使用。此外,TinyLlama只有1.1B个参数,紧凑性使其能够满足许多对计算和内存占用有限的应用需求。
s1是一个基于Qwen2.5-32B-Instruct微调的推理模型,仅用1000个样本进行训练。
s1是一个推理模型,专注于通过少量样本实现高效的文本生成能力。它通过预算强制技术在测试时进行扩展,能够匹配o1-preview的性能。该模型由Niklas Muennighoff等人开发,相关研究发表在arXiv上。模型使用Safetensors技术,具有328亿参数,支持文本生成任务。其主要优点是能够通过少量样本实现高质量的推理,适合需要高效文本生成的场景。
Xwen-Chat是专注中文对话的大语言模型集合,提供多版本模型及语言生成服务
Xwen-Chat由xwen-team开发,为满足高质量中文对话模型需求而生,填补领域空白。其有多个版本,具备强大语言理解与生成能力,可处理复杂语言任务,生成自然对话内容,适用于智能客服等场景,在Hugging Face平台免费提供。
SmolVLM-256M 是世界上最小的多模态模型,可高效处理图像和文本输入并生成文本输出。
SmolVLM-256M 是由 Hugging Face 开发的多模态模型,基于 Idefics3 架构,专为高效处理图像和文本输入而设计。它能够回答关于图像的问题、描述视觉内容或转录文本,且仅需不到 1GB 的 GPU 内存即可运行推理。该模型在多模态任务上表现出色,同时保持轻量化架构,适合在设备端应用。其训练数据来自 The Cauldron 和 Docmatix 数据集,涵盖文档理解、图像描述等多领域内容,使其具备广泛的应用潜力。目前该模型在 Hugging Face 平台上免费提供,旨在为开发者和研究人员提供强大的多模态处理能力。
DeepSeek-R1-Distill-Qwen-14B 是一款高性能的文本生成模型,适用于多种推理和生成任务。
DeepSeek-R1-Distill-Qwen-14B 是 DeepSeek 团队开发的一款基于 Qwen-14B 的蒸馏模型,专注于推理和文本生成任务。该模型通过大规模强化学习和数据蒸馏技术,显著提升了推理能力和生成质量,同时降低了计算资源需求。其主要优点包括高性能、低资源消耗和广泛的适用性,适用于需要高效推理和文本生成的场景。
DeepSeek-R1-Distill-Qwen-32B 是一款高性能的开源语言模型,适用于多种文本生成任务。
DeepSeek-R1-Distill-Qwen-32B 是由 DeepSeek 团队开发的高性能语言模型,基于 Qwen-2.5 系列进行蒸馏优化。该模型在多项基准测试中表现出色,尤其是在数学、代码和推理任务上。其主要优点包括高效的推理能力、强大的多语言支持以及开源特性,便于研究人员和开发者进行二次开发和应用。该模型适用于需要高性能文本生成的场景,如智能客服、内容创作和代码辅助等,具有广泛的应用前景。
AI ContentCraft 是一个多功能内容创作工具,集成了文本生成、语音合成和图像生成能力。
AI ContentCraft 是一个强大的内容创作平台,旨在帮助创作者快速生成故事、播客脚本和多媒体内容。它通过集成文本生成、语音合成和图像生成技术,为创作者提供一站式的解决方案。该工具支持中英文内容转换,适合需要高效创作的用户。其技术栈包括 DeepSeek AI、Kokoro TTS 和 Replicate API,确保高质量的内容生成。产品目前开源免费,适合个人和团队使用。
Textoon 是一款基于文本描述生成生动 2D 卡通角色的创新工具。
Textoon 是由阿里巴巴集团通义实验室推出的一种创新方法,能够根据文本描述快速生成多样化的 2D 卡通角色。该技术利用先进的语言和视觉模型,将文本意图转化为 2D 角色外观,生成的 Live2D 模型具有高效性和兼容性。它不仅满足了数字角色创作中对 2D 卡通风格的需求,还填补了当前 3D 角色研究中对 2D 互动角色关注不足的空白。其主要优点包括高效的渲染性能、灵活的文本解析能力和可编辑性,适用于快速生成高质量的 2D 卡通角色。
InternLM3 是一个专注于文本生成的模型集合,提供多种优化版本以满足不同需求。
InternLM3 是由 InternLM 团队开发的一系列高性能语言模型,专注于文本生成任务。该模型通过多种量化技术优化,能够在不同硬件环境下高效运行,同时保持出色的生成质量。其主要优点包括高效的推理性能、多样化的应用场景以及对多种文本生成任务的优化支持。InternLM3 适用于需要高质量文本生成的开发者和研究人员,能够帮助他们在自然语言处理领域快速实现应用。
MiniMax-Text-01是一个强大的语言模型,具有4560亿总参数,能够处理长达400万token的上下文。
MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型,拥有4560亿总参数,其中每个token激活459亿参数。它采用了混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE)技术,通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、变长环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万token,并能在推理时处理长达400万token的上下文。在多个学术基准测试中,MiniMax-Text-01展现出了顶级模型的性能。
一个基于Qwen2.5-Coder系列训练的大型语言模型,专注于代理应用。
Dria-Agent-a-7B是一个基于Qwen2.5-Coder系列训练的大型语言模型,专注于代理应用。它采用Pythonic函数调用方式,与传统JSON函数调用方法相比,具有单次并行多函数调用、自由形式推理和动作以及即时复杂解决方案生成等优势。该模型在多个基准测试中表现出色,包括Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小为76.2亿参数,采用BF16张量类型,支持文本生成任务。其主要优点包括强大的编程辅助能力、高效的函数调用方式以及在特定领域的高准确率。该模型适用于需要复杂逻辑处理和多步骤任务执行的应用场景,如自动化编程、智能代理等。目前,该模型在Hugging Face平台上提供,供用户免费使用。
基于特定模型的量化大型语言模型,适用于自然语言处理等任务。
该模型是量化版大型语言模型,采用4位量化技术,降低存储与计算需求,适用于自然语言处理,参数量8.03B,免费且可用于非商业用途,适合资源受限环境下高性能语言应用需求者。
InternVL2.5-MPO系列模型,基于InternVL2.5和混合偏好优化,展现卓越性能。
InternVL2.5-MPO是一个先进的多模态大型语言模型系列,基于InternVL2.5和混合偏好优化(MPO)构建。该系列模型在多模态任务中表现出色,能够处理图像、文本和视频数据,并生成高质量的文本响应。模型采用'ViT-MLP-LLM'范式,通过像素unshuffle操作和动态分辨率策略优化视觉处理能力。此外,模型还引入了多图像和视频数据的支持,进一步扩展了其应用场景。InternVL2.5-MPO在多模态能力评估中超越了多个基准模型,证明了其在多模态领域的领先地位。
一个用于检测幻觉的开源评估模型,基于Llama-3架构,拥有700亿参数。
PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct是一个基于Llama-3架构的大型语言模型,旨在检测在RAG设置中的幻觉问题。该模型通过分析给定的文档、问题和答案,评估答案是否忠实于文档内容。其主要优点在于高精度的幻觉检测能力和强大的语言理解能力。该模型由Patronus AI开发,适用于需要高精度信息验证的场景,如金融分析、医学研究等。该模型目前为免费使用,但具体的商业应用可能需要与开发者联系。
一种无需实时检索的语言模型增强方法,通过预加载知识缓存来提高生成效率。
CAG(Cache-Augmented Generation)是一种创新的语言模型增强技术,旨在解决传统RAG(Retrieval-Augmented Generation)方法中存在的检索延迟、检索错误和系统复杂性等问题。通过在模型上下文中预加载所有相关资源并缓存其运行时参数,CAG能够在推理过程中直接生成响应,无需进行实时检索。这种方法不仅显著降低了延迟,提高了可靠性,还简化了系统设计,使其成为一种实用且可扩展的替代方案。随着大型语言模型(LLMs)上下文窗口的不断扩展,CAG有望在更复杂的应用场景中发挥作用。
基于PRIME方法训练的7B参数语言模型,专为提升推理能力而设计。
PRIME-RL/Eurus-2-7B-PRIME是一个基于PRIME方法训练的7B参数的语言模型,旨在通过在线强化学习提升语言模型的推理能力。该模型从Eurus-2-7B-SFT开始训练,利用Eurus-2-RL-Data数据集进行强化学习。PRIME方法通过隐式奖励机制,使模型在生成过程中更加注重推理过程,而不仅仅是结果。该模型在多项推理基准测试中表现出色,相较于其SFT版本平均提升了16.7%。其主要优点包括高效的推理能力提升、较低的数据和模型资源需求,以及在数学和编程任务中的优异表现。该模型适用于需要复杂推理能力的场景,如编程问题解答和数学问题求解。
© 2025 AIbase 备案号:闽ICP备08105208号-14