EXAONE-3.5-7.8B-Instruct-GGUF

简介:

EXAONE 3.5系列的7.8B参数双语生成模型

功能:

支持长达32K令牌的长上下文处理能力。

在真实世界用例和长上下文理解方面展现出最先进的性能。

与近期发布的类似大小模型相比,在通用领域保持竞争力。

提供多种精度的指令调优7.8B语言模型,包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等量化类型。

支持多种部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。

模型经过优化,适用于小或资源受限的设备。

提供预量化的EXAONE 3.5模型,使用AWQ和多种量化类型。

需求人群:

"目标受众为需要在资源受限设备上部署高性能语言模型的研究人员和开发者,以及需要处理长上下文信息和多语言文本生成的应用开发者。EXAONE 3.5模型因其强大的性能和长上下文处理能力,特别适合于需要处理大量数据和复杂语言任务的场景。"

浏览量:21

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图