EXAONE-3.5-32B-Instruct-GGUF

简介:

LG AI Research开发的多语言、高性能大型语言模型

功能:

支持长上下文处理,上下文长度可达32K令牌。

包含不同精度的模型,如Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS和BF16。

优化了模型部署,包括2.4B模型针对小型或资源受限设备优化。

提供预量化模型,使用AWQ和多种量化类型。

支持多种部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。

模型训练考虑了系统提示的使用,提高了对话和交互的效率。

模型生成的文本不反映LG AI Research的观点,确保了内容的中立性。

需求人群:

"目标受众为需要高性能语言模型的研究人员、开发者和企业,特别是在需要处理大量数据和长上下文信息的场景中。EXAONE-3.5-32B-Instruct-GGUF因其强大的性能和多语言支持,适合于进行自然语言处理、文本生成、机器翻译等任务,帮助用户提高工作效率和处理复杂问题的能力。"

浏览量:2

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图