EXAONE-3.5-7.8B-Instruct-GGUF

EXAONE-3.5-7.8B-Instruct-GGUF

EXAONE 3.5是LG AI Research开发的一系列双语(英语和韩语)指令调优的生成模型,参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理,在真实世界用例和长上下文理解方面展现出了最先进的性能,同时在与近期发布的类似大小模型相比,在通用领域保持竞争力。EXAONE 3.5模型包括:1) 2.4B模型,优化用于部署在小型或资源受限的设备上;2) 7.8B模型,与前代模型大小匹配但提供改进的性能;3) 32B模型,提供强大的性能。

需求人群:

"目标受众为需要在资源受限设备上部署高性能语言模型的研究人员和开发者,以及需要处理长上下文信息和多语言文本生成的应用开发者。EXAONE 3.5模型因其强大的性能和长上下文处理能力,特别适合于需要处理大量数据和复杂语言任务的场景。"

使用场景示例:

研究人员使用EXAONE 3.5模型进行长文本的语义理解和分析。

开发者利用EXAONE 3.5模型开发多语言对话系统。

企业使用EXAONE 3.5模型优化其客户服务自动化流程。

产品特色:

支持长达32K令牌的长上下文处理能力。

在真实世界用例和长上下文理解方面展现出最先进的性能。

与近期发布的类似大小模型相比,在通用领域保持竞争力。

提供多种精度的指令调优7.8B语言模型,包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等量化类型。

支持多种部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。

模型经过优化,适用于小或资源受限的设备。

提供预量化的EXAONE 3.5模型,使用AWQ和多种量化类型。

使用教程:

1. 安装llama.cpp,具体安装指南请参考llama.cpp的GitHub仓库。

2. 下载EXAONE 3.5模型的GGUF格式文件。

3. 使用huggingface-cli下载指定的EXAONE 3.5模型文件,例如:'huggingface-cli download LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct-GGUF --include "EXAONE-3.5-7.8B-Instruct-BF16*.gguf" --local-dir .'

4. 使用llama-cli运行模型进行对话模式的推理,例如:'llama-cli -cnv -m ./EXAONE-3.5-7.8B-Instruct-BF16.gguf -p "You are EXAONE model from LG AI Research, a helpful assistant."'

浏览量:5

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

20899.84k

平均访问时长

00:04:57

每次访问页数

5.24

跳出率

46.04%

流量来源

直接访问

48.28%

自然搜索

36.58%

邮件

0.03%

外链引荐

12.01%

社交媒体

3.07%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

13.07%

印度

7.93%

日本

3.42%

俄罗斯

5.95%

美国

18.10%

类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图