EXAONE-3.5-2.4B-Instruct-AWQ

EXAONE-3.5-2.4B-Instruct-AWQ

EXAONE-3.5-2.4B-Instruct-AWQ是由LG AI Research开发的一系列双语(英语和韩语)指令调优生成模型,参数范围从2.4B到32B。这些模型支持长达32K令牌的长上下文处理,并且在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与近期发布的类似大小模型相比,在通用领域保持竞争力。该模型在部署到小型或资源受限设备上进行了优化,并且采用了AWQ量化技术,实现了4位群组权重量化(W4A16g128)。

需求人群:

"目标受众为需要在资源受限设备上部署高性能语言模型的开发者和研究人员,以及需要处理长文本数据和多语言支持的NLP应用开发者。EXAONE-3.5-2.4B-Instruct-AWQ因其优化的部署能力和长上下文处理能力,特别适合需要在移动设备或边缘计算环境中部署语言模型的场景。"

使用场景示例:

用于生成英语和韩语的对话回复

在资源受限的移动设备上提供语言模型服务

作为长文本处理和分析的工具,用于研究和商业智能

产品特色:

支持长达32K令牌的长上下文处理能力

优化的2.4B模型,适合在资源受限的设备上部署

7.8B模型提供与前代相同的规模但性能提升

32B模型提供强大的性能

支持英语和韩语两种语言

AWQ量化技术,实现4位群组权重量化

支持多种部署框架,如TensorRT-LLM、vLLM等

使用教程:

1. 安装必要的库,如transformers和autoawq

2. 使用AutoModelForCausalLM和AutoTokenizer加载模型和分词器

3. 准备输入提示,可以是英文或韩文

4. 使用tokenizer.apply_chat_template方法将消息模板化并转换为输入ID

5. 调用model.generate方法生成文本

6. 使用tokenizer.decode方法将生成的ID解码为文本

7. 根据需要调整模型参数,如max_new_tokens和do_sample,以控制生成文本的长度和多样性

浏览量:2

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

20899.84k

平均访问时长

00:04:57

每次访问页数

5.24

跳出率

46.04%

流量来源

直接访问

48.28%

自然搜索

36.58%

邮件

0.03%

外链引荐

12.01%

社交媒体

3.07%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

13.07%

印度

7.93%

日本

3.42%

俄罗斯

5.95%

美国

18.10%

类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图