EXAONE-3.5-32B-Instruct-AWQ

EXAONE-3.5-32B-Instruct-AWQ

EXAONE-3.5-32B-Instruct-AWQ是LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,参数从2.4B到32B不等。这些模型支持长达32K令牌的长上下文处理,在真实世界用例和长上下文理解方面展现出最先进的性能,同时在与最近发布的类似大小模型相比,在通用领域保持竞争力。该模型通过AWQ量化技术,实现了4位组级别的权重量化,优化了模型的部署效率。

需求人群:

"目标受众为需要在多语言环境中进行文本生成和处理的研究人员、开发者和企业。由于模型支持长上下文处理和双语能力,特别适合需要处理大量文本数据和跨语言交流的应用场景。"

使用场景示例:

研究人员使用该模型进行跨语言的文本翻译和生成研究。

开发者利用模型的长上下文处理能力开发智能助手应用。

企业使用该模型优化客户服务中的自动回复系统。

产品特色:

支持长达32K令牌的长上下文处理能力。

在英语和韩语的双语生成模型中展现出最先进的性能。

通过AWQ量化技术,实现了4位组级别的权重量化。

模型参数数量达到30.95B,拥有64层和40个查询头。

支持快速启动和部署,适用于多种框架,如TensorRT-LLM、vLLM等。

提供了预量化的EXAONE 3.5模型,方便在不同设备上部署。

模型生成的文本不反映LG AI Research的观点,确保内容的中立性。

使用教程:

1. 安装必要的库,如transformers>=4.43和autoawq>=0.2.7.post3。

2. 使用AutoModelForCausalLM和AutoTokenizer从Hugging Face加载模型和分词器。

3. 准备输入提示,可以是英文或韩文。

4. 使用tokenizer.apply_chat_template方法将消息转换为模型输入格式。

5. 调用model.generate方法生成文本。

6. 使用tokenizer.decode方法将生成的令牌转换为可读文本。

7. 根据需要调整模型参数,如max_new_tokens和do_sample,以控制生成文本的长度和多样性。

浏览量:3

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

20899.84k

平均访问时长

00:04:57

每次访问页数

5.24

跳出率

46.04%

流量来源

直接访问

48.28%

自然搜索

36.58%

邮件

0.03%

外链引荐

12.01%

社交媒体

3.07%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

13.07%

印度

7.93%

日本

3.42%

俄罗斯

5.95%

美国

18.10%

类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图