Llama-3 70B Gradient 524K Adapter

简介:

Llama-3 70B模型的LoRA适配器,扩展上下文长度至超过524K。

功能:

使用LoRA技术扩展上下文长度至524K

基于Gradient AI Team的Llama-3-70B-Instruct-Gradient-524k模型

利用meta-llama/Meta-Llama-3-70B-Instruct作为基础模型

通过NTK-aware插值和RingAttention库进行高效训练

在Crusoe Energy的高性能L40S集群上进行训练

生成长文本上下文以增强模型性能

在UltraChat数据集上进行微调以提升对话能力

需求人群:

["适用于需要处理大量文本数据的开发者和企业","适合构建定制AI模型或代理,以支持关键业务操作","适用于需要长文本理解和生成的应用场景","对于需要优化模型安全性和有用性的开发者而言,是一个理想的选择"]

浏览量:15

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图