Llama-3-Giraffe-70B-Instruct

简介:

一款具有128k有效上下文长度的70B参数的大型语言模型。

功能:

支持长文本生成,有效上下文长度约为128k。

使用PoSE训练方法,提升模型处理长文本的能力。

动态NTK插值,优化模型的参数规模。

适配器转换技术,提高模型性能。

在8xH100 GPU上进行训练,使用Deepspeed Zero Stage 3。

通过EasyContext实现的Needle-in-a-Haystack进行性能评估。

需求人群:

"目标受众为研究人员、数据科学家和开发者,他们需要处理和分析大量的文本数据,尤其是在自然语言处理领域。该模型能够提供强大的文本生成和理解能力,帮助用户在文本分析、内容创作、机器翻译等方面取得突破。"

浏览量:25

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图