简介:

EasyContext演示了如何利用现有技术组合,来训练700K和1M上下文的语言模型。

功能:

序列并行

Deepspeed zero3离载

Flash注意力和融合交叉熵核心

激活checkpoint

需求人群:

"用于训练具有超长上下文的语言模型"

浏览量:19

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图