multi-token prediction

简介:

多令牌预测模型,提升语言模型的效率与性能

功能:

支持非商业研究用途的语言模型训练与推理

提供基于代码的7B参数模型,经过200B和1T tokens的训练

兼容Llama格式的Pytorch状态字典,方便模型部署与使用

支持额外预测头以忽略标准自回归推理

提供Tokenizer以处理模型输入

遵循LLaMA Acceptable Use Policy,确保材料的合理使用

需求人群:

"目标受众主要是研究人员和开发者,他们需要利用先进的语言模型来推动自然语言处理领域的研究和应用开发。该模型特别适合那些寻求提高模型生成速度和效率,同时保持或提升生成质量的研究者和开发者。"

浏览量:35

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图