简介:

Karpathy推出的用于BPE算法的简洁代码项目

功能:

实现BPE算法的训练

实现文本的BPE编码

实现BPE编码的文本解码

提供可保存和加载的功能

需求人群:

["应用于基于Transformer的语言模型中","用作BERT等模型的分词器"]

浏览量:63

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图