ModernBERT-base

简介:

高效处理长文本的双向编码器模型

功能:

支持长达8192个token的长文本处理能力

Rotary Positional Embeddings (RoPE) 支持长上下文

Local-Global Alternating Attention 提升长输入的效率

Unpadding和Flash Attention 优化推理效率

适用于大规模文本和代码数据的预训练

无需token type IDs,简化了下游任务的使用

支持使用Flash Attention 2以获得更高的效率

需求人群:

"目标受众为需要处理长文本数据的开发者、数据科学家和研究人员。ModernBERT-base由于其长文本处理能力和对英文及代码数据的优化,特别适合于自然语言处理、代码检索和混合(文本+代码)语义搜索等场景。"

浏览量:13

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图