ModernBERT-large

简介:

高性能的双向编码器Transformer模型

功能:

• 旋转位置嵌入(RoPE):支持长上下文处理。

• 局部-全局交替注意力:提高长输入的处理效率。

• 无填充和Flash Attention:提高模型推理效率。

• 长上下文长度:原生支持长达8192个token的上下文。

• 多任务适用:适用于文本和代码的检索、分类和语义搜索。

• 高性能:在多个任务上超越其他相似大小的编码器模型。

• 预训练数据丰富:基于2万亿个英文和代码数据预训练。

需求人群:

"目标受众为自然语言处理(NLP)领域的研究人员和开发者,特别是那些需要处理长文本和代码数据的专业人士。ModernBERT-large的长上下文处理能力和高效率使其成为大型语料库和复杂NLP任务的理想选择。"

浏览量:8

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图