contrastors

contrastors

contrastors是一个对比学习工具包,使研究人员和工程师能够高效地训练和评估对比模型。它建立在Flash Attention之上,支持多GPU训练,具有GradCache支持,可以在受限内存环境下进行大批量训练。它还支持Huggingface,可以轻松加载常见模型。同时支持遮蔽语言建模预训练和Matryoshka表示学习。

需求人群:

"用于研究和工程师高效地训练和评估对比学习模型"

使用场景示例:

使用contrastors在8块GPU上从零开始训练BERT模型

使用contrastors微调nomic-bert-embed-v1-unsupervised模型

使用contrastors的脚本生成自己的数据集进行对比学习

产品特色:

多GPU支持

GradCache支持大批量训练

支持遮蔽语言模型预训练

支持Huggingface加载常见模型

浏览量:38

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

4.67m

平均访问时长

00:07:27

每次访问页数

6.62

跳出率

37.89%

流量来源

直接访问

51.41%

自然搜索

29.45%

邮件

0.92%

外链引荐

11.72%

社交媒体

6.47%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

美国

16.52%

中国

14.70%

印度

9.14%

日本

3.64%

德国

3.30%

类似产品

© 2024     AIbase    备案号:闽ICP备2023012347号-1

隐私政策

用户协议

意见反馈 网站地图