SpacTor-T5

SpacTor-T5

SpacTor是一种新的训练程序,包括(1)结合了段落破坏(SC)和标记替换检测(RTD)的混合目标,以及(2)一个两阶段课程,该课程在初始tau次迭代中优化混合目标,然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验,使用编码器-解码器架构(T5),SpacTor-T5在下游性能方面与标准的SC预训练相当,同时减少了50%的预训练迭代次数和40%的总FLOPs。另外,在相同的计算预算下,我们发现SpacTor能够显著提高下游基准性能。

需求人群:

"适用于自然语言处理任务的预训练模型"

使用场景示例:

在NLP任务中使用SpacTor-T5进行文本生成

利用SpacTor-T5进行情感分析

在问答系统中应用SpacTor-T5进行问题回答

产品特色:

混合目标的训练程序

段落破坏和标记替换检测

两阶段课程优化

浏览量:8

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

22216.76k

平均访问时长

00:04:50

每次访问页数

5.52

跳出率

47.80%

流量来源

直接访问

46.24%

自然搜索

30.97%

邮件

0.78%

外链引荐

13.53%

社交媒体

8.45%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

15.26%

美国

13.36%

印度

6.45%

俄罗斯

3.91%

法国

3.77%

类似产品

© 2024     AIbase    备案号:闽ICP备2023012347号-1

隐私政策

用户协议

意见反馈 网站地图