LLM Augmented LLMs

LLM Augmented LLMs

LLM Augmented LLMs通过将现有基础模型与更具体的模型进行组合,实现新的能力。CALM(Composition to Augment Language Models)引入模型之间的交叉注意力,以组合它们的表示并实现新的能力。其显著特点包括:(i)通过“重用”现有LLMs以及少量额外参数和数据,在新任务上扩展LLMs的规模;(ii)保持现有模型权重不变,因此保留现有的能力;(iii)适用于不同的领域和设置。实验证明,将PaLM2-S与在低资源语言上训练的较小模型进行增强,在诸如翻译成英语和低资源语言的算术推理等任务上,结果绝对改善了高达13%。类似地,当PaLM2-S与特定于代码的模型进行增强时,在代码生成和解释任务上,相对于基础模型,我们看到了高达40%的改进,与完全微调的对应模型不相上下。

需求人群:

"适用于需要对语言模型进行扩展和增强的编程任务"

使用场景示例:

在代码生成和解释任务中,将PaLM2-S与特定于代码的模型进行增强

在低资源语言上训练的较小模型进行增强,结果绝对改善了高达13%的翻译任务

适用于需要对语言模型进行扩展和增强的编程任务

产品特色:

通过重用现有LLMs和少量额外参数和数据,在新任务上扩展LLMs的规模

保持现有模型权重不变,因此保留现有的能力

适用于不同的领域和设置

浏览量:12

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

22216.76k

平均访问时长

00:04:50

每次访问页数

5.52

跳出率

47.80%

流量来源

直接访问

46.24%

自然搜索

30.97%

邮件

0.78%

外链引荐

13.53%

社交媒体

8.45%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

15.26%

美国

13.36%

印度

6.45%

俄罗斯

3.91%

法国

3.77%

类似产品

© 2024     AIbase    备案号:闽ICP备2023012347号-1

隐私政策

用户协议

意见反馈 网站地图