SliceGPT

切片GPT是一种新的后训练稀疏化方案,它通过用较小(密集)的矩阵替换每个权重矩阵来减少网络的嵌入维度。通过大量实验,我们展示了切片GPT可以在保持99%、99%和90%的零-shot任务性能的前提下,移除LLAMA2-70B、OPT 66B和Phi-2模型的高达25%的模型参数(包括嵌入)。我们的切片模型在较少的GPU上运行,并且在不进行任何额外代码优化的情况下运行速度更快:在24GB消费级GPU上,我们将LLAMA2-70B的推理总计算量减少到密集模型的64%;在40GB A100 GPU上,我们将其减少到66%。我们提供了一个新的见解,即变压器网络中的计算不变性,这使得切片GPT成为可能。我们希望它能激发并促进未来减少预训练模型的内存和计算需求的新途径。

需求人群:

"切片GPT适用于需要提高模型计算效率、减少内存占用的场景。"

使用场景示例:

切片GPT可用于减少大型语言模型的内存消耗。

切片GPT可用于加速大型语言模型的推理过程。

切片GPT可用于提高预训练模型的计算效率。

产品特色:

后训练稀疏化

模型参数压缩

提高模型计算效率

浏览量:11

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

19075.32k

平均访问时长

00:05:32

每次访问页数

5.52

跳出率

45.07%

流量来源

直接访问

48.31%

自然搜索

36.36%

邮件

0.03%

外链引荐

12.17%

社交媒体

3.11%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

13.13%

印度

7.59%

日本

3.67%

俄罗斯

6.13%

美国

18.18%

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图