简介:

具有注意力下沉的高效流媒体语言模型

功能:

处理无限长度的输入

保留最近的令牌和注意力池,丢弃中间令牌

从最近的令牌生成连贯的文本

不需要缓存重置

适用于流式应用,如多轮对话

需求人群:

"StreamingLLM适用于需要连续操作而不需要大量内存或依赖于过去数据的场景,例如基于LLMs的日常助手。"

浏览量:22

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图