浏览量:346
最新流量情况
月访问量
4.89m
平均访问时长
00:06:37
每次访问页数
5.70
跳出率
37.28%
流量来源
直接访问
52.59%
自然搜索
32.74%
邮件
0.05%
外链引荐
12.33%
社交媒体
2.17%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
12.61%
德国
3.57%
印度
9.68%
俄罗斯
4.81%
美国
18.94%
为边缘设备定制的小型语言模型
MobiLlama是一个为资源受限设备设计的小型语言模型(SLM),它旨在提供准确且轻量级的解决方案,以满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发,通过精心设计的参数共享方案来降低预训练和部署成本。
小型语言模型调研、测量与洞察
SLM_Survey是一个专注于小型语言模型(SLMs)的研究项目,旨在通过调研和测量,提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型,参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研,分析了它们的技术创新,并在多个领域评估了它们的能力,包括常识推理、上下文学习、数学和编程。此外,还对它们的运行时成本进行了基准测试,包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。
用于角色扮演、检索增强生成和功能调用的小型语言模型
Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型,通过蒸馏、剪枝和量化优化,以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答(RAG QA)和功能调用进行了优化,支持 4096 个令牌的上下文长度,已准备好用于商业用途。
高效小型语言模型
SmolLM是一系列最新的小型语言模型,包含135M、360M和1.7B参数的版本。这些模型在精心策划的高质量训练语料库上进行训练,能够实现在本地设备上运行,显著降低推理成本并提高用户隐私。SmolLM模型在多种基准测试中表现优异,测试了常识推理和世界知识。
定制化大型语言模型的专业微调工具
Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能,提高效率,同时减少资源和存储的使用。
为边缘设备提供无代码人工智能
Neuton TinyML 是一款无代码人工智能平台,可自动构建极小模型并嵌入到任何微控制器和传感器中。它基于专利神经网络框架,能够在保持准确性的同时实现极小的模型大小。
© 2024 AIbase 备案号:闽ICP备08105208号-14