高效、轻量级的量化Llama模型,提升移动设备上的运行速度并减少内存占用。
Llama模型是Meta公司推出的大型语言模型,通过量化技术,使得模型体积更小、运行速度更快,同时保持了模型的质量和安全性。这些模型特别适用于移动设备和边缘部署,能够在资源受限的设备上提供快速的设备内推理,同时减少内存占用。量化Llama模型的开发,标志着在移动AI领域的一个重要进步,使得更多的开发者能够在不需要大量计算资源的情况下,构建和部署高质量的AI应用。
PyTorch原生量化和稀疏性训练与推理库
torchao是PyTorch的一个库,专注于自定义数据类型和优化,支持量化和稀疏化权重、梯度、优化器和激活函数,用于推理和训练。它与torch.compile()和FSDP2兼容,能够为大多数PyTorch模型提供加速。torchao旨在通过量化感知训练(QAT)和后训练量化(PTQ)等技术,提高模型的推理速度和内存效率,同时尽量减小精度损失。
FLUX模型的Cog推理引擎
Cog inference for flux models 是一个用于FLUX.1 [schnell] 和 FLUX.1 [dev] 模型的推理引擎,由Black Forest Labs开发。它支持编译与量化,敏感内容检查,以及img2img支持,旨在提高图像生成模型的性能和安全性。
用于角色扮演、检索增强生成和功能调用的小型语言模型
Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型,通过蒸馏、剪枝和量化优化,以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答(RAG QA)和功能调用进行了优化,支持 4096 个令牌的上下文长度,已准备好用于商业用途。
GGUF量化支持,优化ComfyUI原生模型性能
ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储,这种格式由llama.cpp推广。尽管常规的UNET模型(conv2d)不适用于量化,但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。
© 2024 AIbase 备案号:闽ICP备08105208号-14