GGUF量化支持,优化ComfyUI原生模型性能
ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储,这种格式由llama.cpp推广。尽管常规的UNET模型(conv2d)不适用于量化,但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。
最先进的12B模型,支持多语言应用
Mistral NeMo 是由 Mistral AI 与 NVIDIA 合作构建的 12B 模型,具有 128k 个令牌的大型上下文窗口。它在推理、世界知识和编码准确性方面处于领先地位。该模型专为全球多语言应用程序设计,支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等多种语言。Mistral NeMo 还使用了新的分词器 Tekken,提高了文本和源代码的压缩效率。此外,该模型经过指令微调,提升了遵循精确指令、推理、处理多轮对话和生成代码的能力。
轻量级代码库,用于高效微调Mistral模型。
mistral-finetune是一个轻量级的代码库,它基于LoRA训练范式,允许在冻结大部分权重的情况下,只训练1-2%的额外权重,以低秩矩阵微扰的形式进行微调。它被优化用于多GPU单节点训练设置,对于较小模型,例如7B模型,单个GPU就足够了。该代码库旨在提供简单、有指导意义的微调入口,特别是在数据格式化方面,并不旨在涵盖多种模型架构或硬件类型。
释放大规模未标记数据的力量
Depth Anything是一个高度实用的解决方案,用于稳健的单目深度估计。我们旨在构建一个简单而强大的基础模型,处理任何情况下的任何图像,而不追求新颖的技术模块。为此,我们通过设计数据引擎来扩大数据集,收集并自动注释大规模未标记数据(约62M),从而显着扩大数据覆盖范围,从而能够减少泛化误差。我们研究了两种简单而有效的策略,使数据扩展变得有前途。首先,通过利用数据增强工具创建更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得强大的表示。其次,开发了辅助监督,以强制模型从预训练编码器中继承丰富的语义先验。我们对其零-shot能力进行了广泛评估,包括六个公共数据集和随机拍摄的照片。它展现出令人印象深刻的泛化能力。此外,通过使用来自NYUv2和KITTI的度量深度信息对其进行微调,我们建立了新的SOTAs。我们更好的深度模型也导致更好的深度条件ControlNet。我们的模型发布在https://github.com/LiheYoung/Depth-Anything。
提供干净的视觉特征
去噪视觉变换器(Denoising Vision Transformers,DVT)是一种针对视觉变换器(ViTs)的新型噪声模型。通过解剖ViT输出并引入可学习的去噪器,DVT能够提取无噪声的特征,从而在离线应用和在线功能中显著改善基于Transformer的模型的性能。DVT不需要重新训练现有的预训练ViTs,可立即应用于任何基于Transformer的架构。通过在多个数据集上进行广泛评估,我们发现DVT在语义和几何任务中持续显著改善现有的最先进通用模型(例如,+3.84 mIoU)。我们希望我们的研究能够鼓励重新评估ViT设计,特别是关于位置嵌入的天真使用。
强悍的实时图像生成
StreamDiffusion 是一种用于实时交互式生成的创新扩散管道。它为当前基于扩散的图像生成技术引入了显著的性能增强。StreamDiffusion 通过高效的批处理操作简化数据处理流程。它提供了改进的引导机制,最小化计算冗余。通过先进的过滤技术提高 GPU 利用率。它还有效地管理输入和输出操作,以实现更顺畅的执行。StreamDiffusion 优化了缓存策略,提供了多种模型优化和性能增强工具。
© 2024 AIbase 备案号:闽ICP备08105208号-14