基于注意力机制的运动生成和无训练编辑模型
MotionCLR是一个基于注意力机制的运动扩散模型,专注于人类动作的生成和编辑。它通过自注意力和交叉注意力机制,分别模拟模态内和模态间的交互,实现对动作序列的精细控制和编辑。该模型的主要优点包括无需训练即可进行编辑,具有较好的解释性,能够通过操作注意力图来实现多种运动编辑方法,如动作的强调或减弱、就地替换动作、基于示例的动作生成等。MotionCLR的研究背景是解决以往运动扩散模型在细粒度编辑能力上的不足,通过清晰的文本-动作对应关系,提高动作编辑的灵活性和精确性。
优化的小型语言模型,适用于移动设备
MobileLLM是一种针对移动设备优化的小型语言模型,专注于设计少于十亿参数的高质量LLMs,以适应移动部署的实用性。与传统观念不同,该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构,结合嵌入共享和分组查询注意力机制,MobileLLM在准确性上取得了显著提升,并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外,MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进,并在API调用任务中接近LLaMA-v2 7B的正确性,突出了小型模型在普通设备用例中的能力。
快速且内存高效的精确注意力机制
FlashAttention是一个开源的注意力机制库,专为深度学习中的Transformer模型设计,以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算,减少了内存占用,同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配,而FlashAttention-3针对Hopper GPU进行了优化,支持FP16和BF16数据类型。
高效序列模型的新进展
Mamba-2是Goomba AI Lab开发的一种新型序列模型,旨在提高机器学习社区中序列模型的效率和性能。它通过结构化状态空间对偶(SSD)模型,结合了状态空间模型(SSM)和注意力机制的优点,提供了更高效的训练过程和更大的状态维度。Mamba-2的设计允许模型在训练时利用矩阵乘法,从而提高了硬件效率。此外,Mamba-2在多查询关联记忆(MQAR)等任务中表现出色,显示出其在复杂序列处理任务中的潜力。
高分辨率多视角扩散模型,使用高效行注意力机制。
Era3D是一个开源的高分辨率多视角扩散模型,它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像,支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性,因为它提供了一种新的方法来生成逼真的三维图像。
Gemma 2B模型,支持10M序列长度,优化内存使用,适用于大规模语言模型应用。
Gemma 2B - 10M Context是一个大规模的语言模型,它通过创新的注意力机制优化,能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术,灵感来源于Transformer-XL论文,是处理大规模语言任务的强大工具。
个性化图像生成的注意力混合架构
Mixture-of-Attention (MoA) 是一种用于个性化文本到图像扩散模型的新架构,它通过两个注意力路径——个性化分支和非个性化先验分支——来分配生成工作负载。MoA 设计用于保留原始模型的先验,同时通过个性化分支最小干预生成过程,该分支学习将主题嵌入到先验分支生成的布局和上下文中。MoA 通过一种新颖的路由机制管理每层像素在这些分支之间的分布,以优化个性化和通用内容创建的混合。训练完成后,MoA 能够创建高质量、个性化的图像,展示多个主题的组成和互动,与原始模型生成的一样多样化。MoA 增强了模型的先有能力与新增强的个性化干预之间的区别,从而提供了以前无法实现的更解耦的主题上下文控制。
分析Transformer语言模型的内部工作机制
LLM Transparency Tool(LLM-TT)是一个开源的交互式工具包,用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理,通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度,帮助研究人员和开发者更好地理解和改进语言模型。
© 2024 AIbase 备案号:闽ICP备08105208号-14