产品库

快速且内存高效的精确注意力机制

FlashAttention是一个开源的注意力机制库，专为深度学习中的Transformer模型设计，以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算，减少了内存占用，同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配，而FlashAttention-3针对Hopper GPU进行了优化，支持FP16和BF16数据类型。

快速且内存高效的精确注意力机制

FlexHeadFA 是一个基于 FlashAttention 的改进模型，专注于提供快速且内存高效的精确注意力机制。它支持灵活的头维度配置，能够显著提升大语言模型的性能和效率。该模型的主要优点包括高效利用 GPU 资源、支持多种头维度配置以及与 FlashAttention-2 和 FlashAttention-3 兼容。它适用于需要高效计算和内存优化的深度学习场景，尤其在处理长序列数据时表现出色。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

个性化图像生成的注意力混合架构

Mixture-of-Attention (MoA) 是一种用于个性化文本到图像扩散模型的新架构，它通过两个注意力路径——个性化分支和非个性化先验分支——来分配生成工作负载。MoA 设计用于保留原始模型的先验，同时通过个性化分支最小干预生成过程，该分支学习将主题嵌入到先验分支生成的布局和上下文中。MoA 通过一种新颖的路由机制管理每层像素在这些分支之间的分布，以优化个性化和通用内容创建的混合。训练完成后，MoA 能够创建高质量、个性化的图像，展示多个主题的组成和互动，与原始模型生成的一样多样化。MoA 增强了模型的先有能力与新增强的个性化干预之间的区别，从而提供了以前无法实现的更解耦的主题上下文控制。

基于注意力机制的运动生成和无训练编辑模型

MotionCLR是一个基于注意力机制的运动扩散模型，专注于人类动作的生成和编辑。它通过自注意力和交叉注意力机制，分别模拟模态内和模态间的交互，实现对动作序列的精细控制和编辑。该模型的主要优点包括无需训练即可进行编辑，具有较好的解释性，能够通过操作注意力图来实现多种运动编辑方法，如动作的强调或减弱、就地替换动作、基于示例的动作生成等。MotionCLR的研究背景是解决以往运动扩散模型在细粒度编辑能力上的不足，通过清晰的文本-动作对应关系，提高动作编辑的灵活性和精确性。

个人AI助手，帮助管理注意力和专注

Monkai是您的个人AI助手，帮助您管理注意力、避免分心，并提供正念引导。它能帮助您远离Facebook、Instagram等分散注意力和不健康的网站，帮助您保持专注。它通过时间逐渐减少您在这些网站上的使用。Monkai采用人工智能（AI）技术，能够理解和引导您的数字习惯。您的隐私是我们的首要任务！我们使用先进的设备上联合学习技术，确保您的原始信息永远不会被存储或共享。

首个无需注意力机制的7B大规模模型

Falcon Mamba是由阿布扎比技术创新研究所（TII）发布的首个无需注意力机制的7B大规模模型。该模型在处理大型序列时，不受序列长度增加导致的计算和存储成本增加的限制，同时保持了与现有最先进模型相当的性能。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

MoBA 是一种用于长文本上下文的混合块注意力机制，旨在提升大语言模型的效率。

MoBA（Mixture of Block Attention）是一种创新的注意力机制，专为长文本上下文的大语言模型设计。它通过将上下文划分为块，并让每个查询令牌学习关注最相关的块，从而实现高效的长序列处理。MoBA 的主要优点是能够在全注意力和稀疏注意力之间无缝切换，既保证了性能，又提高了计算效率。该技术适用于需要处理长文本的任务，如文档分析、代码生成等，能够显著降低计算成本，同时保持模型的高性能表现。MoBA 的开源实现为研究人员和开发者提供了强大的工具，推动了大语言模型在长文本处理领域的应用。

通过 AI 冥想提高注意力和减轻压力

Bliss Brain 是一款利用人工智能技术创建定制冥想的应用。它可以根据你的需求生成个性化的冥想内容，帮助你提高注意力、减轻压力，并改善睡眠质量。你可以选择不同的目标，包括减压、缓解焦虑、增强注意力或改善睡眠质量。此外，你还可以选择不同的声音和背景音乐，以获得更丰富的冥想体验。Bliss Brain 为你提供 5、10 或 15 分钟的冥想时长，让冥想融入你的日常生活。

高效能混合专家注意力路由语言模型

Yuan2.0-M32是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。提出了一种新的路由网络——注意力路由，用于更高效的专家选择，提高了3.8%的准确性。该模型从零开始训练，使用了2000B个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。在编码、数学和各种专业领域表现出竞争力，仅使用3.7B个活跃参数，每个token的前向计算量仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。在MATH和ARC-Challenge基准测试中超越了Llama3-70B，准确率分别达到了55.9%和95.8%。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

优化的小型语言模型，适用于移动设备

MobileLLM是一种针对移动设备优化的小型语言模型，专注于设计少于十亿参数的高质量LLMs，以适应移动部署的实用性。与传统观念不同，该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构，结合嵌入共享和分组查询注意力机制，MobileLLM在准确性上取得了显著提升，并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外，MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进，并在API调用任务中接近LLaMA-v2 7B的正确性，突出了小型模型在普通设备用例中的能力。

高效序列模型的新进展

Mamba-2是Goomba AI Lab开发的一种新型序列模型，旨在提高机器学习社区中序列模型的效率和性能。它通过结构化状态空间对偶（SSD）模型，结合了状态空间模型（SSM）和注意力机制的优点，提供了更高效的训练过程和更大的状态维度。Mamba-2的设计允许模型在训练时利用矩阵乘法，从而提高了硬件效率。此外，Mamba-2在多查询关联记忆（MQAR）等任务中表现出色，显示出其在复杂序列处理任务中的潜力。

FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。

FlashInfer是一个专为大型语言模型（LLM）服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能，显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API，易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求，提供更高效、更可靠的推理支持。

捕捉用户注意力，将访问转化为潜在客户和销售

Superteam是一个捕捉用户注意力并将访问转化为潜在客户和销售的系统。它包括优化的订阅页面、价值为导向的电子邮件营销、持续的客户培养和建立关系等功能。Superteam可以帮助您提高转化率、增加销售和构建客户关系。我们每个月与4个客户合作，欢迎联系我们咨询可用性。

高效长序列大型语言模型推理技术

Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制，旨在提高基于Transformer的大型语言模型（LLM）在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度，同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容，无需额外训练或微调即可直接使用，并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用，进一步提升性能。

学习在任意分辨率下找到微弱边界

Boundary Attention 是一个可微分模型，它通过一种称为边界注意力的机制来明确地建模边界，包括轮廓、角点和交叉点。与之前的经典方法相比，我们的模型具有可微分性，可扩展到更大的图像，并且能够自动适应图像的每个部分的适当几何细节水平。与通过端到端训练找到边界的先前深度方法相比，它具有提供亚像素精度、对噪声更具鲁棒性以及能够以原生分辨率和纵横比处理任何图像的优势。

加速长上下文大型语言模型的预填充处理

MInference 1.0 是一种稀疏计算方法，旨在加速长序列处理的预填充阶段。它通过识别长上下文注意力矩阵中的三种独特模式，实现了对长上下文大型语言模型（LLMs）的动态稀疏注意力方法，加速了1M token提示的预填充阶段，同时保持了LLMs的能力，尤其是检索能力。

一款多层次潜在分解和融合的统一准确图像编辑工具

DesignEdit是一款集成了各种空间感知图像编辑功能的统一框架。它通过将空间感知图像编辑任务分解为多层潜在表征的分解和融合两个子任务来实现。首先将源图像的潜在表征分割为多个层,包括若干个目标层和一个需要可靠修复的不完整背景层。为了避免额外的调优,我们进一步探索了self-attention机制内部的修复能力,引入了一种key-masking self-attention方案,能够在遮蔽区域传播周围的上下文信息,同时降低对遮蔽区域外的影响。其次,我们提出了一种基于指令的潜在融合方法,将多层潜在表征贴在画布潜在空间上。我们还引入了一种潜在空间的伪影抑制机制来增强修复质量。由于这种多层表征固有的模块化优势,我们可以实现精确的图像编辑,并且我们的方法在多个编辑任务上都取得了出色的表现,超越了最新的空间编辑方法。

Flash-Decoding for long-context inference

Flash-Decoding是一种针对长上下文推理的技术，可以显著加速推理中的注意力机制，从而使生成速度提高8倍。该技术通过并行加载键和值，然后分别重新缩放和组合结果来维护正确的注意力输出，从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型，可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供，可以自动选择Flash-Decoding或FlashAttention方法，也可以使用高效的Triton内核。

深度学习、表示学习、细粒度分类

xinsir (qi) 是一个关于深度学习、表示学习和细粒度分类的产品。它提供了强大的功能和技术，具有主要优点和背景信息。该产品具有多个模型可供选择。

高级API，简化TensorFlow深度学习

TFLearn是一个基于TensorFlow的深度学习库，提供了一个高级API，用于实现深度神经网络。它具有易于使用和理解的高级API，快速的原型设计功能，全面的TensorFlow透明性，并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。

FlashMLA 是一个针对 Hopper GPU 优化的高效 MLA 解码内核，适用于变长序列服务。

FlashMLA 是一个针对 Hopper GPU 优化的高效 MLA 解码内核，专为变长序列服务设计。它基于 CUDA 12.3 及以上版本开发，支持 PyTorch 2.0 及以上版本。FlashMLA 的主要优势在于其高效的内存访问和计算性能，能够在 H800 SXM5 上实现高达 3000 GB/s 的内存带宽和 580 TFLOPS 的计算性能。该技术对于需要大规模并行计算和高效内存管理的深度学习任务具有重要意义，尤其是在自然语言处理和计算机视觉领域。FlashMLA 的开发灵感来源于 FlashAttention 2&3 和 cutlass 项目，旨在为研究人员和开发者提供一个高效的计算工具。

深度学习天气预测模型

GraphCast是由Google DeepMind开发的深度学习模型，专注于全球中期天气预报。该模型通过先进的机器学习技术，能够预测天气变化，提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用，有助于更好地理解和预测天气模式，对气象学、农业、航空等多个领域具有重要价值。

深入理解深度学习的原理与应用

《Understanding Deep Learning》是一本深入探讨深度学习原理和应用的书籍。它提供了丰富的数学背景知识、监督学习、神经网络的构建与训练等深度学习领域的全面内容。书中提供的Python笔记本练习帮助读者通过实践来加深理解。此外，还有为教师提供的资源，包括图像、幻灯片和教辅材料。

深度学习API，简单、灵活、强大

Keras是一个为人类设计的API，遵循最佳实践，简化认知负荷，提供一致而简单的API，最大限度地减少常见用例所需的用户操作次数，并提供清晰而可操作的错误信息。Keras旨在为任何希望推出基于机器学习的应用程序的开发人员提供不公平的优势。Keras专注于调试速度、代码优雅性和简洁性、可维护性和可部署性。使用Keras，您的代码库更小，更易读，更易于迭代。您的模型在XLA编译和Autograph优化的加持下运行更快，并且更容易在每个平台（服务器、移动设备、浏览器、嵌入式设备）上部署。

查看设计决策如何影响用户关注点

Dragonfly AI Extension 允许您使用Dragonfly AI的预测性注意力算法实时测量和分析任何数字体验的性能。模拟关键用户旅程，查看设计如何引导用户关注，并确定改善与商业和客户体验目标一致性的机会。

具有注意力下沉的高效流媒体语言模型

StreamingLLM是一种高效的语言模型，能够处理无限长度的输入，而不会牺牲效率和性能。它通过保留最近的令牌和注意力池，丢弃中间令牌，从而使模型能够从最近的令牌生成连贯的文本，而无需缓存重置。StreamingLLM的优势在于能够在不需要刷新缓存的情况下，从最近的对话中生成响应，而不需要依赖过去的数据。