产品库

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

AI 聊天模型，长短对话都能胜任

StripedHyena-Nous-7B 是一种 AI 聊天模型，基于 StripedHyena 架构，可处理长短对话，具有快速解码和高吞吐量的优势。它使用先进的序列模型，具有多头注意力和门控卷积等功能。模型在 Nous Research 的合作下开发，并经过优化，可处理长达 32k 的序列。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

训练无关的运动克隆，实现可控视频生成

MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

低延迟语音模型，生成逼真语音

Sonic是由Carteisa团队开发的低延迟语音模型，旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构，以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒，是同类模型中最快的。Carteisa团队专注于优化智能的效率，使它更快、更便宜、更易于访问。Sonic模型的发布，标志着实时对话式AI和长期记忆的计算平台的初步进展，预示着未来AI在实时游戏、客户支持等领域的新体验。

从零开始实现Llama3模型

这是一个开源项目，作者naklecha从零开始实现了Llama3模型，这是一个大型语言模型。项目提供了详细的代码实现，包括模型的各个组成部分，如注意力机制、前馈网络等。通过这个项目，开发者可以深入理解大型语言模型的工作原理，同时也可以在此基础上进行自己的实验和改进。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

视频理解领域的新型状态空间模型，提供视频建模的多功能套件。

Video Mamba Suite 是一个用于视频理解的新型状态空间模型套件，旨在探索和评估Mamba在视频建模中的潜力。该套件包含14个模型/模块，覆盖12个视频理解任务，展示了在视频和视频-语言任务中的高效性能和优越性。

多模态扩散生成艺术图像

CreativeSynth是一款创新的统一框架，基于扩散模型，具有协调多模态输入和多任务处理的能力。通过将多模态特征与定制的注意力机制相结合，CreativeSynth实现了将现实语义内容导入艺术领域，通过反演和实时风格转换精确操纵图像风格和内容，同时保持原始模型参数的完整性。严格的定性和定量评估凸显了CreativeSynth在增强艺术图像的保真度方面的优势，并保留了它们固有的美学本质。通过弥合生成模型与艺术精髓之间的鸿沟，CreativeSynth成为定制数字调色板。

视觉状态空间模型，线性复杂度，全局感知

VMamba是一种视觉状态空间模型，结合了卷积神经网络（CNNs）和视觉Transformer（ViTs）的优势，实现了线性复杂度而不牺牲全局感知。引入了Cross-Scan模块（CSM）来解决方向敏感问题，能够在各种视觉感知任务中展现出优异的性能，并且随着图像分辨率的增加，相对已有基准模型表现出更为显著的优势。

I2V-Adapter是一种用于视频扩散模型的通用图像到视频适配器。

I2V-Adapter旨在将静态图像转换为动态、逼真的视频序列，同时保持原始图像的保真度。它使用轻量级适配器模块并行处理带噪声的视频帧和输入图像。此模块充当桥梁，有效地将输入连接到模型的自注意力机制，保持空间细节，无需更改T2I模型的结构。I2V-Adapter参数少于传统模型，并确保与现有的T2I模型和控制工具兼容。实验结果表明，I2V-Adapter能够生成高质量的视频输出，这对于AI驱动的视频生成，尤其是创意应用领域，具有重大意义。

W.A.L.T是一个基于变分扩散模型的实景视频生成方法

W.A.L.T是一个基于transformer的实景视频生成方法,通过联合压缩图像和视频到一个统一的潜在空间,实现跨模态的训练和生成。它使用了窗注意力机制来提高内存和训练效率。该方法在多个视频和图像生成基准测试上取得了最先进的性能。

Flash-Decoding for long-context inference

Flash-Decoding是一种针对长上下文推理的技术，可以显著加速推理中的注意力机制，从而使生成速度提高8倍。该技术通过并行加载键和值，然后分别重新缩放和组合结果来维护正确的注意力输出，从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型，可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供，可以自动选择Flash-Decoding或FlashAttention方法，也可以使用高效的Triton内核。

文本兼容图像提示适配器，用于文本到图像扩散模型。

IP-Adapter是一款轻量级的适配器，可为预训练的文本到图像扩散模型实现图像提示功能。其关键设计是解耦的交叉注意力机制，可将文本特征和图像特征的交叉注意力层分离。IP-Adapter不仅可以与现有的可控工具兼容，还可以与文本提示一起实现多模态图像生成。与其他现有方法相比，IP-Adapter不仅在图像质量方面表现更好，而且可以生成更符合多模态提示的图像。

基于扩散模型实现的图片编辑方案

DragonDiffusion 是一种基于扩散模型的精细化图片编辑方案，支持对象移动、对象调整大小、对象外观替换和内容拖拽等多种编辑模式。通过特征对应损失将编辑信号转化为梯度，修改扩散模型的中间表示。特征对应损失考虑了语义和几何对齐的多个尺度，并添加了跨分支自注意力机制以保持原始图像和编辑结果的一致性。

分布式长视频生成技术

Video-Infinity 是一种分布式长视频生成技术，能够在5分钟内生成2300帧的视频，速度是先前方法的100倍。该技术基于VideoCrafter2模型，采用了Clip Parallelism和Dual-scope Attention等创新技术，显著提高了视频生成的效率和质量。

自动驾驶与视觉语言模型的融合

DriveVLM是一个自动驾驶系统，它利用视觉语言模型(VLMs)来增强场景理解和规划能力。该系统通过独特的推理模块组合，包括场景描述、场景分析和分层规划，以提高对复杂和长尾场景的理解。此外，为了解决VLMs在空间推理和计算需求上的局限性，提出了DriveVLM-Dual，这是一个混合系统，结合了DriveVLM的优势和传统自动驾驶流程。在nuScenes数据集和SUP-AD数据集上的实验表明，DriveVLM和DriveVLM-Dual在处理复杂和不可预测的驾驶条件方面非常有效。最终，DriveVLM-Dual在生产车辆上进行了部署，验证了其在现实世界自动驾驶环境中的有效性。

AI驱动的协作白板解决方案

BloxGPT是一个结合人工智能技术的在线协作白板平台，它通过AI的辅助，使得用户能够在一个共享的数字空间内进行创意思考和团队协作。该平台支持多种工具和功能，帮助用户提高工作效率，促进团队成员之间的沟通与协作。

实时问题报告与团队协作工具

Wallow是一个致力于提高团队协作效率和问题解决能力的产品。它通过实时问题报告、统一的产品空间、AI驱动的分析等功能，帮助团队成员更好地连接和协作，将愿景转化为现实。产品的主要优点包括实时性、统一性、智能化和易用性，适合从初创企业到大型企业的各个发展阶段。

实验室数字化助手，提升科研效率。

Ascenscia是一个专门针对科学实验室设计的AI语音助手，通过与实验室软件和机器的集成，实现免提交互，加速数据收集，优化工作流程，减少错误，并加速研发周期。产品具备97%的准确率理解复杂科学术语，支持端到端加密确保数据安全，提供多语言服务，并可定制以适应不同实验室的独特需求。

为构建者提供一个被发现和发现他人的地方

Sage是一个由buildspace团队开发的平台，旨在为构建者、创业者和创意人士提供一个展示自己作品、技能和项目的空间。它允许用户相互发现并建立联系，促进合作和交流。Sage的主要优点在于其社区驱动的特性，以及为构建者提供展示和被发掘的机会。

个性化学习平台，提升学习效率。

KnoWhiz是一个在线教育平台，专注于将课程转化为高效、个性化的学习计划。它提供个性化的闪卡、结构化学习模块和即时反馈的测验，帮助用户更快地实现学习目标。平台支持按月或按年订阅，提供基础、高级和专业三种不同的学习计划。

AI驱动的SQL查询生成工具

SQLPilot是一个基于人工智能的SQL查询生成工具，旨在帮助用户快速生成复杂的SQL查询。它支持PostgreSQL和MySQL数据库，并且提供多种GPT模型以供选择。SQLPilot的主要优点包括不限数据库连接数量、SQL自动补全功能以及对用户隐私和数据安全的承诺。此外，它还提供了结果下载功能，并计划推出图形和图表查看结果的功能。

利用知识图谱和文档网络增强语言模型性能

Knowledge Graph RAG 是一个开源的Python库，它通过创建知识图谱和文档网络来增强大型语言模型（LLM）的性能。这个库允许用户通过图谱结构来搜索和关联信息，从而为语言模型提供更丰富的上下文。它主要应用于自然语言处理领域，尤其是在文档检索和信息抽取任务中。

智能卖货主播，提升销售效率，增强购物体验。

Streamer-Sales 销冠 —— 卖货主播大模型是一个基于商品特点进行解说并激发用户购买意愿的智能模型。它通过深度理解商品特点，以生动、精准的语言为商品量身打造解说词，让每一件商品都焕发出诱人的光彩。无论是线上直播销售还是线下门店推广，这款模型都能成为销售的得力助手，提升销售效率，增强用户体验，为品牌形象加分。

智能卖货主播，提升销售效率，增强用户体验。

Streamer-Sales 销冠 —— 卖货主播大模型是一个基于InternLM2微调而来的AI模型，能够根据商品特点进行解说，激发用户的购买意愿。它适用于线上直播销售和线下门店推广，可以显著提升销售效率和用户体验，为品牌形象加分。该模型通过智能解说，使商品细节和整体效果更加生动、精准，从而吸引消费者。

智能卖货主播大模型，提升销售效率，增强购物体验。

Streamer-Sales 销冠是一个基于大语言模型的智能卖货主播系统，它能够根据商品特点从激发用户购买意愿的角度出发进行商品解说。该模型在 InternLM2 的基础上通过指令微调而来，集成了 LMDeploy 加速推理，支持 ASR 语音生成文字，RAG 检索增强生成，Agent 网络查询等功能，并通过 TTS 技术生成带有感情的语音，最终生成主播数字人视频，为商品解说提供全方位的技术支持。