产品库

视频理解领域的新型状态空间模型，提供视频建模的多功能套件。

Video Mamba Suite 是一个用于视频理解的新型状态空间模型套件，旨在探索和评估Mamba在视频建模中的潜力。该套件包含14个模型/模块，覆盖12个视频理解任务，展示了在视频和视频-语言任务中的高效性能和优越性。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

理解复杂视频，作诗配文的AI视频模型

MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。基于MiniGPT-v2，结合视觉主干EVA-CLIP，训练多阶段阶段，包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。

利用视觉令牌与语言令牌的等距离关系，实现可靠的视频叙述。

Vista-LLaMA是一种先进的视频语言模型，旨在改善视频理解。它通过保持视觉令牌与语言令牌之间的一致距离，无论生成文本的长度如何，都能减少与视频内容无关的文本产生。这种方法在计算视觉与文本令牌之间的注意力权重时省略了相对位置编码，使视觉令牌在文本生成过程中的影响更为显著。Vista-LLaMA还引入了一个顺序视觉投影器，能够将当前视频帧投影到语言空间的令牌中，捕捉视频内的时间关系，同时减少了对视觉令牌的需求。在多个开放式视频问答基准测试中，该模型的表现显著优于其他方法。

一种用于虚拟试穿任务的扩散模型，特别在真实世界场景中提高图像保真度和细节保存。

IDM-VTON是一种新型的扩散模型，用于基于图像的虚拟试穿任务，它通过结合视觉编码器和UNet网络的高级语义以及低级特征，生成具有高度真实感和细节的虚拟试穿图像。该技术通过提供详细的文本提示，增强了生成图像的真实性，并通过定制方法进一步提升了真实世界场景下的保真度和真实感。

轻量级但功能强大的多模态模型家族。

Bunny 是一系列轻量级但功能强大的多模态模型，提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择，构建更丰富的训练数据，以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs（7B）模型，并与 13B 模型性能相当。

多模态知识图谱补全工具

MyGO是一个用于多模态知识图谱补全的工具，它通过将离散模态信息作为细粒度的标记来处理，以提高补全的准确性。MyGO利用transformers库对文本标记进行嵌入，进而在多模态数据集上进行训练和评估。它支持自定义数据集，并且提供了训练脚本以复现实验结果。

一张图提供人脸，另一张提供发型，第三张提供发色，最终合成一张完整的图片。

HairFastGAN是一种用于高分辨率、接近实时性能和出色重建的发型转移方法。该方法包括在StyleGAN的FS潜在空间中运行的新架构、增强的修复方法以及用于更好的对齐、颜色转移和后处理的改进编码器。在最困难的情况下,该方法可以在不到一秒的时间内将发型形状和颜色从一张图片转移到另一张图片。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

文本编码器微调技术，提升文本到图像生成模型性能

TextCraftor是一种创新的文本编码器微调技术，能够显著提升文本到图像生成模型的性能。通过奖励函数优化，它改善了图像质量与文本对齐，无需额外数据集。

通用视觉-语义物体检测，无需任务特定调优

T-Rex2是一种范式突破的物体检测技术,能够识别从日常到深奥的各种物体,无需任务特定调优或大量训练数据集。它将视觉和文本提示相结合,赋予其强大的零射能力,可广泛应用于各种场景的物体检测任务。T-Rex2综合了四个组件:图像编码器、视觉提示编码器、文本提示编码器和框解码器。它遵循DETR的端到端设计原理,涵盖多种应用场景。T-Rex2在COCO、LVIS、ODinW和Roboflow100等四个学术基准测试中取得了最优秀的表现。

HyperGAI推出的创新多模态LLM框架，旨在理解和处理文本、图像、视频等多种输入模态

HPT（Hyper-Pretrained Transformers）是HyperGAI研究团队推出的新型多模态大型语言模型框架，它能够高效且可扩展地训练大型多模态基础模型，理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练，也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。

用于NASA科学任务的基于RoBERTa的转换模型

nasa-smd-ibm-v0.1是一个基于RoBERTa的编码器转换模型,针对NASA科学任务进行了域适应优化。它在与NASA科学任务相关的科学期刊和文章上进行了微调训练,旨在增强自然语言技术,如信息检索和智能搜索等。该模型具有1.25亿个参数,使用掩码语言模型进行预训练。可用于命名实体识别、信息检索、句子转换、可扩展问答等任务,专门定位于NASA科学任务相关的科学用例。

增强自然语言技术用于NASA科学任务方向的信息检索和智能搜索

nasa-smd-ibm-st是一个基于Bi-encoder的句子转换模型,由nasa-smd-ibm-v0.1编码器模型进行了微调训练。它使用了2.71亿个训练样本以及260万个来自NASA科学任务方向(SMD)文档的领域特定样本进行训练。该模型旨在增强自然语言技术,如信息检索和智能搜索,以应用于SMD的自然语言处理任务。该模型可广泛用于信息检索、句子相似度搜索等NASA SMD相关的科学用例。

Transformer Debugger是由OpenAI的Superalignment团队开发的用于调查小型语言模型特定行为的工具

Transformer Debugger结合了自动化可解释性和稀疏自编码器技术，支持在编写代码之前进行快速探索，并能够在前向传递中进行干预，以观察其如何影响特定行为。它通过识别对行为有贡献的特定组件（神经元、注意力头、自编码器潜在表示），展示自动生成的解释来说明这些组件为何强烈激活，并追踪组件间的连接以帮助发现电路。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

Snap视频:用于文本到视频合成的可扩展空间时间转换器

Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。

FiT是一种基于transformer的无限制分辨率和纵横比的图片生成模型。

FiT是一个基于transformer的无限制分辨率和纵横比的图像生成模型。它能够生成任意分辨率和纵横比的图片。FiT的优势在于能够进行无限制分辨率的外推生成,展现了卓越的分辨率拓展生成能力。FiT使用了transformer作为主要架构,并在ImageNet数据集上进行预训练。

基于PyTorch的生成式音频模型库

stable-audio-tools是一个开源的PyTorch库,提供了用于条件音频生成的生成模型的训练和推理代码。包括自动编码器、隐式扩散模型、MusicGen等。支持多GPU训练,可以生成高质量的音频。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

一款强大的多模态小语言模型

Imp项目旨在提供一系列强大的多模态小语言模型（MSLMs）。我们的imp-v1-3b是一个拥有30亿参数的强大MSLM，它建立在一个小而强大的SLM Phi-2（27亿）和一个强大的视觉编码器SigLIP（4亿）之上，并在LLaVA-v1.5训练集上进行了训练。Imp-v1-3b在各种多模态基准测试中明显优于类似模型规模的对手，甚至在各种多模态基准测试中表现略优于强大的LLaVA-7B模型。

预训练T5模型，采用段落破坏和替换标记检测

SpacTor是一种新的训练程序，包括（1）结合了段落破坏（SC）和标记替换检测（RTD）的混合目标，以及（2）一个两阶段课程，该课程在初始tau次迭代中优化混合目标，然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验，使用编码器-解码器架构（T5），SpacTor-T5在下游性能方面与标准的SC预训练相当，同时减少了50%的预训练迭代次数和40%的总FLOPs。另外，在相同的计算预算下，我们发现SpacTor能够显著提高下游基准性能。

基于视觉语言基础模型的胸部X光解读

CheXagent是一个基于视觉语言基础模型的胸部X光解读工具。它利用临床大型语言模型来解析放射学报告，视觉编码器用于表示X光图像，并设计了一个网络来桥接视觉和语言模态。此外，CheXagent还引入了CheXbench，一个旨在系统评估基于视觉语言基础模型在8个临床相关的胸部X光解读任务上的性能的新型基准。经过广泛的定量评估和与五名专家放射科医生的定性评审，CheXagent在CheXbench任务上的表现优于先前开发的通用和医学领域的基础模型。

个性化图像复原,保留面部特征

本文提出了一种简单有效的个性化图像复原方法,名为双枢纽调谐。该方法包含两个步骤:1) 通过微调条件性生成模型来利用编码器中的条件信息进行个性化;2) 固定生成模型,调节编码器的参数以适应强化的个性化先验。这可以生成保留个性化面部特征以及图像退化属性的自然图像。实验证明,与非个性化方法相比,该方法可以生成更高保真度的面部图像。

多模态文档理解模型

DocLLM是一个提供多模态文档理解模型的平台，旨在处理企业文档中的文本和空间布局，并提供优于现有大型语言模型的性能。其模型采用轻量级扩展，避免昂贵的图像编码器，专注于边界框信息以纳入空间布局结构。通过分解经典Transformer中的注意机制，捕获文本和空间模态之间的交叉对齐。此外，设计了一个预训练目标，学习填充文本段落，以解决视觉文档中经常遇到的不规则布局和异质内容。该解决方案在14个任务的16个数据集中优于现有大型语言模型，并且对5个以前未见数据集具有良好的泛化能力。

LLaVA-3b是一种基于Dolphin 2.6 Phi进行微调的模型，使用SigLIP 400M的视觉塔以LLaVA方式进行微调。模型具有多个图像标记、使用视觉编码器的最新层输出等特点。

LLaVA-3b是一种基于Dolphin 2.6 Phi进行微调的模型，使用SigLIP 400M的视觉塔以LLaVA方式进行微调。模型具有多个图像标记、使用视觉编码器的最新层输出等特点。此模型基于Phi-2，受微软研究许可证约束，禁止商业使用。感谢ML Collective提供的计算资源积分。

导出你与GPT的对话

Export GPT是一个插件，可以将你与预训练的transformer模型的对话导出为可分享的PDF文件。

音频智能平台™ | 面向企业和开发者的智能音乐 AI

The Audio Intelligence Platform™是一款面向企业和开发者的音频智能平台。它提供了一系列先进的 Complementary AI™ 模型，可用于音频分离、转录、混音、母带制作、生成器、编码器、效果处理等多个领域。该平台拥有用户友好的界面、强大的性能和安全保障，可为您的项目提供创新和便捷的音频解决方案。

W.A.L.T是一个基于变分扩散模型的实景视频生成方法

W.A.L.T是一个基于transformer的实景视频生成方法,通过联合压缩图像和视频到一个统一的潜在空间,实现跨模态的训练和生成。它使用了窗注意力机制来提高内存和训练效率。该方法在多个视频和图像生成基准测试上取得了最先进的性能。