产品库

一种自监督的视听特征对齐模型。

DenseAV是一种新颖的双编码器定位架构，通过观看视频学习高分辨率、语义有意义的视听对齐特征。它能够无需明确定位监督即可发现单词的“意义”和声音的“位置”，并且自动发现并区分这两种关联类型。DenseAV的定位能力来自于一种新的多头特征聚合操作符，它直接比较密集的图像和音频表示进行对比学习。此外，DenseAV在语义分割任务上显著超越了先前的艺术水平，并且在使用参数少于一半的情况下，在跨模态检索上超越了ImageBind。

自监督学习框架，用于音视觉语音处理

AV-HuBERT是一个自监督表示学习框架，专门用于音视觉语音处理。它在LRS3音视觉语音基准测试中实现了最先进的唇读、自动语音识别（ASR）和音视觉语音识别结果。该框架通过掩蔽多模态聚类预测来学习音视觉语音表示，并且提供了鲁棒的自监督音视觉语音识别。

视听源分离系统

PixelPlayer是一个能够通过观看大量无标注视频学会定位产生声音的图像区域并分离输入声音成一组表示每个像素声音的组件的系统。我们的方法利用视觉和听觉双模态的自然同步特点,在不需要额外人工标注的情况下学习联合解析声音和图像的模型。该系统使用大量包含不同乐器组合独奏和二重奏演奏的训练视频进行训练。对每个视频没有提供出现了哪些乐器、它们在哪里以及它们是什么声音的监督。在测试阶段,系统的输入是一个展示不同乐器演奏的视频和单声道听觉输入。系统执行音频视觉源分离和定位,将输入声音信号分离成N个声音通道,每个通道对应不同的乐器类别。此外,系统可以定位声音并为输入视频中的每个像素分配不同的音频波形。

构建无代码监督学习模型

Supervised AI是一个无代码AI开发平台，可帮助用户构建监督学习模型。利用OpenAI的GPT引擎，结合用户的数据，构建高准确性的AI模型。用户可以使用Supervised API将AI模型集成到任何地方。

DINOv2: 无监督学习的稳健视觉特征

DINOv2 是一种无监督学习的自我监督学习方法，可以生成高性能的视觉特征，适用于计算机视觉任务。它不需要微调，具有稳健性和跨领域性能。

自监督触觉表示，用于基于视觉的触觉传感。

Sparsh是一系列通过自监督算法（如MAE、DINO和JEPA）训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，并在TacBench提出的下游任务中大幅度超越端到端模型，同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。

一种基于潜在扩散模型的自监督层次化化妆迁移技术

SHMT是一种自监督的层次化化妆迁移技术，通过潜在扩散模型实现。该技术能够在不需要显式标注的情况下，将一种面部妆容自然地迁移到另一种面部上。其主要优点在于能够处理复杂的面部特征和表情变化，提供高质量的迁移效果。该技术在NeurIPS 2024上被接受，展示了其在图像处理领域的创新性和实用性。

通过LLM增强语义对齐的扩散模型适配器

ELLA（Efficient Large Language Model Adapter）是一种轻量级方法，可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力，使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器，从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征，有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越，尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。

Miqu 1-70b是一个开源的大规模语言模型

Miqu 1-70b是一个开源大规模语言模型,采用了新颖的自我监督学习方法,可以处理各种自然语言任务。该模型参数量达170亿,支持多种prompt格式,可fine-tuning生成高质量的文本。其强大的理解和生成能力,使其可广泛应用于聊天机器人、文本摘要、问答系统等领域。

学习模型间字符串关系，检查视觉世界

这篇论文系统评估了大型语言模型（LLMs）生成和识别逐渐复杂的视觉概念的能力，并展示了如何使用文本模型训练初步的视觉表示学习系统。虽然语言模型不能直接处理像素级的视觉信息，但使用代码表示图像进行研究。LLM 生成的图像虽然不像自然图像，但在图像生成和纠正方面的结果表明，准确建模字符串可以教会语言模型许多关于视觉世界的方面。此外，利用文本模型生成的图像进行自监督视觉表示学习的实验，突出了只使用 LLMs 就能训练能够对自然图像进行语义评估的视觉模型的潜力。

视频到音乐生成框架，实现音视频内容的语义对齐和节奏同步。

MuVi是一个创新的框架，它通过分析视频内容提取与上下文和时间相关的特征，生成与视频情绪、主题、节奏和节奏相匹配的音乐。该框架引入了对比性音乐-视觉预训练方案，确保音乐短语的周期性同步，并展示了基于流匹配的音乐生成器具有上下文学习能力，允许控制生成音乐的风格和类型。MuVi在音频质量和时间同步方面展现出优越的性能，为音视频内容的融合和沉浸式体验提供了新的解决方案。

1.58-bit量化的先进文本到图像生成模型

1.58-bit FLUX是一种先进的文本到图像生成模型，通过使用1.58位权重（即{-1, 0, +1}中的值）来量化FLUX.1-dev模型，同时保持生成1024x1024图像的可比性能。该方法无需访问图像数据，完全依赖于FLUX.1-dev模型的自监督。此外，开发了一种定制的内核，优化了1.58位操作，实现了模型存储减少7.7倍，推理内存减少5.1倍，并改善了推理延迟。在GenEval和T2I Compbench基准测试中的广泛评估表明，1.58-bit FLUX在保持生成质量的同时显著提高了计算效率。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

将静态肖像和输入音频转化为生动的动画对话视频

AniTalker是一个创新的框架，它能够从单一的肖像生成逼真的对话面部动画。它通过两个自监督学习策略增强了动作表现力，同时通过度量学习开发了一个身份编码器，有效减少了对标记数据的需求。AniTalker不仅能够创建详细且逼真的面部动作，还强调了其在现实世界应用中制作动态头像的潜力。

零样本图像编辑，一键模仿参考图像风格

MimicBrush是一种创新的图像编辑模型，它允许用户通过指定源图像中的编辑区域和提供一张野外参考图像来实现零样本图像编辑。该模型能够自动捕捉两者之间的语义对应关系，并一次性完成编辑。MimicBrush的开发基于扩散先验，通过自监督学习捕捉不同图像间的语义关系，实验证明其在多种测试案例下的有效性及优越性。

视频到声音的同步生成系统

Video-Foley是一个创新的视频到声音生成系统，它通过使用均方根(RMS)作为时间事件条件，结合语义音色提示（音频或文本），实现高控制性和同步性的视频声音合成。该系统采用无需标注的自监督学习框架，包括Video2RMS和RMS2Sound两个阶段，结合了RMS离散化和RMS-ControlNet等新颖概念，与预训练的文本到音频模型相结合。Video-Foley在声音时间、强度、音色和细节的音视频对齐和控制性方面达到了最先进的性能。

使用ComfyUI节点实现图像分割的库

ComfyUI-segment-anything-2是一个基于segment-anything-2模型的图像分割库，它允许用户通过ComfyUI节点轻松实现图像分割功能。该库目前处于开发阶段，但功能已经基本可用。它通过自动下载模型并集成到ComfyUI中，为用户提供了一个简单易用的图像分割解决方案。

智能视频对象分割技术

SAM是一个先进的视频对象分割模型，它结合了光学流动和RGB信息，能够发现并分割视频中的移动对象。该模型在单对象和多对象基准测试中均取得了显著的性能提升，同时保持了对象的身份一致性。

BEN2是一个基于深度学习的图像分割模型，专注于背景擦除和前景提取。

BEN2（Background Erase Network）是一个创新的图像分割模型，采用了Confidence Guided Matting（CGM）流程。它通过一个细化网络专门处理模型置信度较低的像素，从而实现更精确的抠图效果。BEN2在头发抠图、4K图像处理、目标分割和边缘细化方面表现出色。其基础模型是开源的，用户可以通过API或Web演示免费试用完整模型。该模型训练数据包括DIS5k数据集和22K专有分割数据集，能够满足多种图像处理需求。

零镜像分割框架

pix2gestalt是一个用于零镜像分割的框架，通过学习估计部分可见对象的整体形状和外观。利用大规模扩散模型，并将它们的表示转移到这一任务，学习用于在具有挑战性的零镜像情况下重建整个对象的条件扩散模型，包括打破自然和物理先验的艺术等例子。我们使用合成策划的数据集作为训练数据，其中包含遮挡对象及其完整对应物。实验证明，我们的方法在已建立的基准测试上优于监督基线。此外，我们的模型还可用于显著改善现有对象识别和三维重建方法在存在遮挡的情况下的性能。

利用 AI 技术，一键从图片中提取设计元素。

AI 智能图像分割是一款基于 Figma 的插件，利用先进的 Segment Anything 模型 (SAM) 和 🤗 Transformers.js 技术，为设计师和艺术家提供了一个交互式和精确的图像分割工具。它通过点击交互的方式，简化了从图像中提取对象或区域的过程，极大提升了设计效率，释放了创造力。该插件免费使用且开源，允许用户自定义并为其开发做出贡献。

星辰语义大模型，智能对话助手

TeleChat是由中电信人工智能科技有限公司研发的星辰语义大模型，具备强大的对话生成能力，支持多轮对话，适用于多种场景的智能问答和内容生成。模型经过大量高质量中英文语料训练，具备优秀的通用问答、知识类、代码类、数学类问答能力。

C++实现的零代码分割分割器

Sam是一个使用C++从头实现的图像分割模型。它能够对图像进行像素级分割,定位对象边界,无需任何额外代码和注释。Sam基于Meta的Segment Anything Model,利用Transformer架构进行端到端的图像分割预测。它提供了简单易用的C++接口,支持命令行和图形界面两种使用方式。Sam可以高效运行在CPU上,模型小巧,同时保证了良好的分割精度。它非常适合在需要高性能但无法使用GPU的嵌入式环境中部署和使用图像分割模型。

生成高质量中文方言语音的大规模文本到语音模型。

Bailing-TTS是由Giant Network的AI Lab开发的大型文本到语音(TTS)模型系列，专注于生成高质量的中文方言语音。该模型采用持续的半监督学习和特定的Transformer架构，通过多阶段训练过程，有效对齐文本和语音标记，实现中文方言的高质量语音合成。Bailing-TTS在实验中展现出接近人类自然表达的语音合成效果，对于方言语音合成领域具有重要意义。

将文本分割成 3000 个字的块

ChatGPT Text Divider是一个在线工具，可以将长篇文本分割成 3000 个字的块。它适用于需要处理大量文本的用户，例如研究人员、作家、编辑等。使用该工具，用户只需将文本粘贴进输入框，点击 “分割文本” 按钮即可得到分割后的文本块。用户还可以将分割后的文本块导出为文件以便后续处理。

自托管的网页数据抓取工具

Scraperr是一个自托管的网页数据抓取工具，允许用户通过指定XPath来抓取网页上的元素。用户可以提交URL和相应的元素进行抓取，结果会以表格形式展示，并支持下载为Excel文件。该工具的主要优点包括用户友好的界面、灵活的XPath选择器、批量处理能力以及对AI技术的支持。Scraperr适用于需要从网页上提取大量数据的用户，无论是研究人员、开发者还是市场营销人员。

学习联合视觉表示通过对齐前投影

Video-LLaVA 是一个用于学习联合视觉表示的模型，通过对齐前投影进行训练。它可以将视频和图像表示进行对齐，从而实现更好的视觉理解。该模型具有高效的学习和推理速度，适用于视频处理和视觉任务。

一个用于说话人分割的工具包

DiariZen是一个基于AudioZen和Pyannote 3.1驱动的说话人分割工具包。说话人分割是音频处理中的一个关键步骤，它能够将一段音频中的不同说话人进行区分。这项技术在会议记录、电话监控、安全监听等多个领域都有广泛的应用。DiariZen的主要优点包括易于使用、高准确性和开源，使得研究人员和开发者可以自由地使用和改进它。DiariZen在GitHub上以MIT许可证发布，这意味着它是完全免费的，并且可以被商业使用。

3D实例分割的创新方法

SAM-guided Graph Cut for 3D Instance Segmentation是一种利用3D几何和多视图图像信息进行3D实例分割的深度学习方法。该方法通过3D到2D查询框架，有效利用2D分割模型进行3D实例分割，通过图割问题构建超点图，并通过图神经网络训练，实现对不同类型场景的鲁棒分割性能。