产品库

BEN2是一个基于深度学习的图像分割模型，专注于背景擦除和前景提取。

BEN2（Background Erase Network）是一个创新的图像分割模型，采用了Confidence Guided Matting（CGM）流程。它通过一个细化网络专门处理模型置信度较低的像素，从而实现更精确的抠图效果。BEN2在头发抠图、4K图像处理、目标分割和边缘细化方面表现出色。其基础模型是开源的，用户可以通过API或Web演示免费试用完整模型。该模型训练数据包括DIS5k数据集和22K专有分割数据集，能够满足多种图像处理需求。

PaliGemma 2是一款强大的视觉-语言模型，支持多种语言的图像和文本处理任务。

PaliGemma 2是由Google开发的视觉-语言模型，它结合了SigLIP视觉模型和Gemma 2语言模型的能力，能够处理图像和文本输入，并生成相应的文本输出。该模型在多种视觉-语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构以及在多种任务上的优异性能。PaliGemma 2的开发背景是为了解决视觉和语言之间的复杂交互问题，帮助研究人员和开发者在相关领域取得突破。

视频非可见物体分割与内容补全的先进研究

这是一个由卡内基梅隆大学提出的视频非可见物体分割和内容补全的模型。该模型通过条件生成任务的方式，利用视频生成模型的基础知识，对视频中的可见物体序列进行处理，以生成包括可见和不可见部分的物体掩码和RGB内容。该技术的主要优点包括能够处理高度遮挡的情况，并且能够对变形物体进行有效的处理。此外，该模型在多个数据集上的表现均优于现有的先进方法，特别是在物体被遮挡区域的非可见分割上，性能提升高达13%。

WePOINTS项目，提供多模态模型的统一框架

WePOINTS是由微信AI团队开发的一系列多模态模型，旨在创建一个统一框架，容纳各种模态。这些模型利用最新的多模态模型进展和技术，推动内容理解和生成的无缝统一。WePOINTS项目不仅提供了模型，还包括了预训练数据集、评估工具和使用教程，是多模态人工智能领域的重要贡献。

基于InternViT-300M-448px的增强版本，提升视觉特征提取能力。

InternViT-300M-448px-V2_5是一个基于InternViT-300M-448px的增强版本，通过采用ViT增量学习与NTP损失（Stage 1.5），提升了视觉编码器提取视觉特征的能力，尤其是在大规模网络数据集中代表性不足的领域，如多语言OCR数据和数学图表等。该模型是InternViT 2.5系列的一部分，保留了与前代相同的“ViT-MLP-LLM”模型架构，并集成了新的增量预训练的InternViT与各种预训练的LLMs，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。

基于Segment-Anything-2和Segment-Anything-1的自动全视频分割工具

AutoSeg-SAM2是一个基于Segment-Anything-2（SAM2）和Segment-Anything-1（SAM1）的自动全视频分割工具，它能够对视频中的每个对象进行追踪，并检测可能的新对象。该工具的重要性在于它能够提供静态分割结果，并利用SAM2对这些结果进行追踪，这对于视频内容分析、对象识别和视频编辑等领域具有重要意义。产品背景信息显示，它是由zrporz开发的，并且是基于Facebook Research的SAM2和zrporz自己的SAM1。价格方面，由于这是一个开源项目，因此它是免费的。

高效分离图像前景与背景的模型

RMBG-2.0是由BRIA AI开发的背景移除模型，旨在有效分离图像中的前景和背景。该模型在包括通用库存图像、电子商务、游戏和广告内容的精选数据集上进行了训练，适合商业用例，能够大规模驱动企业内容创作。其准确性、效率和多功能性可与领先的开源模型相媲美。RMBG-2.0是作为源代码可用的模型，用于非商业用途。

掌握开放世界交互的视觉-时间上下文提示模型

ROCKET-1是一个视觉-语言模型(VLMs)，专门针对开放世界环境中的具身决策制定而设计。该模型通过视觉-时间上下文提示协议，将VLMs与策略模型之间的通信连接起来，利用来自过去和当前观察的对象分割来指导策略-环境交互。ROCKET-1通过这种方式，能够解锁VLMs的视觉-语言推理能力，使其能够解决复杂的创造性任务，尤其是在空间理解方面。ROCKET-1在Minecraft中的实验表明，该方法使代理能够完成以前无法实现的任务，突出了视觉-时间上下文提示在具身决策制定中的有效性。

一个用于说话人分割的工具包

DiariZen是一个基于AudioZen和Pyannote 3.1驱动的说话人分割工具包。说话人分割是音频处理中的一个关键步骤，它能够将一段音频中的不同说话人进行区分。这项技术在会议记录、电话监控、安全监听等多个领域都有广泛的应用。DiariZen的主要优点包括易于使用、高准确性和开源，使得研究人员和开发者可以自由地使用和改进它。DiariZen在GitHub上以MIT许可证发布，这意味着它是完全免费的，并且可以被商业使用。

从单目视频生成高质量4D对象的新型框架

DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。

开源的语音识别和说话人分割模型推理代码

Reverb 是一个开源的语音识别和说话人分割模型推理代码，使用 WeNet 框架进行语音识别 (ASR) 和 Pyannote 框架进行说话人分割。它提供了详细的模型描述，并允许用户从 Hugging Face 下载模型。Reverb 旨在为开发者和研究人员提供高质量的语音识别和说话人分割工具，以支持各种语音处理任务。

轻松分割图片，适用于社交媒体和创意项目。

Instagram Splitter是一个在线工具，允许用户将一张大图分割成多个小图。这个工具可以按照用户指定的行和列进行分割，或者简单地将图片分割成上下或左右两半。它广泛应用于社交媒体、网页设计、打印和创意项目。Instagram Splitter的主要优点是操作简单、界面直观、支持多种图片格式，并且可以将分割后的图片打包成一个ZIP文件下载，为用户提供了便捷的体验。

细粒度对象切割工具，用于精确编辑图像。

finegrain-object-cutter 是一个基于Hugging Face Spaces平台的图像编辑工具，它利用先进的机器学习技术来实现对图像中对象的细粒度切割。该工具的主要优点在于其高精度和易用性，用户可以通过简单的操作来实现复杂的图像编辑任务。它特别适合需要对图像进行精细处理的设计师和开发者，可以广泛应用于图像编辑、增强现实、虚拟现实等领域。

用于手术视频分割的先进模型

Segment Anything 2 for Surgical Video Segmentation 是一个基于Segment Anything Model 2的手术视频分割模型。它利用先进的计算机视觉技术，对手术视频进行自动分割，以识别和定位手术工具，提高手术视频分析的效率和准确性。该模型适用于内窥镜手术、耳蜗植入手术等多种手术场景，具有高精度和高鲁棒性的特点。

高精度图像分割技术，适用于多种场景。

BiRefNet是一款专注于高精度图像分割的模型，它利用双边参考技术实现高分辨率的二元图像分割。这项技术在教育、医疗、地理等多个领域都有广泛的应用，特别是在需要精确分割图像以进行进一步分析的场合，如医学成像、自动驾驶车辆等。

基于OpenAI Whisper的自动语音识别与说话人分割

whisper-diarization是一个结合了Whisper自动语音识别(ASR)能力、声音活动检测(VAD)和说话人嵌入技术的开源项目。它通过提取音频中的声音部分来提高说话人嵌入的准确性，然后使用Whisper生成转录文本，并通过WhisperX校正时间戳和对齐，以减少由于时间偏移导致的分割错误。接着，使用MarbleNet进行VAD和分割以排除静音，TitaNet用于提取说话人嵌入以识别每个段落的说话人，最后将结果与WhisperX生成的时间戳关联，基于时间戳检测每个单词的说话人，并使用标点模型重新对齐以补偿小的时间偏移。

3D实例分割的创新方法

SAM-guided Graph Cut for 3D Instance Segmentation是一种利用3D几何和多视图图像信息进行3D实例分割的深度学习方法。该方法通过3D到2D查询框架，有效利用2D分割模型进行3D实例分割，通过图割问题构建超点图，并通过图神经网络训练，实现对不同类型场景的鲁棒分割性能。

AI驱动的图像分割工具，实现精准的背景与前景分离。

Matting by Generation是一个利用人工智能技术进行图像分割的在线工具。它能够识别图像中的前景和背景，实现精准分离，广泛应用于设计、视频制作和图像编辑等领域。产品的主要优点包括高效率、易操作和高质量的分割效果。

使用ComfyUI节点实现图像分割的库

ComfyUI-segment-anything-2是一个基于segment-anything-2模型的图像分割库，它允许用户通过ComfyUI节点轻松实现图像分割功能。该库目前处于开发阶段，但功能已经基本可用。它通过自动下载模型并集成到ComfyUI中，为用户提供了一个简单易用的图像分割解决方案。

用于训练通用目标分割模型的视频数据集

SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集，包含51K个多样化视频和643K个时空分割掩模（masklets）。该数据集用于计算机视觉研究，允许在CC BY 4.0许可下使用。视频内容多样，包括地点、对象和场景等主题，掩模从建筑物等大规模对象到室内装饰等细节不等。