产品库

提供干净的视觉特征

去噪视觉变换器（Denoising Vision Transformers，DVT）是一种针对视觉变换器（ViTs）的新型噪声模型。通过解剖ViT输出并引入可学习的去噪器，DVT能够提取无噪声的特征，从而在离线应用和在线功能中显著改善基于Transformer的模型的性能。DVT不需要重新训练现有的预训练ViTs，可立即应用于任何基于Transformer的架构。通过在多个数据集上进行广泛评估，我们发现DVT在语义和几何任务中持续显著改善现有的最先进通用模型（例如，+3.84 mIoU）。我们希望我们的研究能够鼓励重新评估ViT设计，特别是关于位置嵌入的天真使用。

基于FLUX.1-dev的高级人像生成模型

AWPortrait-FL是一个在FLUX.1-dev基础上进行微调的高级人像生成模型，使用了AWPortrait-XL训练集和近2000张高质量时尚摄影照片进行训练。该模型在构图和细节上有着显著的提升，能够生成皮肤和纹理更加细腻、逼真的人像。由DynamicWang在AWPlanet上训练完成。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

快速生成带纹理的3D模型

SF3D是一个基于深度学习的3D资产生成模型，它能够从单张图片中快速生成具有UV展开和材质参数的带纹理3D模型。与传统方法相比，SF3D特别针对网格生成进行了训练，集成了快速UV展开技术，能够迅速生成纹理而不是依赖顶点颜色。此外，该模型还能学习材质参数和法线贴图，以提高重建模型的视觉质量。SF3D还引入了一个去照明步骤，有效去除低频照明效果，确保重建的网格在新的照明条件下易于使用。

通过监控器让肖像动起来！

Live_Portrait_Monitor 是一个开源项目，旨在通过监控器或网络摄像头实现肖像动画化。该项目基于LivePortrait研究论文，使用深度学习技术，通过拼接和重定向控制来高效地实现肖像动画。作者正积极更新和改进此项目，仅供研究使用。

谷歌下一代Gemma模型，提供突破性的性能和效率。

Gemma 2是下一代谷歌Gemma模型，拥有27亿参数，提供与Llama 3 70B相当的性能，但模型大小仅为其一半。它在NVIDIA的GPU上运行优化，或在Vertex AI上的单个TPU主机上高效运行，降低了部署成本，使更广泛的用户能够访问和使用。Gemma 2还提供了强大的调优工具链，支持云解决方案和社区工具，如Google Cloud和Axolotl，以及与Hugging Face和NVIDIA TensorRT-LLM的无缝合作伙伴集成。

通过对比对齐进行 Pure 和 Lightning ID 定制

PuLID 是一个专注于人脸身份定制的深度学习模型，通过对比对齐技术实现高保真度的人脸身份编辑。该模型能够减少对原始模型行为的干扰，同时提供多种应用，如风格变化、IP融合、配饰修改等。

高效3D网格生成框架

InstantMesh是一个基于LRM架构的前馈框架，用于从单张图像高效生成3D网格。它支持低内存GPU环境，并能生成具有纹理映射的3D网格模型。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

img2img-turbo是一个基于img2img的改进版本，用于快速图像到图像的转换

img2img-turbo是一个开源项目，它是对原始img2img项目的改进，旨在提供更快的图像到图像转换速度。该项目使用了先进的深度学习技术，能够处理各种图像转换任务，如风格迁移、图像着色、图像修复等。

将2D RGB照片和视频转换为3D空间照片和视频

Depthify.ai是一个工具，可以将RGB图像转换为与Apple Vision Pro和Meta Quest兼容的各种空间格式。通过转换RGB图像为空间照片，可以为各种计算机视觉和3D建模应用提供支持。它可以生成深度图、立体图像和HEIC文件，可在Apple Vision Pro上使用。

MovieLLM是一个用于增强长视频理解的AI生成电影框架

MovieLLM由复旦大学和腾讯PCG提出，是一个创新框架，旨在为长视频创建合成的、高质量的数据。该框架利用GPT-4和文本到图像模型的力量，生成详细的脚本和相应的视觉内容。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

快速智能去背景

RMBG是一个基于人工智能的图像背景去除工具,可以在几秒内自动去掉图片中的背景。该工具使用前沿的深度学习算法,无需任何人工操作就可以快速高效地实现图片背景的消除。RMBG完全免费,用户可以随意上传图片进行处理,非常方便。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

释放大规模未标记数据的力量

Depth Anything是一个高度实用的解决方案，用于稳健的单目深度估计。我们旨在构建一个简单而强大的基础模型，处理任何情况下的任何图像，而不追求新颖的技术模块。为此，我们通过设计数据引擎来扩大数据集，收集并自动注释大规模未标记数据（约62M），从而显着扩大数据覆盖范围，从而能够减少泛化误差。我们研究了两种简单而有效的策略，使数据扩展变得有前途。首先，通过利用数据增强工具创建更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得强大的表示。其次，开发了辅助监督，以强制模型从预训练编码器中继承丰富的语义先验。我们对其零-shot能力进行了广泛评估，包括六个公共数据集和随机拍摄的照片。它展现出令人印象深刻的泛化能力。此外，通过使用来自NYUv2和KITTI的度量深度信息对其进行微调，我们建立了新的SOTAs。我们更好的深度模型也导致更好的深度条件ControlNet。我们的模型发布在https://github.com/LiheYoung/Depth-Anything。

一款基于深度学习的在线图像抠图工具

image-matting是一个基于深度学习的在线图像抠图工具,能够实现人像及通用场景下的图像抠图,可提取图像中的主体物体并输出对应的背景图、前景图及遮罩。该工具使用了模型堂的cv_unet_image-matting和cv_unet_universal-matting模型,实现了高质量的图像抠图效果。该工具提供了简单便捷的在线抠图体验,支持图片上传抠图及URL抠图两种方式,可广泛应用于图像编辑、电商平台中的人像处理等场景中。

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

一个统一的用于图像和视频对象分割的模型

UniRef是一个统一的用于图像和视频参考对象分割的模型。它支持语义参考图像分割(RIS)、少样本分割(FSS)、语义参考视频对象分割(RVOS)和视频对象分割(VOS)等多种任务。UniRef的核心是UniFusion模块,它可以高效地将各种参考信息注入到基础网络中。 UniRef可以作为SAM等基础模型的插件组件使用。UniRef提供了在多个基准数据集上训练好的模型,同时也开源了代码以供研究使用。

强悍的实时图像生成

StreamDiffusion 是一种用于实时交互式生成的创新扩散管道。它为当前基于扩散的图像生成技术引入了显著的性能增强。StreamDiffusion 通过高效的批处理操作简化数据处理流程。它提供了改进的引导机制，最小化计算冗余。通过先进的过滤技术提高 GPU 利用率。它还有效地管理输入和输出操作，以实现更顺畅的执行。StreamDiffusion 优化了缓存策略，提供了多种模型优化和性能增强工具。

AI照片增强和编辑工具提供商

VanceAI提供AI增强、放大、锐化、去噪、去背景等多种功能，只需一键即可轻松处理照片。所有AI工具都可在线或通过“免费下载”软件使用。VanceAI旨在通过有效的AI解决方案提高照片处理效率。与传统的基于数学运算的工具不同，VanceAI擅长处理真实细节。它的AI工具基于数百万张图像训练的深度卷积神经网络（DCNN），能够进行智能分析和快速处理。

AI图像增强工具

magickimg是一款AI驱动的图像增强平台，利用深度学习技术优化和转换您的照片，发挥其最大潜力。体验创意与技术的交集，进行先进的AI图像编辑。

模糊图片秒转高清图

清图是一款基于深度学习技术的图像处理工具，能够将模糊图片快速转换为高清图。它采用先进的算法对图片进行重建，使得图片的细节更加清晰、锐利。清图还提供抠图、证件照处理、黑白图片上色、图片超级压缩、修改图片 DPI 等功能。它适用于个人用户、摄影师、设计师等多个场景。

帮助客户发现全球公有云厂商可用的GPU实例

GPU Finder是一个帮助客户发现全球公有云厂商可用的GPU实例的平台。通过GPU Finder，用户可以快速查找各大公有云厂商提供的GPU实例，并比较它们的价格、配置和性能等信息，从而选择最适合自己需求的GPU实例。无论是进行机器学习、深度学习、图像处理还是科学计算，GPU Finder都能帮助用户快速找到合适的GPU实例。平台上提供了丰富的过滤和排序功能，让用户可以根据自己的需求进行精准的筛选，从而节省时间和成本。无论是初学者还是有经验的开发者，都可以轻松使用GPU Finder来发现和租用合适的GPU实例。

AI图像修复模型，用于填补图像中的缺失部分。

FLUX.1-dev-Controlnet-Inpainting-Alpha是由AlimamaCreative Team发布的AI图像修复模型，专门用于修复和填补图像中的缺失或损坏部分。该模型在768x768分辨率下表现最佳，能够实现高质量的图像修复。作为alpha版本，它展示了在图像修复领域的先进技术，并且随着进一步的训练和优化，预计将提供更加卓越的性能。

基于FLUX.1-dev模型的图像修复工具

FLUX-Controlnet-Inpainting 是由阿里妈妈创意团队发布的基于FLUX.1-dev模型的图像修复工具。该工具利用深度学习技术对图像进行修复，填补缺失部分，适用于图像编辑和增强。它在768x768分辨率下表现最佳，能够提供高质量的图像修复效果。目前该工具处于alpha测试阶段，未来将推出更新版本。

通过统一的端到端模型实现OCR-2.0

GOT-OCR2.0是一个开源的OCR模型，旨在通过一个统一的端到端模型推动光学字符识别技术向OCR-2.0迈进。该模型支持多种OCR任务，包括但不限于普通文本识别、格式化文本识别、细粒度OCR、多裁剪OCR和多页OCR。它基于最新的深度学习技术，能够处理复杂的文本识别场景，并且具有较高的准确率和效率。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。