产品库

基于预训练的纯视觉变换器提升图像抠图

ViTMatte是一个基于预训练纯视觉变换器（Plain Vision Transformers, ViTs）的图像抠图系统。它利用混合注意力机制和卷积颈部来优化性能与计算之间的平衡，并引入了细节捕获模块以补充抠图所需的细节信息。ViTMatte是首个通过简洁的适配释放ViT在图像抠图领域潜力的工作，继承了ViT在预训练策略、简洁的架构设计和灵活的推理策略等方面的优势。在Composition-1k和Distinctions-646这两个最常用的图像抠图基准测试中，ViTMatte达到了最先进的性能，并以较大优势超越了先前的工作。

3s一键抠图，快速去除背景

美图抠图是一款全品类AI智能抠图工具，可以快速去除图片背景。它具有抠细节、保留发丝细节、无损高清画质等功能，可以应用于人像、宠物、商品、图标等多种场景。除了抠图功能外，美图抠图还提供换背景、滤镜、改尺寸、边缘优化、投影、描边、画质修复等多种设计工具。定价灵活，使用简单方便。

使用预训练扩散模型制作视觉错觉

Visual Anagrams是一种简单的、零样本方法，用于生成多视角视觉错觉。我们展示了理论和实践证明，我们的方法支持广泛的变换，包括旋转、翻转、颜色反转、倾斜、拼图重排和随机排列等。我们的方法使用预训练扩散模型来估计图像的不同视角或变换中的噪声，并将其对齐并平均。然后使用这个平均噪声估计来进行扩散步骤。使用Visual Anagrams，您可以制作出多种多视角视觉错觉。

一键去除背景，智能抠图工具。

美间美盒是一款 AI 智能在线抠图工具，通过一键去除背景功能，用户可以轻松获得高质量透明图像，无需复杂的 Photoshop 基础，简单快捷。该工具的主要优点在于精准的发丝级抠图，支持多种图片格式和尺寸，帮助用户快速完成抠图任务。

大规模自回归图像模型预训练

这篇论文介绍了AIM，这是一组使用自回归目标进行预训练的视觉模型。这些模型受其文本对应物，即大型语言模型（LLMs）的启发，并表现出类似的扩展特性。具体来说，我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。我们通过在20亿张图像上对70亿参数的AIM进行预训练，实现了在ImageNet-1k上使用冻结主干达到84.0%的准确率。有趣的是，即使在这个规模上，我们观察到性能没有饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLMs的预训练，并不需要任何图像特定的策略来稳定大规模训练。

一键抠图,上传图片即可自动去除背景

cutout.ai是一个在线抠图工具,用户只需上传图片,即可通过AI技术自动识别图像主体,去除背景实现抠图效果。它支持抠离人像、产品、动物、汽车等不同类型的图像,操作简单方便,一键即可完成抠图。该工具采用前沿的人工智能技术,抠图精准度高,可广泛应用于电商商品图片制作、设计素材制作等场景,大大提升工作效率。

SeedVR: 一种用于通用视频修复的扩散变换器模型

SeedVR 是一种创新的扩散变换器模型，专门用于处理真实世界中的视频修复任务。该模型通过其独特的移位窗口注意力机制，能够高效地处理任意长度和分辨率的视频序列。SeedVR 的设计使其在生成能力和采样效率方面都取得了显著的提升，相较于传统的扩散模型，它在合成和真实世界的基准测试中均表现出色。此外，SeedVR 还结合了因果视频自编码器、混合图像和视频训练以及渐进式训练等现代实践，进一步提高了其在视频修复领域的竞争力。作为一种前沿的视频修复技术，SeedVR 为视频内容创作者和后期制作人员提供了一种强大的工具，能够显著提升视频质量，尤其是在处理低质量或损坏的视频素材时。

离线且免费的AI抠图工具

鲜艺AI抠图是一款内嵌AI模型的桌面客户端软件，支持快速且准确的图片抠图，无需联网即可使用，适用于需要快速处理图片背景的用户。产品背景是满足用户在不同场景下对图片抠图的需求，无需专业技能即可操作，具有方便快捷、易于使用的特点。

一种用于扩散变换器的上下文LoRA微调技术

In-Context LoRA是一种用于扩散变换器（DiTs）的微调技术，它通过结合图像而非仅仅文本，实现了在保持任务无关性的同时，对特定任务进行微调。这种技术的主要优点是能够在小数据集上进行有效的微调，而不需要对原始DiT模型进行任何修改，只需改变训练数据即可。In-Context LoRA通过联合描述多张图像并应用任务特定的LoRA微调，生成高保真度的图像集合，更好地符合提示要求。该技术对于图像生成领域具有重要意义，因为它提供了一种强大的工具，可以在不牺牲任务无关性的前提下，为特定任务生成高质量的图像。

利用扩散变换器生成高质量的3D资产。

3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。

PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型（Diffusion Transformer）

PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型，相较于前身PixArt-α，它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程，它通过结合更高质量的数据，从“较弱”的基线模型进化到“更强”的模型，这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。

一种基于扩散变换器网络的高动态、逼真肖像图像动画技术。

Hallo3是一种用于肖像图像动画的技术，它利用预训练的基于变换器的视频生成模型，能够生成高度动态和逼真的视频，有效解决了非正面视角、动态对象渲染和沉浸式背景生成等挑战。该技术由复旦大学和百度公司的研究人员共同开发，具有强大的泛化能力，为肖像动画领域带来了新的突破。

InstantCharacter 是一种基于扩散变换器的角色个性化框架。

InstantCharacter 是一个基于扩散变换器的角色个性化框架，旨在克服现有学习基础自定义方法的局限性。该框架的主要优点在于开放域个性化、高保真结果以及有效的角色特征处理能力，适合各种角色外观、姿势和风格的生成。该框架利用一个包含千万级样本的大规模数据集进行训练，以实现角色一致性和文本可编辑性的同时优化。该技术为角色驱动的图像生成设定了新的基准。

预训练T5模型，采用段落破坏和替换标记检测

SpacTor是一种新的训练程序，包括（1）结合了段落破坏（SC）和标记替换检测（RTD）的混合目标，以及（2）一个两阶段课程，该课程在初始tau次迭代中优化混合目标，然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验，使用编码器-解码器架构（T5），SpacTor-T5在下游性能方面与标准的SC预训练相当，同时减少了50%的预训练迭代次数和40%的总FLOPs。另外，在相同的计算预算下，我们发现SpacTor能够显著提高下游基准性能。

视频生成的轨迹导向扩散变换器

Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。

智能一键抠图、高清、修复、转卡通

图可丽利用人工智能和计算机视觉的力量，提供各种产品，使生活更容易，工作更富有成效。提供一键抠图、视频抠图、照片动漫化等功能，满足不同用户需求。

文档智能的视觉引导生成文本布局预训练模型

ViTLP是一个视觉引导的生成文本布局预训练模型，旨在提高文档智能处理的效率和准确性。该模型结合了OCR文本定位和识别功能，能够在文档图像上进行快速准确的文本检测和识别。ViTLP模型的预训练版本ViTLP-medium（380M参数）在计算资源和预训练数据集规模的限制下，提供了一个平衡的解决方案，既保证了模型的性能，又优化了推理速度和内存使用。ViTLP的推理速度在Nvidia 4090上处理一页文档图像通常在5到10秒内，与大多数OCR引擎相比具有竞争力。

开源多模态预训练模型，具备中英双语对话能力。

GLM-4V-9B是智谱AI推出的新一代预训练模型，支持1120*1120高分辨率下的中英双语多轮对话，以及视觉理解能力。在多模态评测中，GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

MakeAnything 是一个用于多领域程序化序列生成的扩散变换器模型。

MakeAnything 是一个基于扩散变换器的模型，专注于多领域程序化序列生成。该技术通过结合先进的扩散模型和变换器架构，能够生成高质量的、逐步的创作序列，如绘画、雕塑、图标设计等。其主要优点在于能够处理多种领域的生成任务，并且可以通过少量样本快速适应新领域。该模型由新加坡国立大学 Show Lab 团队开发，目前以开源形式提供，旨在推动多领域生成技术的发展。

第二代多模态预训练对话模型

CogVLM2是由清华大学团队开发的第二代多模态预训练对话模型，它在多个基准测试中取得了显著的改进，支持8K内容长度和1344*1344的图像分辨率。CogVLM2系列模型提供了支持中文和英文的开源版本，能够与一些非开源模型相媲美的性能。

一种用于图像和视频的视觉分割基础模型。

Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型，它通过简单的变换器架构和流式内存设计，实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎，收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练，提供了在广泛任务和视觉领域中的强大性能。

谷歌推出的开源预训练语言模型

Gemma-2b是谷歌推出的开源预训练语言模型系列,提供了多个不同规模的变体。它可以生成高质量的文本,广泛应用于问答、摘要、推理等领域。相比其他同类模型,它模型规模较小,可以部署在不同的硬件环境中。Gemma系列追求安全、高效的人工智能技术,使更多研究者和开发者可以接触前沿的语言模型技术。

基于 Transformer 的预训练语言模型系列

Qwen1.5 是基于 Transformer 架构的解码器语言模型系列，包括不同规模的模型。具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力等特性。支持多种自然语言和代码。推荐进行后续训练，如 SFT、RLHF 等。定价免费。

训练无关的区域提示扩散变换器模型

Regional-Prompting-FLUX是一种训练无关的区域提示扩散变换器模型，它能够在无需训练的情况下，为扩散变换器（如FLUX）提供细粒度的组合文本到图像生成能力。该模型不仅效果显著，而且与LoRA和ControlNet高度兼容，能够在保持高速度的同时减少GPU内存的使用。

一键实现通用抠图，灵活处理图像背景

ImageTools是一款通用抠图工具，通过先进的计算机视觉算法，精确自动地从照片中移除背景，突显主体。适用于图像编辑、广告设计、电商等场景，提供用户在各种情境中展示图像主体的灵活性和创造空间。

探索多模态扩散变换器中的注意力控制，实现无需调优的多提示长视频生成

DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的视频生成模型，它专注于无需额外训练即可生成具有多个连续提示的连贯场景视频。该模型通过分析MM-DiT的注意力机制，实现了在不同提示间精确的语义控制和注意力共享，从而生成具有平滑过渡和一致对象运动的视频。DiTCtrl的主要优点包括无需训练、能够处理多提示视频生成任务，并能展示电影风格的过渡效果。此外，DiTCtrl还提供了一个新基准MPVBench，专门用于评估多提示视频生成的性能。

Qihoo-T2X，一款针对文本到任意任务的高效扩散变换器模型。

Qihoo-T2X是由360CVGroup开发的一个开源项目，它代表了一种创新的文本到任意任务（Text-to-Any）的扩散变换器（DiT）架构范式。该项目旨在通过代理令牌技术，提高文本到任意任务的处理效率。Qihoo-T2X项目是一个正在进行中的项目，其团队承诺将持续优化和增强其功能。

多语言预训练语言模型

「书生·浦语2.0」InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练,在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列模型包含多种规模,用户可以选择合适的模型进行下游任务微调或构建聊天机器人等应用。

基于AI的先进图像抠图软件，提供精准背景去除。

Aiarty Image Matting是一款适用于AI PC的先进图像抠图软件，采用高级alpha抠图技术处理头发、毛发及透明物体，并实现前景与背景的无缝融合。该产品利用深度学习技术，通过320K HQ 4K图像训练数据集，提供4个AI模型用于智能抠图，3种算法用于边缘优化，以及4个手动调节工具和5种内置效果。它适用于电商和设计领域，能够批量替换产品图像背景，智能识别物体，一次性替换背景，处理最多3000张产品照片。产品背景信息显示，首发限免活动将于2024年12月2日结束，之后将转为付费软件。