DesignEdit

DesignEdit是一款集成了各种空间感知图像编辑功能的统一框架。它通过将空间感知图像编辑任务分解为多层潜在表征的分解和融合两个子任务来实现。首先将源图像的潜在表征分割为多个层,包括若干个目标层和一个需要可靠修复的不完整背景层。为了避免额外的调优,我们进一步探索了self-attention机制内部的修复能力,引入了一种key-masking self-attention方案,能够在遮蔽区域传播周围的上下文信息,同时降低对遮蔽区域外的影响。其次,我们提出了一种基于指令的潜在融合方法,将多层潜在表征贴在画布潜在空间上。我们还引入了一种潜在空间的伪影抑制机制来增强修复质量。由于这种多层表征固有的模块化优势,我们可以实现精确的图像编辑,并且我们的方法在多个编辑任务上都取得了出色的表现,超越了最新的空间编辑方法。

需求人群:

"用于各种精确的图像编辑场景,如对象移除、多目标编辑、摄像头平移、装饰移除、字体编辑等"

使用场景示例:

在源图像上移除某个目标对象

在源图像上交换、重新摆放、调整大小、添加或翻转多个目标对象

在源图像上进行摄像头平移或缩放操作

产品特色:

多层次潜在表征分解

基于指令的潜在融合

自注意力机制的内部修复能力

潜在空间的伪影抑制

支持多种精确图像编辑任务

浏览量:873

打开站点

网站流量情况

最新流量情况

月访问量

975

平均访问时长

00:00:00

每次访问页数

1.03

跳出率

38.69%

流量来源

直接访问

30.75%

自然搜索

38.30%

邮件

0.25%

外链引荐

13.07%

社交媒体

15.39%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

瑞典

100.00%

类似产品

精准图像编辑,一站式满足多任务需求

Emu Edit是一款多任务图像编辑模型,通过识别和生成任务完成精准图像编辑,并在此领域内取得了最新的技术突破。Emu Edit的架构针对多任务学习进行了优化,并在众多任务上进行训练,包括基于区域的编辑、自由形式的编辑以及检测和分割等计算机视觉任务。除此之外,为了更有效地处理这多种任务,我们引入了学习到的任务嵌入概念,用于指导生成过程以正确执行编辑指令。我们的模型经过多任务训练和使用学习到的任务嵌入都能显著提升准确执行编辑指令的能力。 Emu Edit还支持对未见任务的快速适应,通过任务倒转实现少样本学习。在这个过程中,我们保持模型权重不变,仅更新任务嵌入来适应新任务。我们的实验证明,Emu Edit能够迅速适应新任务,如超分辨率、轮廓检测等。这使得在标注样本有限或计算预算有限的情况下,使用Emu Edit进行任务倒转特别有优势。 为了支持对基于指令的图像编辑模型的严格且有根据的评估,我们还收集并公开发布了一个新的基准数据集,其中包含七种不同的图像编辑任务:背景修改(background)、综合图像变化(global)、风格修改(style)、对象移除(remove)、对象添加(add)、局部修改(local)以及颜色/纹理修改(texture)。此外,为了与Emu Edit进行正确比较,我们还分享了Emu Edit在数据集上的生成结果。 Emu Edit 2023 Meta保留所有版权

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图