PaliGemma 2是一款强大的视觉-语言模型,支持多种语言的图像和文本处理任务。
PaliGemma 2是由Google开发的视觉-语言模型,它结合了SigLIP视觉模型和Gemma 2语言模型的能力,能够处理图像和文本输入,并生成相应的文本输出。该模型在多种视觉-语言任务上表现出色,如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构以及在多种任务上的优异性能。PaliGemma 2的开发背景是为了解决视觉和语言之间的复杂交互问题,帮助研究人员和开发者在相关领域取得突破。
基于Segment-Anything-2和Segment-Anything-1的自动全视频分割工具
AutoSeg-SAM2是一个基于Segment-Anything-2(SAM2)和Segment-Anything-1(SAM1)的自动全视频分割工具,它能够对视频中的每个对象进行追踪,并检测可能的新对象。该工具的重要性在于它能够提供静态分割结果,并利用SAM2对这些结果进行追踪,这对于视频内容分析、对象识别和视频编辑等领域具有重要意义。产品背景信息显示,它是由zrporz开发的,并且是基于Facebook Research的SAM2和zrporz自己的SAM1。价格方面,由于这是一个开源项目,因此它是免费的。
掌握开放世界交互的视觉-时间上下文提示模型
ROCKET-1是一个视觉-语言模型(VLMs),专门针对开放世界环境中的具身决策制定而设计。该模型通过视觉-时间上下文提示协议,将VLMs与策略模型之间的通信连接起来,利用来自过去和当前观察的对象分割来指导策略-环境交互。ROCKET-1通过这种方式,能够解锁VLMs的视觉-语言推理能力,使其能够解决复杂的创造性任务,尤其是在空间理解方面。ROCKET-1在Minecraft中的实验表明,该方法使代理能够完成以前无法实现的任务,突出了视觉-时间上下文提示在具身决策制定中的有效性。
从单目视频生成高质量4D对象的新型框架
DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架,能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场(NeRF)或显式的高斯绘制作为底层表示,解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感,将高斯绘制绑定到三角网格表面,实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格,通过均匀采样稀疏点来构建变形图,以提高计算效率并提供额外的约束。通过两阶段学习,结合参考视图光度损失、得分蒸馏损失以及其他正则化损失,实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法,并且其基于网格的表示与现代几何流程兼容,展示了其在3D游戏和电影行业的潜力。
告别传统繁琐做表流程,智能自动化Excel编辑。
AEE(Auto Excel Editor)是一款在线AI全自动Excel编辑器,它通过先进的人工智能技术,实现了对Excel表格的全自动化逻辑操作。用户只需输入简单的提示语,AEE便能自动完成智能录入、自动插入公式、样式修改、生成数据、生成模板、增删改查等任务,极大地提升了工作效率。AEE的背景是针对传统Excel操作繁琐、学习成本高的问题,旨在通过智能化手段简化Excel使用流程,让非专业人士也能轻松处理数据。
下一代视频和图像实时对象分割模型。
Meta Segment Anything Model 2 (SAM 2)是Meta公司开发的下一代模型,用于视频和图像中的实时、可提示的对象分割。它实现了最先进的性能,并且支持零样本泛化,即无需定制适配即可应用于之前未见过的视觉内容。SAM 2的发布遵循开放科学的方法,代码和模型权重在Apache 2.0许可下共享,SA-V数据集也在CC BY 4.0许可下共享。
文本引导的无形状物体修复模型
Diffree是一个基于文本引导的图像修复模型,它能够通过文本描述来添加新对象到图像中,同时保持背景的一致性、空间适宜性和对象的相关性和质量。该模型通过训练在OABench数据集上,使用稳定扩散模型和额外的掩码预测模块,能够独特地预测新对象的位置,实现仅通过文本指导的对象添加。
学术文献中表格和图表的识别工具
TF-ID是一个由Yifei Hu创建的用于从学术论文中提取表格和图表的对象检测模型系列。这些模型基于microsoft/Florence-2检查点进行微调,提供带或不带标题文本的版本,旨在提高学术文献信息的可访问性和处理效率。
AI 图像擦除器,轻松删除照片中不需要的人、物体、文字和水印。
AI 图像擦除器是一款基于人工智能技术的工具,能够快速、简单地从照片中删除不需要的内容,提高照片的整体质量。该工具操作简便,免费使用,适用于个人和专业用户。
智能视频对象分割技术
SAM是一个先进的视频对象分割模型,它结合了光学流动和RGB信息,能够发现并分割视频中的移动对象。该模型在单对象和多对象基准测试中均取得了显著的性能提升,同时保持了对象的身份一致性。
免费的去除水印和物体的工具
Inpaint-web 是一款永久免费的在线工具,只需一点击即可去除照片中的不想要对象,同时提供修复瑕疵功能。其独特的照片去除和修复功能让用户轻松实现照片编辑需求。用户无需下载安装任何软件,直接在网页上使用。Inpaint-web 定位于为用户提供便捷、高效的照片编辑解决方案。
任何人都可以成为动画师
Animatives 是一款强大的停格动画和延时摄影应用,任何人都可以使用它制作精美的动画。它不仅具有传统停格动画和延时摄影功能,还可以通过加入虚拟对象来提升视频或停格动画项目的视觉体验。您可以通过应用内的绘图工具绘制孩子的画作或导入任何图像,并为它们添加动画效果,完美契合您的叙述。Animatives 轻松让您讲述自己的故事,激发您的想象力和创造力。
实现在任意场景视频中插入照片实物的视频生成框架
Anything in Any Scene是一个用于在现有动态视频中无缝插入任何物体的通用框架,强调物理真实性。该框架包含三个关键过程:1) 将真实物体与给定场景视频相结合,确保几何真实性;2) 估计天空和环境光照分布,模拟逼真阴影,增强光照真实性;3) 采用风格迁移网络,提高最终视频输出的逼真度。该框架能生成具有高度几何真实性、光照真实性和逼真度的模拟视频。
哄你的虚拟男/女朋友
哄哄模拟器基于AI技术,通过语言技巧和沟通能力,在限定次数内让对方原谅你,挑战你的情商和沟通技巧。用户可以选择各种场景进行模拟,如应对女友生气、陪酒应酬、解决矛盾等情境。产品定位于提升用户情商和沟通技巧。
AI内容替换框架,保留对象身份
ReplaceAnything是一款基于AI的框架,可用于生成新内容并保持用户指定对象的身份。它适用于各种场景,如人物替换、服装替换和背景替换。该框架利用人工智能技术,可以精确地识别和替换图像中的对象,同时保持对象的身份不变。ReplaceAnything具有高度的灵活性和准确性,可以广泛应用于图像处理领域。
通过文本生成3D场景中的对象插入
InseRF是一种通过文本提示和2D边界框在NeRF重建的3D场景中生成新对象的方法。它能够从用户提供的文本描述和一个参考视点中的2D边界框中生成新的3D对象,并将其插入到场景中。该方法能够在不需要显式3D信息的情况下实现可控的、与3D一致的对象插入。通过在多个3D场景中进行试验,证明了InseRF方法相对于现有方法的有效性。
SIGNeRF - 快速、可控的NeRF场景编辑和场景集成对象生成
SIGNeRF是一种用于快速和可控的NeRF场景编辑以及场景集成对象生成的新方法。它引入了一种新的生成更新策略,确保在编辑图像时保持3D一致性,而无需进行迭代优化。SIGNeRF利用了ControlNet的深度条件图像扩散模型的优势,通过几个简单的步骤在单个前向传递中编辑现有的NeRF场景。它可以生成新的对象到现有的NeRF场景中,也可以编辑已存在的对象,从而实现对场景的精确控制。
虚拟试穿、物体移动
AnyDoor 是一种基于扩散的图像生成器,可以在用户指定的位置将目标对象以和谐的方式传送到新场景中。我们的模型只需要训练一次,就可以轻松推广到不同的对象和场景组合中,无需为每个对象调整参数。为了充分描述某个特定对象,我们除了使用常用的身份特征外,还补充了细节特征,这些特征经过精心设计,既能保持纹理细节,又能允许多样的局部变化(如光照、方向、姿势等),从而使对象与不同的环境更好地融合。我们还提出从视频数据集中借用知识的方法,在视频数据集中可以观察到同一对象的各种形态(沿时间轴),从而增强模型的泛化能力和鲁棒性。大量实验证明了我们方法的优越性,以及它在虚拟试穿和物体移动等实际应用中的巨大潜力。
© 2025 AIbase 备案号:闽ICP备08105208号-14