智能视频对象分割技术
SAM是一个先进的视频对象分割模型,它结合了光学流动和RGB信息,能够发现并分割视频中的移动对象。该模型在单对象和多对象基准测试中均取得了显著的性能提升,同时保持了对象的身份一致性。
图像材质迁移技术
ZeST是由牛津大学、Stability AI 和 MIT CSAIL 研究团队共同开发的图像材质迁移技术,它能够在无需任何先前训练的情况下,实现从一张图像到另一张图像中对象的材质迁移。ZeST支持单一材质的迁移,并能处理单一图像中的多重材质编辑,用户可以轻松地将一种材质应用到图像中的多个对象上。此外,ZeST还支持在设备上快速处理图像,摆脱了对云计算或服务器端处理的依赖,大大提高了效率。
基于视觉观察自动估计人体及服装的物理参数的框架
PhysAvatar是一个结合逆向渲染和逆向物理的创新框架,可以从多视角视频数据中自动估计人体形状、外表以及服装的物理参数。它采用网格对齐的4D高斯时空网格跟踪技术和基于物理的逆向渲染器来估计内在的材料属性。PhysAvatar集成了物理模拟器,使用基于梯度的优化方法以原理性的方式估计服装的物理参数。这些创新能力使PhysAvatar能够在训练数据之外的运动和照明条件下,渲染出高质量的穿着宽松衣服的新视角头像。
为开源世界构建高质量视频数据集的计划
Open-Sora-Plan是一个开源项目,旨在为开源社区提供高质量的视频数据集。该项目已经爬取并处理了40258个来自开源网站的高质量视频,涵盖了60%的横屏视频。同时还提供了自动生成的密集字幕,供机器学习等应用使用。该项目免费开源,欢迎大家共同参与和支持。
Jax 库,计算机视觉研究及更多
Scenic 是一个专注于基于注意力模型的计算机视觉研究的代码库,提供优化训练和评估循环、基线模型等功能,适用于图像、视频、音频等多模态数据。提供 SOTA 模型和基线,支持快速原型设计,价格免费。
华为开源自研AI框架
华为开源自研AI框架MindSpore。自动微分、并行加持,一次训练,可多场景部署。支持端边云全场景的深度学习训练推理框架,主要应用于计算机视觉、自然语言处理等AI领域,面向数据科学家、算法工程师等人群。主要具备基于源码转换的通用自动微分、自动实现分布式并行训练、数据处理、以及图执行引擎等功能特性。借助自动微分,轻松训练神经网络。框架开源,华为培育AI开发生态。
一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法
ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。
通用视觉-语义物体检测,无需任务特定调优
T-Rex2是一种范式突破的物体检测技术,能够识别从日常到深奥的各种物体,无需任务特定调优或大量训练数据集。它将视觉和文本提示相结合,赋予其强大的零射能力,可广泛应用于各种场景的物体检测任务。T-Rex2综合了四个组件:图像编码器、视觉提示编码器、文本提示编码器和框解码器。它遵循DETR的端到端设计原理,涵盖多种应用场景。T-Rex2在COCO、LVIS、ODinW和Roboflow100等四个学术基准测试中取得了最优秀的表现。
StyleSketch:利用有限数据通过生成模型先验提取风格化面部素描
StyleSketch是一种从面部图像中提取高分辨率风格化素描的方法。该方法利用预训练StyleGAN的深层特征的丰富语义,能够仅使用16对人脸和相应素描图像对来训练素描生成器。通过分阶段学习中的部分损失,StyleSketch能够快速收敛并提取高质量的素描。与现有的最先进素描提取方法和少量样本图像适应方法相比,StyleSketch在提取高分辨率抽象面部素描的任务上表现更优。
CVPR 2024会议论文项目,用于零样本视频翻译的空间-时间对应方法
FRESCO是一个用于零样本视频翻译的框架,它通过引入帧内和帧间对应关系来建立更强大的空间-时间约束,从而确保跨帧的语义相似内容的一致性转换。该方法显著提高了翻译视频的视觉连贯性,并在产生高质量、连贯视频方面取得了显著效果。
使用LLMs和计算机视觉自动化基于浏览器的工作流程
Skyvern是一个自动化工具,它结合了大型语言模型(LLMs)和计算机视觉技术,用于自动化基于浏览器的工作流程。它提供了一个简单的API端点,可以完全自动化手动工作流程,替代易碎或不可靠的自动化解决方案。
用于准确渲染视觉文本的定制文本编码器
Glyph-ByT5是一种定制的文本编码器,旨在提高文本到图像生成模型中的视觉文本渲染准确性。它通过微调字符感知的ByT5编码器并使用精心策划的成对字形文本数据集来实现。将Glyph-ByT5与SDXL集成后,形成了Glyph-SDXL模型,使设计图像生成中的文本渲染准确性从低于20%提高到接近90%。该模型还能够实现段落文本的自动多行布局渲染,字符数量从几十到几百字符都能保持较高的拼写准确性。此外,通过使用少量高质量的包含视觉文本的真实图像进行微调,Glyph-SDXL在开放域真实图像中的场景文本渲染能力也有了大幅提升。这些令人鼓舞的成果旨在鼓励进一步探索为不同具有挑战性的任务设计定制的文本编码器。
高影响力广告平台
LensAI是一个基于人工智能的上下文广告平台,通过视频和图像分析将广告直接放置在对象中,实现有效的流量变现。LensAI识别对象、标志、动作和上下文,并将其与相关广告进行匹配,精细调整定向,提供显著的广告效果和高回报率。LensAI提供了先进的图片和视频广告解决方案,为数字广告生态系统的所有关键利益相关者带来了利益。
用于精细文本控制图像生成的空间对齐文本注入
FineControlNet是一个基于Pytorch的官方实现,用于生成可通过空间对齐的文本控制输入(如2D人体姿势)和实例特定的文本描述来控制图像实例的形状和纹理的图像。它可以使用从简单的线条画作为空间输入,到复杂的人体姿势。FineControlNet确保了实例和环境之间自然的交互和视觉协调,同时获得了Stable Diffusion的质量和泛化能力,但具有更多的控制能力。
无需相机校准信息的密集立体3D重建
DUSt3R是一种新颖的密集和无约束立体3D重建方法,适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息,通过将成对重建问题视为点图的回归,放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法,并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构,利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息,并且可以从中恢复像素匹配、相对和绝对相机信息。
计算机视觉自动化和RPA工具
U-xer是一款基于计算机视觉的测试自动化和RPA工具,旨在自动化屏幕上看到的任何内容,包括Web和桌面应用程序。它具有易用和高级两种模式,可以满足非技术用户和高级用户的不同需求。U-xer能够识别屏幕,像人类一样解释屏幕内容,实现更自然、准确的自动化。它适用于各种应用场景,包括Web应用程序、桌面软件、移动设备等,并提供定制化解决方案。U-xer的定价和定位请查看官方网站。
YOLOv8目标检测跟踪模型
YOLOv8是YOLO系列目标检测模型的最新版本,能够在图像或视频中准确快速地识别和定位多个对象,并实时跟踪它们的移动。相比之前版本,YOLOv8在检测速度和精确度上都有很大提升,同时支持多种额外的计算机视觉任务,如实例分割、姿态估计等。YOLOv8可通过多种格式部署在不同硬件平台上,提供一站式的端到端目标检测解决方案。
基于视频的3D场景重建
VisFusion是一个利用视频数据进行在线3D场景重建的技术,它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习,为用户提供了一个强大的工具,用于创建精确的三维模型。
© 2024 AIbase 备案号:闽ICP备2023012347号-1