开源的手机端 GUI 智能代理,支持中英文应用操作。
AgentCPM-GUI 是一款开源的手机端大型语言模型(LLM)代理,专为操作中英文应用程序而设计,能够根据用户的屏幕截图自动执行任务。其主要优点在于高效的 GUI 元素理解、增强的推理能力以及对中文应用的精准支持。此技术的开发背景是为了提升移动设备上智能代理的用户体验,特别是在复杂任务处理方面。该产品定位于提高移动端的生产力,适用于各类用户。
OmniParser V2 是一种将任何 LLM 转化为计算机使用代理的技术。
OmniParser V2 是微软研究团队开发的一种先进的人工智能模型,旨在将大型语言模型(LLM)转化为能够理解和操作图形用户界面(GUI)的智能代理。该技术通过将界面截图从像素空间转换为可解释的结构化元素,使 LLM 能够更准确地识别可交互图标,并在屏幕上执行预定动作。OmniParser V2 在检测小图标和快速推理方面取得了显著进步,其结合 GPT-4o 在 ScreenSpot Pro 基准测试中达到了 39.6% 的平均准确率,远超原始模型的 0.8%。此外,OmniParser V2 还提供了 OmniTool 工具,支持与多种 LLM 结合使用,进一步推动了 GUI 自动化的发展。
下一代原生GUI代理模型,能够无缝与图形用户界面交互。
UI-TARS 是由字节跳动研究团队开发的下一代原生GUI代理模型,旨在通过人类般的感知、推理和行动能力与图形用户界面进行无缝交互。该模型集成了感知、推理、定位和记忆等所有关键组件,能够在无需预定义工作流或手动规则的情况下实现端到端的任务自动化。其主要优点包括强大的多模态交互能力、高精度的视觉感知和语义理解能力,以及在多种复杂任务场景中的出色表现。该模型适用于需要自动化GUI交互的场景,如自动化测试、智能办公等,能够显著提高工作效率。
UI-TARS 是一个用于自动化图形用户界面交互的下一代原生 GUI 代理模型。
UI-TARS 是由字节跳动开发的一种新型 GUI 代理模型,专注于通过类似人类的感知、推理和行动能力与图形用户界面进行无缝交互。该模型将感知、推理、定位和记忆等关键组件集成到单一的视觉语言模型中,能够实现无需预定义工作流程或手动规则的端到端任务自动化。其主要优点包括强大的跨平台交互能力、多步任务执行能力以及从合成和真实数据中学习的能力,适用于多种自动化场景,如桌面、移动和网页环境。
专业的高分辨率计算机使用环境下的GUI定位基准测试
ScreenSpot-Pro是一个专门用于评估高分辨率专业计算机使用环境下的GUI定位模型的基准测试。它涵盖了23个应用程序,分布在5个专业领域和3个操作系统中,突出了模型在与复杂软件交互时面临的挑战。现有的模型准确率仅为18.9%,这强调了进一步研究的必要性。该产品旨在推动GUI定位模型的发展,提高专业应用的可用性和性能。
视觉定位GUI指令的多模态模型
Aria-UI是一个专为GUI指令视觉定位而设计的大规模多模态模型。它采用纯视觉方法,不依赖辅助输入,能够适应多样化的规划指令,并通过合成多样化、高质量的指令样本来适应不同的任务。Aria-UI在离线和在线代理基准测试中均创下新的最高记录,超越了仅依赖视觉和依赖AXTree的基线。
CogAgent-9B-20241220是基于视觉语言模型的GUI代理模型。
CogAgent-9B-20241220模型基于GLM-4V-9B双语开源VLM基础模型,通过数据收集和优化、多阶段训练以及策略改进,在GUI感知、推理预测准确性、动作空间完整性和任务泛化性方面取得了显著进步。该模型支持双语(中文和英文)交互,并能处理屏幕截图和语言输入。此版本已应用于ZhipuAI的GLM-PC产品中,旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。
开源的端到端视觉语言模型(VLM)基础的GUI代理
CogAgent是一个基于视觉语言模型(VLM)的GUI代理,它通过屏幕截图和自然语言实现双语(中文和英文)交云。CogAgent在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面取得了显著进步。该模型已经在ZhipuAI的GLM-PC产品中得到应用,旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。
Immediate Mode 3D Plotting
ImPlot3D是一个基于Dear ImGui的3D绘图扩展库,提供了易用、高性能的3D绘图功能。它受到ImPlot的启发,为熟悉ImPlot的开发者提供了一个熟悉且直观的API。ImPlot3D支持多种3D绘图类型,如线图、散点图、曲面图等,并允许用户交互式地旋转、平移和缩放3D图形。该技术的重要性在于它为需要3D数据可视化的应用提供了一个理想的解决方案,尤其是在实时性和性能要求较高的场景下。
一个用于GUI视觉代理的视觉-语言-行动模型。
ShowUI是一个轻量级的视觉-语言-行动模型,专为GUI代理设计。它通过结合视觉输入、语言理解和行动预测,使得计算机界面能够以更自然的方式响应用户的指令。ShowUI的重要性在于它能够提高人机交互的效率和自然性,特别是在图形用户界面自动化和自然语言处理领域。该模型由showlab实验室开发,目前已在huggingface平台发布,供研究和应用。
一个开源的GUI音频书和配音生成器。
Pandrator 是一个基于开源软件的工具,能够将文本、PDF、EPUB 和 SRT 文件转换成多种语言的语音音频,包括语音克隆、基于LLM的文本预处理以及将生成的字幕音频直接保存到视频文件中,与视频的原始音轨混合。它旨在易于使用和安装,具有一键安装程序和图形用户界面。
© 2025 AIbase 备案号:闽ICP备08105208号-14