需求人群:
"目标受众为需要自动化GUI任务的数字代理开发者和研究人员。Aria-UI通过提供强大的视觉定位能力,帮助他们提高任务自动化的效率和准确性,特别是在需要处理复杂GUI和多样化指令的场景中。"
使用场景示例:
自动化停止服务任务,通过理解GUI指令并定位到服务停止按钮。
检查颜色调色板,通过视觉定位GUI中的调色板区域。
启用iCloud照片功能,通过识别并操作GUI中的iCloud设置。
产品特色:
- ✨ 多格式指令理解:Aria-UI能够处理多样的定位指令,适应不同格式,确保在动态场景或与不同规划代理搭配时的鲁棒适应性。
- 📝 上下文感知定位:Aria-UI有效利用历史输入,无论是纯文本还是图文交错格式,以提高定位精度。
- ⚡ 轻量级和快速:作为一个每token激活3.9B参数的混合专家模型,Aria-UI能够高效编码不同大小和纵横比的GUI输入,并支持超高分辨率。
- 🎉 卓越性能:Aria-UI在AndroidWorld和OSWorld基准测试中分别获得第一名和第三名,显示出其卓越的性能。
使用教程:
1. 访问Aria-UI的HF Space Demo页面,尝试在线体验模型功能。
2. 下载并安装所需的Aria-UI数据集和模型检查点,以便在本地环境中使用。
3. 阅读Aria-UI的论文和代码文档,了解模型的工作原理和使用方法。
4. 根据具体的GUI任务,编写或调整定位指令,以适应Aria-UI的输入要求。
5. 使用Aria-UI模型对GUI进行视觉定位,执行自动化任务。
6. 根据需要调整和优化模型参数,以提高任务执行的准确性和效率。
浏览量:48
最新流量情况
月访问量
77
平均访问时长
00:00:00
每次访问页数
1.01
跳出率
49.75%
流量来源
直接访问
0
自然搜索
100.00%
邮件
0
外链引荐
0
社交媒体
0
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
100.00%
视觉定位GUI指令的多模态模型
Aria-UI是一个专为GUI指令视觉定位而设计的大规模多模态模型。它采用纯视觉方法,不依赖辅助输入,能够适应多样化的规划指令,并通过合成多样化、高质量的指令样本来适应不同的任务。Aria-UI在离线和在线代理基准测试中均创下新的最高记录,超越了仅依赖视觉和依赖AXTree的基线。
生成高质量 SVG 代码的基础模型。
StarVector 是一个先进的生成模型,旨在将图像和文本指令转化为高质量的可缩放矢量图形(SVG)代码。其主要优点在于能够处理复杂的 SVG 元素,并在各种图形风格和复杂性上表现出色。作为开放源代码资源,StarVector 推动了图形设计的创新和效率,适用于设计、插图和技术文档等多种应用场景。
TableGPT2的预构建代理,用于基于表格的问答任务。
TableGPT-agent 是一个基于 TableGPT2 的预构建代理模型,专为处理表格数据的问答任务而设计。它基于 Langgraph 库开发,提供用户友好的交互界面,能够高效处理与表格相关的复杂问题。TableGPT2 是一个大型多模态模型,能够将表格数据与自然语言处理相结合,为数据分析和知识提取提供强大的技术支持。该模型适用于需要快速准确处理表格数据的场景,如数据分析、商业智能和学术研究等。
一款能够自我进化的移动助手,专为复杂任务设计。
Mobile-Agent-E 是一款基于大型多模态模型(LMM)的移动助手,旨在帮助用户高效完成复杂的多步骤任务。它通过分层多智能体框架实现自我进化,能够从过去的任务中学习并改进。该产品的主要优点在于其强大的推理能力和对复杂任务的处理能力,尤其是在长周期、多应用交互的任务中表现出色。它适用于需要高效完成复杂移动任务的用户,如商务人士、研究人员等,目前处于研究阶段,未明确具体价格。
模型评测平台
FlagEval是一个模型评测平台,专注于大语言模型和多模态模型的评测。它提供了一个公正、透明的环境,让不同的模型在同一标准下进行比较,帮助研究者和开发者了解模型性能,推动人工智能技术的发展。该平台涵盖了对话模型、视觉语言模型等多种模型类型,支持开源和闭源模型的评测,并提供专项评测如K12学科测验和金融量化交易评测。
大型多模态模型中视频理解的探索
Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间,揭示了驱动性能的关键因素,提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency',使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上,大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合,以及一个新型的基准测试ApolloBench,用于高效评估。
世界上最快的边缘部署音频语言模型
OmniAudio-2.6B是一个2.6B参数的多模态模型,能够无缝处理文本和音频输入。该模型结合了Gemma-2B、Whisper turbo和一个自定义投影模块,与传统的将ASR和LLM模型串联的方法不同,它将这两种能力统一在一个高效的架构中,以最小的延迟和资源开销实现。这使得它能够安全、快速地在智能手机、笔记本电脑和机器人等边缘设备上直接处理音频文本。
先进的大型混合专家视觉语言模型
DeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型,相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等多种任务上展现出卓越的能力。DeepSeek-VL2由三种变体组成:DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2,分别拥有10亿、28亿和45亿激活参数。DeepSeek-VL2在激活参数相似或更少的情况下,与现有的开源密集型和基于MoE的模型相比,达到了竞争性或最先进的性能。
一个用于GUI视觉代理的视觉-语言-行动模型。
ShowUI是一个轻量级的视觉-语言-行动模型,专为GUI代理设计。它通过结合视觉输入、语言理解和行动预测,使得计算机界面能够以更自然的方式响应用户的指令。ShowUI的重要性在于它能够提高人机交互的效率和自然性,特别是在图形用户界面自动化和自然语言处理领域。该模型由showlab实验室开发,目前已在huggingface平台发布,供研究和应用。
多模态语音大型语言模型
ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型(LLM)。该模型能够同时处理语音和文本输入,例如,一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入,并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记,进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发,采用MIT许可。
多模态语音大型语言模型
fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型,能够处理语音和文本输入,生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入,并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记,进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色,且没有偏好调整,适用于语音代理、语音到语音翻译、语音分析等场景。
大型多模态模型,集成表格数据
TableGPT2是一个大型多模态模型,专门针对表格数据进行预训练和微调,以解决实际应用中表格数据整合不足的问题。该模型在超过593.8K的表格和2.36M的高质量查询-表格-输出元组上进行了预训练和微调,规模前所未有。TableGPT2的关键创新之一是其新颖的表格编码器,专门设计用于捕获模式级别和单元格级别的信息,增强了模型处理模糊查询、缺失列名和不规则表格的能力。在23个基准测试指标上,TableGPT2在7B模型上平均性能提升了35.20%,在72B模型上提升了49.32%,同时保持了强大的通用语言和编码能力。
长视频理解基准测试
LVBench是一个专门设计用于长视频理解的基准测试,旨在推动多模态大型语言模型在理解数小时长视频方面的能力,这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。
理解复杂视频,作诗配文的AI视频模型
MiniGPT4-Video是为视频理解设计的多模态大模型,能处理时态视觉数据和文本数据,配标题、宣传语,适用于视频问答。基于MiniGPT-v2,结合视觉主干EVA-CLIP,训练多阶段阶段,包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。
冒泡鸭AI是由阶跃星辰开发的面向个人用户的AI互动平台
冒泡鸭AI是基于自研多模态大模型开发的AI互动平台,提供拟人、工具、内容、游戏、娱乐等多个领域的海量智能体。平台具有超长的上下文记忆能力和实时联网搜索能力,能够深度理解用户意图,并提供即时、准确、个性化的回复和选择。用户还可以定制个性化的AI智能体,以满足个性化的需求和偏好。
基于大型多模态模型构建端到端网络代理
WebVoyager是一款创新的大型多模态模型(LMM)驱动的网络代理,能够通过与现实世界的网站交互,端到端完成用户指令。我们提出了一种新的网络代理评估协议,以解决开放式网络代理任务的自动评估挑战,利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务,用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率,明显超过了GPT-4(所有工具)和WebVoyager(仅文本)设置的性能,突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性,为在真实世界环境中进一步发展网络代理铺平了道路。
新一代多模态模型
Adept Fuyu-Heavy是一款新型的多模态模型,专为数字代理设计。它在多模态推理方面表现出色,尤其在UI理解方面表现出色,同时在传统的多模态基准测试中也表现良好。此外,它展示了我们可以扩大Fuyu架构并获得所有相关好处的能力,包括处理任意大小/形状的图像和有效地重复使用现有的变压器优化。它还具有匹配或超越相同计算级别模型性能的能力,尽管需要将部分容量用于图像建模。
© 2025 AIbase 备案号:闽ICP备08105208号-14