产品库

基于纯视觉的图形用户界面代理解析器

OmniParser 是微软研究团队开发的一种用于解析用户界面截图的方法，它通过识别可交互图标和理解屏幕截图中各种元素的语义，显著提升了基于视觉的语言模型（如GPT-4V）生成准确界面操作的能力。该技术通过精细调整的检测模型和描述模型，能够解析屏幕截图中的可交互区域和提取功能语义，从而在多个基准测试中超越了基线模型。OmniParser 作为一个插件，可以与其他视觉语言模型结合使用，提升它们的性能。

利用视觉语言模型将PDF解析为Markdown。

vision-parse是一个利用视觉语言模型（Vision LLMs）将PDF文档解析为格式化良好的Markdown内容的工具。它支持多种模型，包括OpenAI、LLama和Gemini等，能够智能识别和提取文本及表格，并保持文档的层级结构、样式和缩进。该工具的主要优点包括高精度的内容提取、格式保持、支持多模型以及本地模型托管，适用于需要高效文档处理的用户。

免费UI Auditor AI工具，优化用户界面，自动化审核

UI Auditor AI工具可以优化您的网站用户界面，通过自动化审核提高用户满意度。它提供功能强大的UI审核，帮助您优化设计并提升性能。了解更多关于UI Auditor的定价和功能，请访问官方网站。

用简单语言指令实现自动化

Neural Wave是一款基于生成式人工智能技术的自动化工具，通过简单的语言指令，使任何企业都能够轻松实现自动化任务，无需昂贵的技术专业知识。我们的自定义大型语言模型（LLM）可以在任何软件应用程序上自动化任何任务（具有或不具有API），并处理任何结构化和完全非结构化的文档。我们的工具不需要任何RPA开发技能或技术专业知识，任何用户都可以通过简单的语言解释任务来自动化任何任务，无需技术技能。

计算机视觉自动化和RPA工具

U-xer是一款基于计算机视觉的测试自动化和RPA工具，旨在自动化屏幕上看到的任何内容，包括Web和桌面应用程序。它具有易用和高级两种模式，可以满足非技术用户和高级用户的不同需求。U-xer能够识别屏幕，像人类一样解释屏幕内容，实现更自然、准确的自动化。它适用于各种应用场景，包括Web应用程序、桌面软件、移动设备等，并提供定制化解决方案。U-xer的定价和定位请查看官方网站。

开源的网页自动化库，支持任何大型语言模型（LLM）

browser-use是一个开源的网页自动化库，允许大型语言模型（LLM）与网站进行交互，通过简单的接口实现复杂的网页操作。该技术的主要优点包括对多种语言模型的通用支持、交互元素自动检测、多标签页管理、XPath提取、视觉模型支持等。它解决了传统网页自动化中的一些痛点，如动态内容处理、长任务解决等。browser-use以其灵活性和易用性，为开发者提供了一个强大的工具，以构建更加智能和自动化的网页交互体验。

AI驱动的自动化工具，执行精确的系统操作

Clevrr-Computer是一个开源的自动化代理，设计用于执行精确和高效的系统操作。它使用PyAutoGUI库来自动化键盘、鼠标和屏幕交互，确保在每项任务中的安全性和准确性。该产品背景信息强调了其在自动化领域的创新性，主要优点包括自动化鼠标移动、点击和键盘输入，以及截图和管理窗口的能力。它还强调了错误处理和反馈机制，以及执行任务时的最大精度，以避免无意的动作。

突破大型语言模型限制的自动化框架

AutoDAN-Turbo是一个自动化的、无需人为干预的框架，旨在自动发现并实施多种策略，以突破大型语言模型（LLMs）的限制。该框架能够自动开发出多样的攻击策略，显著提高了攻击成功率，并且可以作为一个统一的框架整合现有的人为设计的越狱策略。AutoDAN-Turbo的重要性在于其能够提升LLMs在对抗环境中的安全性和可靠性，为红队评估工具提供了一种新的自动化方法。

自动驾驶与视觉语言模型的融合

DriveVLM是一个自动驾驶系统，它利用视觉语言模型(VLMs)来增强场景理解和规划能力。该系统通过独特的推理模块组合，包括场景描述、场景分析和分层规划，以提高对复杂和长尾场景的理解。此外，为了解决VLMs在空间推理和计算需求上的局限性，提出了DriveVLM-Dual，这是一个混合系统，结合了DriveVLM的优势和传统自动驾驶流程。在nuScenes数据集和SUP-AD数据集上的实验表明，DriveVLM和DriveVLM-Dual在处理复杂和不可预测的驾驶条件方面非常有效。最终，DriveVLM-Dual在生产车辆上进行了部署，验证了其在现实世界自动驾驶环境中的有效性。

一个用于GUI视觉代理的视觉-语言-行动模型。

ShowUI是一个轻量级的视觉-语言-行动模型，专为GUI代理设计。它通过结合视觉输入、语言理解和行动预测，使得计算机界面能够以更自然的方式响应用户的指令。ShowUI的重要性在于它能够提高人机交互的效率和自然性，特别是在图形用户界面自动化和自然语言处理领域。该模型由showlab实验室开发，目前已在huggingface平台发布，供研究和应用。

自动解析扫描文档，提取所需信息

Extracta.ai是一款可以从任何非结构化文档中提取数据的工具。它可以自动解析扫描文档，并提取您所需的信息，包括功能、优势、定价、定位等。

新一代视觉语言模型，更清晰地看世界。

Qwen2-VL是一款基于Qwen2打造的最新一代视觉语言模型，具备多语言支持和强大的视觉理解能力，能够处理不同分辨率和长宽比的图片，理解长视频，并可集成到手机、机器人等设备中进行自动操作。它在多个视觉理解基准测试中取得全球领先的表现，尤其在文档理解方面有明显优势。

为互联网提供API服务，连接用户账号，实现自动化操作。

Keet是一个提供API服务的平台，允许开发者通过API连接到任何网站，代表用户执行操作或获取数据。它支持与用户账号的链接，并提供RESTful API以集成到各种行业。Keet强调无需安装Chrome扩展即可实现自动化，提供稳定的自动化更新，并可为特定用例定制集成。此外，Keet还提供链接组件，使开发者能够轻松地将用户账号连接到其集成服务。

自然语言工作流自动化

DryMerge允许您使用简单的自然语言指令自动化内部团队的重复工作流程。我们的聊天机器人听取流程描述并自动处理实现，无需工程工作。自动化运营、销售、支持等工作流程，无需提交工单并等待工程师。灵活的软件集成，连接Slack、Gmail、Notion等SaaS工具。AI聚焦用户体验，通过聊天理解工作流的人际和微妙的性质，提供准确的自动化。无与伦比的产品分析，持续改进自动化质量，提供可视化的长时间运行自动化监控。[定价：免费试用]

AI自动化手动数据任务

DataExtraction是一款AI自动化手动数据任务的产品，可以快速从图像中提取数据，减少人工工作量和时间。它支持多渠道集成，包括语音、文本、文档、视频通话和聊天等。使用先进的技术，如LLMs，自动提取相关信息。它还提供了直观易用的用户界面，可以根据业务需求定义自定义提取规则。用户可以轻松地提取所需的数据，节省时间和资源。

企业自动化平台

Moveworks 是一个基于世界上最先进的大型语言模型训练的生成式 AI 的企业自动化平台，能够自动化工作流程。它适用于各个部门，提供了自然语言的连接和沟通方式，帮助员工更高效地完成工作。

开源的端到端视觉语言模型（VLM）基础的GUI代理

CogAgent是一个基于视觉语言模型（VLM）的GUI代理，它通过屏幕截图和自然语言实现双语（中文和英文）交云。CogAgent在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面取得了显著进步。该模型已经在ZhipuAI的GLM-PC产品中得到应用，旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。

自然语言智能助手，实现自动化办公

iMean - AI智能助手是一款基于自然语言理解和生成AI技术的办公自动化插件。它能够通过自然语言执行各种任务，与各种网页和软件无缝集成，无需连接。您可以使用iMean来自动发送电子邮件、安排日程、在Jira中分割任务等。它能够理解自然语言并与系统交互完成任务，帮助您提高工作效率。

强大的开源视觉语言模型

CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿个视觉参数和70亿个语言参数。CogVLM-17B在10个经典的跨模态基准测试中取得了最先进的性能，包括NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名第二，超过或与PaLI-X 55B相匹配。CogVLM还可以与您就图像进行对话。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

基于真实用户行为的端到端测试自动化

Checksum.ai可以将用户会话转化为完整的测试自动化流程，帮助您在不降低质量的情况下快速发布产品。它提供功能全面的端到端测试，帮助您发现和修复潜在的问题，并确保产品的稳定性和可靠性。定价根据用户需要定制。Checksum.ai定位于提供高效的测试解决方案，帮助团队快速迭代和交付产品。

基于代理的自动化系统，专注于网页自动化。

Agent-E 是一个基于 AutoGen 代理框架的系统，旨在自动化用户计算机上的操作，目前专注于浏览器内的自动化。它通过自然语言与网页浏览器交互，执行填写表单、搜索和排序电商产品、定位网站内容、管理播放设置、执行网络搜索、管理项目管理平台任务等操作。Agent-E 正在成长中，已经能够处理多样化的任务，但最佳任务是用户自行发掘的。

人性化UI自动化测试

AskUI是一种基于视觉特征的UI测试解决方案，通过自然语言实现UI测试自动化，提供真正的无代码黑盒测试。它可以帮助用户自动化UI测试，并提供可靠的测试结果和报告。AskUI支持多种功能和场景，可应用于各种类型的网站和应用程序。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

最新的视觉语言模型，支持多语言和多模态理解

Qwen2-VL-72B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最新的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，并可以集成到手机、机器人等设备中，进行基于视觉环境和文本指令的自动操作。除了英语和中文，Qwen2-VL现在还支持图像中不同语言文本的理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

AI编程智能体语言，实现LLM与IDE之间的通信以自动化编程。

the Shire是一种AI编程智能体语言，旨在实现大型语言模型（LLM）与集成开发环境（IDE）之间的通信，以支持自动化编程。它起源于AutoDev项目，旨在为开发者提供一个AI驱动的IDE，包括DevIns，Shire的前身。Shire通过提供定制化的AI代理，使用户能够构建符合个人需求的AI驱动开发环境。

智能AI助手，即时回答，自动化任务，革新沟通方式

AI Chat PowerBrain是基于ChatGPT和GPT-4 API构建的终极AI助手。它能够提供即时回答，自动化任务，并彻底改变您的沟通方式。我们的高级AI Chat助手无缝集成了ChatGPT、GPT-4和AI Vision，为您带来卓越的聊天体验。立即下载并发现AI助手的未来。

AI驱动的测试自动化平台

Applitools是一款AI驱动的视觉测试和监控平台。Applitools Visual AI易于设置，并与所有现代测试框架集成。通过使用Applitools，您可以减少创建、执行和维护自动化测试所需的时间，并测试应用程序的大量部分。Applitools提供UI验证、测试基础设施、跨浏览器测试和自动化测试维护等功能。它还支持测试Web、移动和桌面应用程序，以及PDF和文档等其他形式的媒体。

YouTube自动配音功能，打破语言障碍。

YouTube自动配音功能是一项旨在消除语言障碍的技术，它通过自动将视频配音转换成不同语言，使得全球用户能够无障碍地享受来自世界各地的内容。这项技术特别适用于教育、信息分享以及文化交流等领域，它不仅提高了视频的可访问性，还促进了全球创作者和观众之间的互动。YouTube自动配音目前对YouTube合作伙伴计划中的数十万频道开放，并计划很快扩展到其他类型的内容。

OmniParser 是一款通用屏幕解析工具，可将 UI 截图转换为结构化格式，提升基于 LLM 的 UI 代理性能。

OmniParser 是微软开发的一种先进的图像解析技术，旨在将不规则的屏幕截图转换为结构化的元素列表，包括可交互区域的位置和图标的功能描述。它通过深度学习模型，如 YOLOv8 和 Florence-2，实现了对 UI 界面的高效解析。该技术的主要优点在于其高效性、准确性和广泛的适用性。OmniParser 可以显著提高基于大型语言模型（LLM）的 UI 代理的性能，使其能够更好地理解和操作各种用户界面。它在多种应用场景中表现出色，如自动化测试、智能助手开发等。OmniParser 的开源特性和灵活的许可证使其成为开发者和研究人员的有力工具。