需求人群:
"目标受众为研究人员和开发者,特别是那些在GUI自动化、视觉语言模型和自然语言处理领域寻求高效解决方案的专业人士。CogAgent提供的先进技术可以帮助他们开发和研究基于视觉语言模型的GUI代理,推进相关技术的发展和应用。"
使用场景示例:
研究人员使用CogAgent模型进行GUI感知和推理预测的实验。
开发者利用CogAgent实现桌面应用的自动化操作。
企业使用CogAgent模型优化客户服务流程,通过自动化GUI操作提高效率。
产品特色:
支持双语(中文和英文)交云,通过屏幕截图和自然语言进行交互。
在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面具有显著优势。
CogAgent-9B-20241220模型基于GLM-4V-9B,一个双语开源VLM基础模型。
支持多阶段训练和策略改进,实现GUI感知和推理预测的准确性。
模型输出遵循严格格式,以字符串格式返回,不支持JSON输出。
不支持连续对话,但支持连续执行历史。
需要图像作为输入,纯文本对话无法实现GUI代理任务。
使用教程:
1. 确保已安装Python 3.10.16或以上版本,并安装requirements.txt中的依赖。
2. 根据需要的输出格式和平台,使用适当的命令行参数运行模型。
3. 提供模型所需的输入图像,并接收包含操作指令的输出。
4. 如果模型返回包含边界框的结果,将输出指示操作执行区域的图像。
5. 使用输出图像路径参数指定输出图像的保存位置。
6. 根据需要调整模型参数,如最大长度、返回结果数等。
7. 对于在线Web演示,可以运行web_demo.py并指定相关参数以实现交互式推理。
8. 参考项目文档和模型技术博客,深入了解模型的使用和优化。
浏览量:29
最新流量情况
月访问量
4.91m
平均访问时长
00:06:18
每次访问页数
5.57
跳出率
37.92%
流量来源
直接访问
51.73%
自然搜索
32.88%
邮件
0.04%
外链引荐
13.01%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.81%
德国
3.69%
印度
9.16%
俄罗斯
4.47%
美国
18.04%
开源的端到端视觉语言模型(VLM)基础的GUI代理
CogAgent是一个基于视觉语言模型(VLM)的GUI代理,它通过屏幕截图和自然语言实现双语(中文和英文)交云。CogAgent在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面取得了显著进步。该模型已经在ZhipuAI的GLM-PC产品中得到应用,旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。
通过自然语言生成SQL查询,简化数据库交互。
Vanna是一个使用Retrieval-Augmented Generation (RAG) 技术的开源Python框架,用于SQL生成和相关功能。它通过训练RAG模型,将自然语言问题转换为SQL查询,从而允许用户以提问的形式与数据库进行交互。Vanna的主要优点包括高准确度、安全性、私有性、自学习能力,并且支持任何SQL数据库。
人工智能驱动的测验生成器,简化教育工作者的评估创建
Quizify是一个由人工智能驱动的测验生成器,可在几秒钟内为教育工作者简化评估的创建。它使用自然语言处理技术自动生成测验问题和答案选项。教育工作者只需提供任何文本,Quizify就可以立即生成相关的选择题测验。它还提供高级功能,如自定义问题数量,自定义答案选项数量等。Quizify可以节省教育工作者大量时间,无需手动创建和组织测验问题。它生成的测验可以直接在Google表单中发布和分配。总体来说,Quizify通过利用人工智能的力量简化了测验的创建和交付。
未来聊天机器人
FYRAN是一款具有创新意义的聊天机器人解决方案,通过人工智能和自然语言处理技术,实现自动化的客户支持。它支持多种输入格式,包括PDF、文本、MP3和docx,并可集成到任何平台。使用FYRAN,创建和使用聊天机器人从未如此简单或便捷。
人工智能软件开发公司
Arclight人工智能是一家专注于人工智能产品开发的软件开发公司。我们提供高质量的人工智能解决方案,帮助客户实现自动化、智能化的工作流程。我们的产品具有强大的功能和优势,定价合理并与客户需求匹配。无论是在企业、教育还是个人领域,Arclight人工智能都能提供可靠的解决方案。
将Common Crawl转化为精细的长期预训练数据集
Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖,将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集,包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡,对于训练大型语言模型具有重要意义。
开源的视觉语言模型,可在多种设备上运行。
Moondream AI是一个开源的视觉语言模型,具有强大的多模态处理能力。它支持多种量化格式,如fp16、int8、int4,能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署,且采用Apache 2.0许可证,允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案,适用于需要视觉和语言处理能力的各种应用场景。
面向未来的操作系统,以行动为中心而非应用
Mainframe旨在重新定义操作系统,使其以行动为中心,而非传统的应用程序。它利用人工智能技术,使计算机能够自动完成任务,减少用户的操作负担。该产品强调简洁的用户界面和高效的任务执行能力,旨在提升用户的生产力和工作效率。Mainframe的背景是现代操作系统过于复杂,用户需要花费大量时间在应用程序之间切换和操作。通过简化操作流程,Mainframe为用户提供了一种全新的计算体验。
Sonus-1:开启大型语言模型(LLMs)的新时代
Sonus-1是Sonus AI推出的一系列大型语言模型(LLMs),旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计,包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本,以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出,特别是在推理和数学问题上,展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。
知识增强型故事角色定制的统一世界模型
StoryWeaver是一个为知识增强型故事角色定制而设计的统一世界模型,旨在实现单一和多角色故事可视化。该模型基于AAAI 2025论文,能够通过统一的框架处理故事中角色的定制和可视化,这对于自然语言处理和人工智能领域具有重要意义。StoryWeaver的主要优点包括其能够处理复杂故事情境的能力,以及能够持续更新和扩展其功能。产品背景信息显示,该模型将不断更新arXiv论文,并添加更多实验结果。
场景感知的语义导航与指令引导控制模型
SCENIC是一个文本条件的场景交互模型,能够适应具有不同地形的复杂场景,并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示,来导航3D场景。SCENIC利用层次化推理场景的方法,结合运动与文本之间的帧对齐,实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作,对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。
CogAgent-9B-20241220是基于视觉语言模型的GUI代理模型。
CogAgent-9B-20241220模型基于GLM-4V-9B双语开源VLM基础模型,通过数据收集和优化、多阶段训练以及策略改进,在GUI感知、推理预测准确性、动作空间完整性和任务泛化性方面取得了显著进步。该模型支持双语(中文和英文)交互,并能处理屏幕截图和语言输入。此版本已应用于ZhipuAI的GLM-PC产品中,旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。
利用视觉语言模型将PDF解析为Markdown。
vision-parse是一个利用视觉语言模型(Vision LLMs)将PDF文档解析为格式化良好的Markdown内容的工具。它支持多种模型,包括OpenAI、LLama和Gemini等,能够智能识别和提取文本及表格,并保持文档的层级结构、样式和缩进。该工具的主要优点包括高精度的内容提取、格式保持、支持多模型以及本地模型托管,适用于需要高效文档处理的用户。
一站式大模型算法、模型及优化工具开源项目
FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目,集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调,旨在降低大模型开发和应用的门槛,提高开发效率。FlagAI涵盖了多个领域明星模型,如语言大模型OPT、T5,视觉大模型ViT、Swin Transformer,多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI,目前该项目已经加入Linux基金会,吸引全球科研力量共同创新、共同贡献。
先进的人形机器人技术,助力人类实现潜力。
Apptronik是一家从德克萨斯大学奥斯汀分校的人类中心机器人实验室分离出来的公司,致力于开发下一代能够改变我们生活和工作方式的机器人。公司的产品线包括从外骨骼到仿人上半身、双足移动平台和独特的机器人手臂,这些产品能够举起超过自身重量的物体。这些经验和学习成果促成了Apollo——世界上最先进的人形机器人的开发。Apptronik的产品和技术不仅能够处理重复性任务,还能够丰富人类生活,体现了公司在创造以人为中心的解决方案方面的道德承诺。
将语音转换为博客文章的助手
Robo Blogger是一个专注于将语音转换为博客文章的人工智能助手。它通过捕捉自然语言中的创意,将其结构化为有条理的博客内容,同时可以结合参考资料以确保文章的准确性和深度。这个工具基于之前Report mAIstro项目的概念,专为博客文章创作优化。通过分离创意捕捉和内容结构化,Robo Blogger帮助保持原始想法的真实性,同时确保专业呈现。
24/7社交媒体潜在客户生成工具
Opencord AI是一个专注于社交媒体潜在客户生成的工具,通过自动化的方式在Twitter和Reddit等平台上与理想受众互动,促进有效转化。它利用人工智能技术,帮助用户自然地提及产品或品牌,提升品牌知名度和客户参与度。产品背景信息显示,Opencord AI旨在为企业提供一种高效的社交媒体营销解决方案,通过自动化减少人工操作,提高营销效率。关于价格和定位,页面未提供具体信息,可能需要进一步联系供应商获取。
一键将视频转换为优质小红书笔记
Video_note_generator是一个能够将视频内容快速转换为小红书笔记的工具。它通过自动化技术优化内容和配图,帮助内容创作者、知识管理者和社交媒体运营人员提高工作效率。该工具利用最新的人工智能技术,包括语音转文字和内容优化,以确保生成的笔记既符合小红书的风格,又具有吸引力。它的重要性在于能够节省大量的内容创作和编辑时间,同时保持内容的质量和吸引力。
先进的大型混合专家视觉语言模型
DeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型,相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解、视觉定位等多项任务中展现出卓越的能力。DeepSeek-VL2由三种变体组成:DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2,分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下,与现有的开源密集型和基于MoE的模型相比,达到了竞争性或最先进的性能。
高效、多语种的语音合成模型
CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型,支持零样本、跨语言的语音合成,能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供,具有强大的语音合成能力和广泛的应用场景,包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出,极大地丰富了人机交互的体验。
WePOINTS项目,提供多模态模型的统一框架
WePOINTS是由微信AI团队开发的一系列多模态模型,旨在创建一个统一框架,容纳各种模态。这些模型利用最新的多模态模型进展和技术,推动内容理解和生成的无缝统一。WePOINTS项目不仅提供了模型,还包括了预训练数据集、评估工具和使用教程,是多模态人工智能领域的重要贡献。
AI编程助手,助力工程团队提升效率。
Devin是一个AI编程助手,旨在帮助工程团队通过自动化代码迁移、重构等任务来提升效率。它能够自主学习、响应自然语言请求,并与用户实时协作。Devin的技术背景基于Nubank的大规模代码迁移项目,该项目涉及将一个8年历史的、数百万行代码的单体ETL迁移到子模块中。Devin通过自动化这些重复性工作,为Nubank带来了12倍的工程时间效率提升和20倍的成本节省。
大型语言模型,用于文本生成和分类
OLMo-2-1124-7B-RM是由Hugging Face和Allen AI共同开发的一个大型语言模型,专注于文本生成和分类任务。该模型基于7B参数的规模构建,旨在处理多样化的语言任务,包括聊天、数学问题解答、文本分类等。它是基于Tülu 3数据集和偏好数据集训练的奖励模型,用于初始化RLVR训练中的价值模型。OLMo系列模型的发布,旨在推动语言模型的科学研究,通过开放代码、检查点、日志和相关的训练细节,促进了模型的透明度和可访问性。
视觉语言模型增强工具,结合生成式视觉编码器和深度广度融合技术。
Florence-VL是一个视觉语言模型,通过引入生成式视觉编码器和深度广度融合技术,增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解,进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发,提供了预训练和微调的代码、模型检查点和演示。
PaliGemma 2是功能强大的视觉语言模型,简单易调优。
PaliGemma 2是Gemma家族中的第二代视觉语言模型,它在性能上进行了扩展,增加了视觉能力,使得模型能够看到、理解和与视觉输入交互,开启了新的可能性。PaliGemma 2基于高性能的Gemma 2模型构建,提供了多种模型尺寸(3B、10B、28B参数)和分辨率(224px、448px、896px)以优化任何任务的性能。此外,PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸部X光报告生成等方面展现出领先的性能。PaliGemma 2旨在为现有PaliGemma用户提供便捷的升级路径,作为即插即用的替代品,大多数任务无需大幅修改代码即可获得性能提升。
高性能英文语言模型,适用于多样化任务
OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型,主要针对英文,旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分,旨在推动语言模型的科学研究。模型训练基于Dolma数据集,并公开代码、检查点、日志和训练细节。
基于大型语言模型的主动式代理,预测用户需求并主动提供帮助。
ProactiveAgent是一个基于大型语言模型(LLM)的主动式代理项目,旨在构建一个能够预测用户需求并主动提供帮助的智能代理。该项目通过数据收集和生成管道、自动评估器和训练代理来实现这一目标。ProactiveAgent的主要优点包括环境感知、协助标注、动态数据生成和构建管道,其奖励模型在测试集上达到了0.918的F1分数,显示出良好的性能。该产品背景信息显示,它适用于编程、写作和日常生活场景,并且遵循Apache License 2.0协议。
科学文献综合检索增强型语言模型
Ai2 OpenScholar是由艾伦人工智能研究所与华盛顿大学合作开发的检索增强型语言模型,旨在帮助科学家通过检索相关文献并基于这些文献生成回答来有效导航和综合科学文献。该模型在多个科学领域中表现出色,特别是在引用准确性和事实性方面。它代表了人工智能在科学研究中应用的重要进步,能够加速科学发现并提高研究效率。
© 2024 AIbase 备案号:闽ICP备08105208号-14