产品库

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

DA-CLIP的通用图像恢复

DA-CLIP是一种降级感知的视觉语言模型，可用作图像恢复的通用框架。它通过训练一个额外的控制器，使固定的CLIP图像编码器能够预测高质量的特征嵌入，并将其整合到图像恢复网络中，从而学习高保真度的图像重建。控制器本身还会输出与输入的真实损坏匹配的降级特征，为不同的降级类型提供自然的分类器。DA-CLIP还使用混合降级数据集进行训练，提高了特定降级和统一图像恢复任务的性能。

AI图像描述生成器，准确提取图像关键元素并解读创作意图。

AI Image Description Generator 是一个基于ERNIE 3.5或GEMINI-PRO-1.5 API的图像描述生成器，能够准确提取图像中的关键元素，并解读其背后的创作意图。它支持多语言，集成了clerk.com用户管理平台，并使用Next.js构建全栈Web应用程序。该技术在科学研究、艺术创作以及图像与文本之间的互搜领域有广泛应用。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

提升图文预训练的细粒度理解

SPARC是一种用于图文对预训练的简单方法，旨在从图像-文本对中预训练更细粒度的多模态表示。它利用稀疏相似度度量和对图像块和语言标记进行分组，通过对比细粒度的序列损失和全局图像与文本嵌入之间的对比损失，学习同时编码全局和局部信息的表示。SPARC在粗粒度信息的图像级任务和细粒度信息的区域级任务上均表现出改进，包括分类、检索、目标检测和分割。此外，SPARC提高了模型的可信度和图像描述能力。

在几分钟内构建AI应用程序

PostgresML是一个GPU加速的Postgres数据库，可帮助您快速构建AI应用程序。它简化了AI堆栈的复杂性，让您更快地进入市场。通过PostgresML，您可以使用各种机器学习模型，如文本分类、机器翻译、问题回答等。它还提供了可扩展性、高效性和安全性。了解更多信息，请访问官方网站。

大模型时代的AI法律顾问

通义法睿是一款大模型时代的AI法律顾问产品。它提供法律智能对话，通过问题理解，正确引用法规和案例进行问题回答。同时，它还能一键生成专属法律文书，根据案情描述自动总结法律诉求并撰写法律文书。此外，通义还提供智能化检索法律和案例的功能，自带法律法规和裁判案例库。它助您高效理解法律文本，基于阅读需求提炼生成案情摘要并归纳争议焦点。请注意，通义法睿生成的内容由AI生成，仅供辅助参考，不能代替法律专业人员的解答。

构建应用程序的LLM通过组合性

LangChain是一个帮助开发人员构建应用程序的库，通过组合性将大型语言模型（LLMs）与其他计算或知识源结合起来。它提供了各种应用场景的端到端示例，包括问题回答、聊天机器人和代理等。LangChain还提供了对LLMs的通用接口、链式调用、数据增强生成、记忆和评估等功能。定价信息请访问官方网站。

获取无图像描述的图像的替代文本

GenAlt是一个在线生成图像描述的辅助文本工具。只需右键点击图像，点击“获取GenAlt的替代文本”，即可获取该图像的描述作为替代文本。GenAlt得到了用户的一些好评，让使用者更好地理解图片。您可以通过安装该插件来提升图片的可访问性。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

AI图像描述生成器

Image to Caption是一款利用人工智能技术的先进工具，能够轻松生成引人入胜的图像描述。无论是社交媒体帖子、博客文章还是其他内容，都能提升用户参与度、节省时间并提升在线存在感。

在线获取没有图像描述的图片的描述

GenAlt使用人工智能为没有图像描述的在线图片生成描述性的替代文本！只需右键单击图像，点击GenAlt获取图像描述，即可获得图像的描述作为其替代文本。请注意：GenAlt将显示为该图像生成的标题的短暂弹出窗口。

AI写作工具箱，实时提供写作建议

Bettertext是一款基于OpenAI ChatGPT API技术的AI写作工具箱。它能实时分析文本，并即时提供改进建议。用户可以根据自己的写作风格和需要选择合适的语气，帮助提升专业性或对话性。该工具箱提供了多种功能，包括改进和重写文本、缩短文本、扩展文本、继续写作、邮件和消息回复、问题回答、摘要、翻译等。它适用于学生、专业人士和内容创作者等任何需要高效写作的人群。

ChatGPT搜索引擎插件 - 搜索结果旁显示ChatGPT的回答

ChatGPT for Search Engines是一款用于网页浏览器的插件，可在搜索结果旁边显示ChatGPT的回答。它能帮助用户在使用搜索引擎时更快地获取相关信息，提供即时的问题回答和解决方案。该插件结合了ChatGPT的强大语言生成能力和搜索引擎的便利性，为用户提供了更智能和高效的搜索体验。

免费AI搜索引擎，一问即知

iAsk.Ai是一款免费AI搜索引擎，通过高度优化的自然语言处理模型，提供用户快速、准确、可靠的问题回答。iAsk.Ai基于可靠的文献和网站来源进行训练，能客观、准确地回答问题，无存储用户数据。

增强视觉语言理解的高级大型语言模型

MiniGPT-4是一个基于先进的大型语言模型的视觉语言理解模型，具有生成详细图像描述、从手写草稿生成网站等功能。它还能根据给定的图像写故事和诗歌、提供解决问题的方法、根据食物照片教用户烹饪等。MiniGPT-4通过对原始图像文本对进行预训练，并使用对话模板的对齐数据进行微调，以提高生成结果的连贯性和准确性。MiniGPT-4的定价和定位信息请参考官方网站。

基于GPT-4人工智能技术的开放式聊天与艺术助手应用

Talk AI - 智能聊天与艺术助手是一款基于先进的GPT-4技术的移动应用，可以让您与人工智能聊天机器人进行深入的、准确的问题回答，也可以根据您的文本描述为您生成令人惊叹的图像。此外，该应用还提供了使用AI创建独特头像、从文本描述生成精美艺术品和探索不同风格方向的功能。它适用于那些注重智能和便利的人，并可用于获取信息、建议或进行随意对话。

AI Chat写作助手，GPT 4和ChatGPT技术驱动

AI Chat是一个基于ChatGPT和GPT 4 API的写作助手，提供无限问答、支持140多种语言、详细对话等功能。无需登录，保护用户隐私。支持各种问题回答、创作写作、语言学习、讨论话题、个性化建议等。提供语音输入和输出功能。适用于提高写作能力、创造力、语言学习、职业发展、新闻阅读等场景。

将文本转换为图片的AI应用

AI Photo是一款用户友好的文本转图片生成应用，可离线根据您的图像描述创建照片和艺术品。它采用稳定扩散技术，针对苹果芯片（M1和M2）进行了高度优化。支持随时保存和管理您的艺术品，还提供快速智能的搜索引擎。内置安全机制可过滤可能的结果。可在Mac、iPhone和iPad上使用。

智能AI助手，基于知识库，助力企业团队

Cody是一款智能AI助手，通过基于知识库的训练，可以帮助企业团队解答问题、提供支持、完成任务等。Cody能够快速分析和处理大量企业文档，提供即时准确的答案，帮助提高员工效率。除了基本的问题回答和支持功能，Cody还可以提供创意、解决问题、给出建议等，助力企业团队更好地工作。定价和定位等详细信息，请访问官方网站。