产品库

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

强大的开源视觉语言模型

CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿个视觉参数和70亿个语言参数。CogVLM-17B在10个经典的跨模态基准测试中取得了最先进的性能，包括NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名第二，超过或与PaLI-X 55B相匹配。CogVLM还可以与您就图像进行对话。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

DA-CLIP的通用图像恢复

DA-CLIP是一种降级感知的视觉语言模型，可用作图像恢复的通用框架。它通过训练一个额外的控制器，使固定的CLIP图像编码器能够预测高质量的特征嵌入，并将其整合到图像恢复网络中，从而学习高保真度的图像重建。控制器本身还会输出与输入的真实损坏匹配的降级特征，为不同的降级类型提供自然的分类器。DA-CLIP还使用混合降级数据集进行训练，提高了特定降级和统一图像恢复任务的性能。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

全面的AI平台，提供多个API

Inferkit AI是一个全面的AI平台，提供包括OpenAI等重要模型在内的多个API。它作为一个大规模模型路由组件，旨在帮助开发人员更具成本效益和可靠性地构建AI产品。目前在其测试阶段，Inferkit AI在其官方网站上提供50%的折扣，使其成为AI开发的有吸引力的选择。

开源轻量级AI驱动的备忘录中心

Firefly是一个开源轻量级AI驱动的备忘录中心。它支持OCR图像识别收集、快捷键收集、文字标记图标收集等功能。具备强大的Markdown编辑器，支持几乎所有的Markdown元素。同时，Firefly还提供了AI助手功能，可将收集的信息交给AI进行处理，一键搜集AI处理的内容。Firefly还提供了Copilot Hub，这是一个基于大规模模型技术的AI平台，用户可以使用自己的数据训练模型，构建个人知识库。支持多种使用场景，让工作更加高效智能。

AI驱动的代码生成，快速实现从想法到生产。

Jovu是一个AI驱动的代码生成模型，旨在帮助开发者快速构建新服务或扩展现有应用程序。它通过AI技术生成生产就绪的代码，确保一致性、可预测性，并遵循最高标准。Jovu能够加速开发过程，从概念到部署只需几分钟，提供完全可操作的、健壮的后端服务，准备立即上线。它还通过简化开发工作流程、减少时间、优化资源来提高效率和速度。

AI驱动的SERP分析工具，帮助用户发现易于排名的关键词。

TopicRanker是一款AI驱动的搜索引擎排名分析工具，专注于帮助用户通过分析竞争对手的弱点，发现在搜索引擎结果页面(SERP)中易于排名的关键词。它通过提供详尽的分析报告，AI生成的标题建议，内容大纲，博客文章，以及增强型元描述，帮助用户优化内容创作，提高SEO效果。产品背景信息包括它是由CriminallyProlific.com开发的，并且已经帮助多个企业在谷歌上排名第一。价格方面，TopicRanker提供三种不同的订阅计划，满足不同用户的需求。

沉浸式音频导览，让每个地标自己说话

Tourly Guide是一款移动应用程序，通过使用人工智能技术，为用户提供独特的沉浸式音频导览体验。它允许用户在探索地标时，通过AI生成的音频指南获得深入的了解和教育。该产品的主要优点包括个性化的导览内容、用户友好的界面设计以及对教育和文化探索的重视。Tourly Guide的背景信息显示，它由Roadly, Inc.开发，旨在通过技术提升用户的旅游和学习体验。

随时随地保存、管理和利用内容

SaveDay是一个智能工具，用于捕捉、组织和利用你的知识。它提供了快速的信息捕捉解决方案，支持保存文章、网站、图片、视频等，并且可以在移动设备上搜索、询问和总结内容。SaveDay注重数据安全和隐私保护，不与第三方共享用户内容。

通过了解大脑运作制定改变计划的APP

Neurture是一个旨在帮助用户了解大脑如何运作，并通过基于研究的治疗方法来制定有效的改变计划的应用程序。它通过数字化手写日记条目、获取后续期刊提示建议、由人工智能支持的情景冥想和期刊推荐等功能，帮助用户打破习惯或解决成瘾行为，实现重要的其他目标。Neurture强调隐私和信任，不收集用户数据，不投放广告，不训练模型，旨在为用户提供一个安全、无负担的自我提升环境。

革命化的家庭护理方式，从婴儿到老年人。

AiWatchfulCompanion是一款旨在改变我们照顾亲人方式的应用程序，它通过使用人工智能技术，为远离家乡的护理者提供实时的关怀和支持。该应用利用计算机视觉和音频分析，实时响应亲人的需求，提供连续的安全和健康保障。它还具备紧急响应功能，在无法联系到护理者时，能够向紧急服务提供事故位置。

使用的 Sora 同架构视频生成模型

Viva 是一个免费的 AI 生成工具和社区，提供 Text-to-Image、Image-to-Image、Text-to-Video、Image-to-Video 等功能，以及强大的 AI 编辑工具。用户可以扩展图像、重新绘制任何内容，使图像和视频更加高质量和 4K。Viva 使 AI 创作更简单、高效。海外产品 viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型，而且现阶段免费。 文生视频单次可以生成一条 5 秒的视频，图生视频是 4 秒视频 目前运动幅度最大的视频生成模型，同时图像分辨率也是现在可以用的视频生成产品中最大的。文生视频的效果比图生视频要更好，同时如果要是用的话建议把运动幅度调到 20 左右比较合适。 viva 优势领域就是可以生成比较好的竖屏视频，目前很多视频模型的演示都是横屏视频，竖屏的表现并不好，但是短视频又是视频内容的大头，所以竖屏视频的生成质量是个很重要的指标。 但是一致性有一部分测试中保持的不是很好，同时没有表现出 Sora 那样强大的物理特性模拟以及 3D 一致性。

提供全面的人工智能大模型产业信息和创新价值研究。

大模型之家是一个专注于人工智能大模型产业的平台，提供行业报告、技术创新动态、专家评测和奖项荣誉等信息。它通过整合行业资源，推动人工智能技术的创新和应用，帮助企业和个人更好地理解和利用大模型技术。

利用人工智能增强产品团队的决策力和效率

Productboard AI 是一款集成到产品管理平台中的人工智能工具，它通过分析和理解大量的用户反馈和数据点，帮助产品团队做出更明智的决策，提高工作效率，并加速产品从概念到市场的整个生命周期。它由 OpenAI 提供支持，确保数据安全和隐私保护，同时提供无与伦比的数据组合和针对产品管理工作的微调优化。

人工智能语音用户访谈代理，深入洞察客户需求。

UserCall是一款利用人工智能技术进行用户访谈的网站，它通过AI采访员与用户进行一对一的语音通话，从而收集高质量的用户反馈和洞察。这种技术可以大规模地进行用户访谈，提供比传统调查更深入的定性见解，同时节省时间和资源。UserCall的优势在于无需专业用户研究技能，能够自动进行智能跟进提问，帮助企业更好地理解客户需求，改进产品和业务。

将视频或音频内容快速转换成结构化网页摘要的多功能工具。

VideoToPage是一个高效的在线工具，它能够将视频或音频内容转换成结构化的网页摘要，支持多达96种语言，并具有98.5%的高准确率。用户无需订阅即可使用，特别适合需要将视频内容转换成文字资料、教程、博客文章、标准操作程序(SOP)等多种形式的个人和企业。产品提供快速的转录服务，支持长达5小时的视频，且5分钟以内的文件完全免费。此外，还提供内容的语义层次构建、内容类型定义、语义互连、富文本编辑、多语言理解等功能，使得内容的创建、编辑和发布变得简单快捷。

一键将长视频转换为社交媒体短视频的工具。

reap是一款基于人工智能的视频再利用工具，它能够将长视频内容一键转换成适合社交媒体的短视频。它通过先进的AI分析自动提取视频中最吸引人的片段，生成能够吸引观众的短片。reap支持多种语言，并提供了智能字幕生成、品牌模板定制等功能，帮助内容创作者提高内容的吸引力和可访问性，加速增长和变现。

一站式AI资讯平台，连接开发者与AI技术的最新动态。

掘金大模型子站是一个专注于AI领域的技术社区平台，提供从基础设施到最终应用的全景图，旨在帮助个人开发者和企业更好地理解和应用大语言模型技术。该平台通过提供资讯、工具和资源，促进AI技术的创新和应用，推动整个AI生态的发展。

由哔哩哔哩用户评论微调训练而成的本地聊天机器人

bilibot是一个基于哔哩哔哩用户评论训练的本地聊天机器人，支持文字聊天和语音对话。它使用Qwen1.5-32B-Chat作为基础模型，并结合苹果的mlx-lm LORA项目进行微调。语音生成部分基于GPT-SoVITS项目，使用派蒙语音模型。该机器人可以快速生成对话内容，适用于需要智能对话系统的场合。

独立分析AI语言模型和API提供商，帮助选择适合的模型和API。

Artificial Analysis是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。