产品库

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

探索大型语言和视觉语言模型的漏洞与防护

JailbreakZoo是一个专注于破解大型模型（包括大型语言模型和视觉语言模型）的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制，目的是促进对大规模AI系统安全方面的更深入理解和认识。

使用GPT解析PDF为Markdown

gptpdf是一个利用大型视觉语言模型（如GPT-4o）将PDF文件解析为Markdown格式的工具。它通过PyMuPDF库识别非文本区域，并使用OpenAI API进行内容解析，几乎可以完美地处理排版、数学公式、表格、图片和图表等。平均成本为每页0.013美元，具有高效和低成本的特点。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

强大的开源视觉语言模型

CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿个视觉参数和70亿个语言参数。CogVLM-17B在10个经典的跨模态基准测试中取得了最先进的性能，包括NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名第二，超过或与PaLI-X 55B相匹配。CogVLM还可以与您就图像进行对话。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

DA-CLIP的通用图像恢复

DA-CLIP是一种降级感知的视觉语言模型，可用作图像恢复的通用框架。它通过训练一个额外的控制器，使固定的CLIP图像编码器能够预测高质量的特征嵌入，并将其整合到图像恢复网络中，从而学习高保真度的图像重建。控制器本身还会输出与输入的真实损坏匹配的降级特征，为不同的降级类型提供自然的分类器。DA-CLIP还使用混合降级数据集进行训练，提高了特定降级和统一图像恢复任务的性能。

7B参数的文本图像理解与合成模型

InternLM-XComposer2.5是一款专注于文本图像理解与合成应用的大型语言模型，具有7B参数的后端支持，能够处理长达96K的长文本上下文，适合需要广泛输入输出的复杂任务。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

扩展大语言模型的上下文窗口

LLM Maybe LongLM是一个面向开发者和研究人员的人工智能平台，提供各种模型、数据集和解决方案。其中，LLM Maybe LongLM是针对大语言模型长上下文处理的研究成果，通过自我扩展实现了对长上下文的处理能力。该方法无需训练，只需对原始模型进行少量代码修改即可扩展上下文窗口，为处理长文本提供了有效的解决方案。

自动翻译漫画的桌面应用

Comic Translate 是一个桌面应用程序，旨在自动翻译各种格式的漫画，包括BD、Manga、Manhwa、Fumetti等，支持多种语言。它利用了GPT-4的强大翻译能力，特别适用于翻译那些其他翻译器难以准确翻译的语言对，如韩语、日语到英语的翻译。该应用支持多种文件格式，如图像、PDF、Epub、cbr、cbz等，为用户提供了一种便捷的方式来享受不同语言的漫画内容。

综合表格数据学习工具箱和基准测试

LAMDA-TALENT是一个综合的表格数据分析工具箱和基准测试平台，它集成了20多种深度学习方法、10多种传统方法以及300多个多样化的表格数据集。该工具箱旨在提高模型在表格数据上的性能，提供强大的预处理能力，优化数据学习，并支持用户友好和适应性强的操作，适用于新手和专家数据科学家。

AI辅助视频创作，让故事生动起来。

寻光视频创作平台是一个利用人工智能技术，为用户提供全新视频创作模式的在线服务。它通过剧本到分镜的辅助，角色库管理，视觉素材创作，以及视频内容编辑等功能，帮助用户快速实现视频制作。该平台的主要优点包括高效的创作流程、个性化的角色定制、以及先进的AI技术，使得视频制作更加便捷和创新。

智能浏览器助手，快速获取信息和灵感。

Kimi 浏览器助手是一款集成在浏览器中的智能插件，它通过人工智能技术帮助用户快速获取信息、提炼文章摘要、激发写作灵感。它适用于需要高效处理信息和创作内容的用户，具有强大的语言处理能力，能够提供即时的查询和摘要服务。

基于潜在扩散模型的大规模文本到图像生成模型

Kolors是由快手Kolors团队开发的大规模文本到图像生成模型，基于潜在扩散模型，训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面，均优于开源和闭源模型。Kolors支持中英文输入，尤其在理解及生成中文特定内容方面表现突出。

智能编程助手，提升开发效率。

CodeGeeX是一款基于大模型的全能智能编程助手，能够实现代码的生成与补全、自动添加注释、代码翻译以及智能问答等功能，支持多种主流IDE和编程语言，帮助开发者显著提高工作效率。

对话式视频代理，结合大型语言模型与视频处理API。

Jockey是一个基于Twelve Labs API和LangGraph构建的对话式视频代理。它将现有的大型语言模型(Large Language Models, LLMs)的能力与Twelve Labs的API结合使用，通过LangGraph进行任务分配，将复杂视频工作流程的负载分配给适当的基础模型。LLMs用于逻辑规划执行步骤并与用户交互，而与视频相关的任务则传递给由视频基础模型(Video Foundation Models, VFMs)支持的Twelve Labs API，以原生方式处理视频，无需像预先生成的字幕这样的中介表示。

快速构建和发布AI SaaS应用

BuilderKit是一个高度模块化的NextJS AI模板，允许开发者快速构建和发布AI应用。它通过提供预构建的应用和强大的可部署代码库，节省了40多小时的开发工作。BuilderKit支持所有主要的AI模型和工作流程，包括GPT-4、Whisper、Deepgram等，并且提供了包括认证、支付和电子邮件集成在内的AI模块。此外，它还提供了10个预构建的AI应用，以及登陆页面和等待列表页面，帮助开发者快速启动项目。

AI驱动的变更日志生成器，简化产品管理流程。

ProductLift是一个针对SaaS产品经理、项目经理和市场策略师的优先级排序、路线图和变更日志工具。它允许用户对功能进行投票，定义产品路线图，并展示产品更新。ProductLift致力于提升您的产品体验。

自主AI营销助手，全年无休创作博客和帖子。

Skott是一个AI驱动的社交媒体营销、博客和设计一体化工具，能够自主地生产数千篇博客和帖子，无需人工干预，全年365天持续运作。它基于Lyzr Agent Framework构建，提供企业级自动化服务，用户可以完全控制提示、LLMs、分析以及最重要的数据。Skott具备自我反思能力，能够持续改进内容，拥有长期记忆功能，保留用户偏好和指导方针。此外，Skott还提供24小时企业级支持，确保数据隐私，可在本地云上运行。

AI驱动的公共股票投资助手

Calypso是一个AI驱动的公共股票投资助手，结合了人工智能技术与公共金融数据，提供全方位的股票分析服务。它通过AI技术帮助用户在股票市场做出更明智的投资决策，提供实时的盈利预览、更新、AI聊天问答等功能，并通过GPT-4类模型训练，以提供更专业的投资建议。

AI驱动的SQL查询生成工具

OWOX BI SQL Copilot是一款AI驱动的SQL查询生成工具，它通过自动化的方式帮助数据和业务团队快速、准确地创建SQL查询，无需编码技能。该工具直接集成Google BigQuery，提供即时访问表架构，支持使用自然语言生成复杂SQL，优化现有查询，并提供错误修正和实时调试功能。它还支持广泛的SQL功能，包括解释和增强查询结构，以提高理解和性能。此外，OWOX BI SQL Copilot强调数据所有权，确保用户数据的安全和合规性。

定制化大型语言模型的专业微调工具

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。