产品库

多模态视觉任务的高效转换模型

LLaVA-OneVision是一款由字节跳动公司与多所大学合作开发的多模态大型模型（LMMs），它在单图像、多图像和视频场景中推动了开放大型多模态模型的性能边界。该模型的设计允许在不同模态/场景之间进行强大的迁移学习，展现出新的综合能力，特别是在视频理解和跨场景能力方面，通过图像到视频的任务转换进行了演示。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

首个全面评估多模态大型语言模型在视频分析中的性能基准。

Video-MME是一个专注于多模态大型语言模型（MLLMs）在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白，为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频，并针对MLLMs的核心能力进行了评估。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

利用AI在浏览器中自动检测视频内容。

doesVideoContain是一个利用人工智能在浏览器中检测视频内容的模型。它允许用户通过简单的英语句子描述来自动抓取视频截图，识别视频中的重要时刻。这个模型完全在客户端运行，保护用户隐私，无需支付API费用，并且可以处理本地大文件，无需上传至云端。它使用了Web AI生态系统中的Transformers.js和ONNX Runtime Web，结合了自定义逻辑来执行余弦相似度计算。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

开源数据标注工具，提升机器学习模型性能。

LabelU是一个开源的数据标注工具，适用于需要对图像、视频、音频等数据进行高效标注的场景，以提升机器学习模型的性能和质量。它支持多种标注类型，包括标签分类、文本描述、拉框等，满足不同场景的标注需求。

一万亿Token和34亿张图像的多模态数据集

MINT-1T是由Salesforce AI开源的多模态数据集，包含一万亿个文本标记和34亿张图像，规模是现有开源数据集的10倍。它不仅包含HTML文档，还包括PDF文档和ArXiv论文，丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤，确保了数据的高质量和多样性。

交互式模块化服装生成

IMAGDressing是一个交互式模块化服装生成模型，旨在为虚拟试穿系统提供灵活和可控的定制化服务。该模型通过结合CLIP的语义特征和VAE的纹理特征，使用混合注意力模块将这些特征整合到去噪UNet中，确保用户可以控制编辑。此外，IMAGDressing还提供了IGPair数据集，包含超过30万对服装和穿着图像，建立了标准的数据组装流程。该模型可以与ControlNet、IP-Adapter、T2I-Adapter和AnimateDiff等扩展插件结合使用，增强多样性和可控性。

多模态长篇故事生成模型

SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术，具有生成高质量、多模态故事内容的能力，为创意产业提供了新的可能性。

大型多模态模型，处理多图像、视频和3D数据。

LLaVA-NeXT是一个大型多模态模型，它通过统一的交错数据格式处理多图像、视频、3D和单图像数据，展示了在不同视觉数据模态上的联合训练能力。该模型在多图像基准测试中取得了领先的结果，并在不同场景中通过适当的数据混合提高了之前单独任务的性能或保持了性能。

玩转热门主流 AI 模型，并接入在你的产品中

X Model 是一个集成热门主流 AI 模型的平台，用户可以在其产品中轻松接入这些模型。它的主要优点包括多样的模型选择、高质量的输出结果以及简单易用的接入流程。X Model 价格灵活，适用于各种规模的业务。

革命性AI技术，多模态智能互动

GPT-4o是OpenAI的最新创新，代表了人工智能技术的前沿。它通过真正的多模态方法扩展了GPT-4的功能，包括文本、视觉和音频。GPT-4o以其快速、成本效益和普遍可访问性，革命性地改变了我们与AI技术的互动。它在文本理解、图像分析和语音识别方面表现出色，提供流畅直观的AI互动，适合从学术研究到特定行业需求的多种应用。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

实时更新的多模态模型性能排行榜

OpenCompass多模态排行榜是一个实时更新的平台，用于评估和排名不同的多模态模型（VLMs）。它通过8个多模态基准测试来计算模型的平均得分，并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs，旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。

将您的角色照片转换成粘土动画风格的图像

粘土 AI 是一款 AI 工具，可以将照片转换成粘土动画风格的图像。通过分析面部特征，生成逼真的效果，提供灵活的编辑功能。价格定位为免费使用。使用比较简单，上传你的照片并提交，稍等10-20 秒可以获得粘土动画风格的图像。

GPT4 Omni是一款远不止于语音助手的产品。

GPT4 Omni是一种全新的模型，可以处理文本、视觉和音频，具有多模态功能。它在语音能力方面具有革命性，同时还具备文本、图像和音频处理的能力。GPT4 Omni的优势是可以同时处理和生成多种主要模态，且响应时间较快。

GPT4 Omni是一款更多功能的语音助手。

GPT4 Omni是一款多模态模型，能处理和生成文本、音频和图像。它结合了OpenAI的Whisper和TTS技术，具有更好的推理能力和更低的延迟。GPT4 Omni是OpenAI目前最先进的模型，具有革命性的多模态能力，为用户提供了更多的创造力和灵活性。它的价格更低且更高效，代表了人工智能技术的新一代。

超高质量的虚拟试穿，适用于任何服装和任何人。

Outfit Anyone 是一个客户端程序，调用接口进行虚拟试穿。该模型不开源，固定且不能上传或修改，仅支持用户上传自己的服装。

通过对比对齐进行 Pure 和 Lightning ID 定制

PuLID 是一个专注于人脸身份定制的深度学习模型，通过对比对齐技术实现高保真度的人脸身份编辑。该模型能够减少对原始模型行为的干扰，同时提供多种应用，如风格变化、IP融合、配饰修改等。

智能一键抠图、高清、修复、转卡通

图可丽利用人工智能和计算机视觉的力量，提供各种产品，使生活更容易，工作更富有成效。提供一键抠图、视频抠图、照片动漫化等功能，满足不同用户需求。

AI 图像擦除器，轻松删除照片中不需要的人、物体、文字和水印。

AI 图像擦除器是一款基于人工智能技术的工具，能够快速、简单地从照片中删除不需要的内容，提高照片的整体质量。该工具操作简便，免费使用，适用于个人和专业用户。

视频超分辨率模型，细节丰富

VideoGigaGAN是一款基于大规模图像上采样器GigaGAN的视频超分辨率(VSR)模型。它能够生成具有高频细节和时间一致性的视频。该模型通过添加时间注意力层和特征传播模块，显著提高了视频的时间一致性，并使用反锯齿块减少锯齿效应。VideoGigaGAN在公共数据集上与最先进的VSR模型进行了比较，并展示了8倍超分辨率的视频结果。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

使用 LCM-Lookahead 技术的文本到图像个性化模型

LCM-Lookahead for Encoder-based Text-to-Image Personalization 是一种使用 LCM-Lookahead 技术的文本到图像个性化模型，它可以通过在模型训练和分类器指导中传播图像空间损失来实现更好的身份保真度，同时保留布局多样性和提示对齐。

一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法

ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。

将您的草图转化为精致图像

Scribble Diffusion利用人工智能将您的草图转化为精致图像。用户可以上传草图并获得优化后的图像。产品定位为为用户提供便捷的图像处理功能，提升设计效率。