产品库

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

强大的开源视觉语言模型

CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿个视觉参数和70亿个语言参数。CogVLM-17B在10个经典的跨模态基准测试中取得了最先进的性能，包括NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名第二，超过或与PaLI-X 55B相匹配。CogVLM还可以与您就图像进行对话。

一个用于评估大型视觉语言模型的精英基准测试集

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

DA-CLIP的通用图像恢复

DA-CLIP是一种降级感知的视觉语言模型，可用作图像恢复的通用框架。它通过训练一个额外的控制器，使固定的CLIP图像编码器能够预测高质量的特征嵌入，并将其整合到图像恢复网络中，从而学习高保真度的图像重建。控制器本身还会输出与输入的真实损坏匹配的降级特征，为不同的降级类型提供自然的分类器。DA-CLIP还使用混合降级数据集进行训练，提高了特定降级和统一图像恢复任务的性能。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

理解复杂视频，作诗配文的AI视频模型

MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。基于MiniGPT-v2，结合视觉主干EVA-CLIP，训练多阶段阶段，包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。

为企业提供开源、灵活的AI模型开发、测试和运行平台。

Red Hat Enterprise Linux AI 是一个基于开源的模型平台，旨在无缝地开发、测试和运行企业级应用的大型语言模型（LLMs）。它结合了开源许可的IBM Granite LLMs、InstructLab模型对齐工具、Red Hat Enterprise Linux的可启动镜像以及Red Hat提供的技术支持和模型知识产权保障。该平台支持跨混合云环境的可移植性，并能与Red Hat OpenShift® AI集成，进一步推进企业AI开发、数据管理和模型治理。

一款AI创作工具，通过智能画布和视频生成，让创意轻松实现。

即梦Dreamina是一款结合了AI技术的在线创作平台，它通过图片生成、智能画布和视频生成等功能，帮助用户将创意转化为视觉作品。该产品的主要优点在于简化了设计流程，使得非专业人士也能创作出高质量的图片和视频。产品背景信息显示，它由深圳市脸萌科技有限公司开发，定位于为广大创意工作者提供便捷的设计服务。目前产品提供免费试用，具体价格信息未在页面中明确。

Autodesk 推出的实验性生成式 AI 模型，用于 3D 形状的创建。

Project Bernini 是 Autodesk 研究项目，旨在开发用于设计和制造行业的生成式人工智能。该模型能够从多种输入（包括 2D 图像、文本、体素和点云）快速生成功能性的 3D 形状。Bernini 模型专为专业几何工作流程设计，可以生成给定输入的多个功能性变体。Autodesk 致力于创建可以用于建筑、产品设计、娱乐等多个用例的生成模型，专注于生成功能性 3D 结构，因为这些模型的输出必须在现实世界中工作，以满足设计师的意图。

自动生成数据可视化、生成信息图表格

GPT Spreadsheets Visualization是一个工具，使用大型语言模型（如ChatGPT）自动探索数据、生成可视化和信息图表格。它可以与任何编程语言和可视化库一起使用，例如matplotlib、seaborn、altair、d3等，并与多个大型语言模型提供商（ChatGPT、PaLM、Cohere、Huggingface等）一起使用。它包括四个模块：摘要生成器、目标探索器、可视化生成器和信息图表格生成器。GPT Spreadsheets Visualization利用最先进的大型语言模型的语言建模和代码编写能力，实现了数据摘要、目标生成、可视化生成、信息图表格生成以及对现有可视化的操作、可视化解释、自动修复、推荐等核心自动化可视化功能。

AI驱动的产前超声工作流程优化软件

Sonio是一款AI驱动的软件，旨在提高产前超声检查的效率、准确性和专业性。它通过自动化图像质量控制、报告生成、数据集成和计费来解决医疗团队面临的挑战。Sonio通过实时指导和最新的临床研究，提升团队技能，同时减少IT维护成本，提供现代化的集中解决方案。

提升大型语言模型解决数学问题的能力

ChatGLM-Math 是一个基于自我批评流程定制的数学问题解决模型，旨在提高大型语言模型（LLMs）在数学问题解决方面的能力。该模型通过训练一个通用的Math-Critique模型来提供反馈信号，并采用拒绝采样微调和直接偏好优化来增强LLM的数学问题解决能力。它在学术数据集和新创建的挑战性数据集MathUserEval上进行了实验，显示出在保持语言能力的同时，显著提升了数学问题解决能力。

一个多功能且强大的SDXL-ControlNet模型，适用于各种线条艺术的调节。

MistoLine是一个SDXL-ControlNet模型，能够适应任何类型的线条艺术输入，展示出高精度和出色的稳定性。它基于用户提供的线条艺术生成高质量图像，适用于手绘草图、不同ControlNet线条预处理器和模型生成的轮廓。MistoLine通过采用新颖的线条预处理算法（Anyline）和基于stabilityai/stable-diffusion-xl-base-1.0的Unet模型的重新训练，以及在大型模型训练工程中的创新，展现出在复杂场景下超越现有ControlNet模型的细节恢复、提示对齐和稳定性的优越性能。

使用Kolmogorov-Arnold网络实现的预训练生成式变换器（GPTs）的语言模型

kan-gpt是一个基于PyTorch的Generative Pre-trained Transformers (GPTs) 实现，它利用Kolmogorov-Arnold Networks (KANs) 进行语言建模。该模型在文本生成任务中展现出了潜力，特别是在处理长距离依赖关系时。它的重要性在于为自然语言处理领域提供了一种新的模型架构，有助于提升语言模型的性能。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

基于AlphaFold3模型的高精度生物分子结构预测平台

AlphaFold Server是一个基于AlphaFold3模型的网络服务，能够生成包含蛋白质、DNA、RNA、配体、离子等的高精度生物分子结构预测，并能模拟蛋白质和核酸的化学修饰。该平台由Google DeepMind和Isomorphic Labs合作开发，对于科学研究和生物制药领域具有重要意义，尤其在非商业用途中，它提供了一个强大的工具来预测和分析生物分子结构。

AlphaFold 3，由Google DeepMind和Isomorphic Labs共同开发的AI模型，能够准确预测所有生命分子的结构和相互作用。

AlphaFold 3是一个革命性的AI模型，它能够预测蛋白质、DNA、RNA、配体等生命分子的结构和相互作用，与现有预测方法相比，对蛋白质与其他分子类型的相互作用预测准确度至少提高了50%，在某些重要类别的相互作用中，预测准确度甚至翻倍。该模型将极大地推进我们对生物世界和药物发现的理解。

职位申请必备！一键生成专业求职信

GPT Cover Letter Generator是一款强大的工具，利用AI技术帮助求职者快速撰写专业且个性化的求职信。通过OpenAI的GPT 3.5模型，简化求职者撰写引人注目的求职信的过程，帮助他们在求职过程中脱颖而出。

IC-Light是一个用于图像照明操纵的项目。

IC-Light项目旨在通过先进的机器学习技术，对图像的照明条件进行操纵，从而实现一致的光照效果。它提供了两种类型的模型：文本条件重照明模型和背景条件模型，两者均以前景图像作为输入。该技术的重要性在于它能够在不依赖复杂提示的情况下，通过简单的文本描述或背景条件，实现对图像照明的精确控制，这对于图像编辑、增强现实、虚拟现实等领域具有重要意义。

开源基础模型，用于代码智能任务，支持116种编程语言。

Granite Code Models 是 IBM 开发的一系列开源基础模型，专为代码生成任务设计，如修复错误、解释代码、文档化代码等。这些模型在多种编程语言上进行了训练，并在不同的代码相关任务上达到了最先进的性能。主要优点包括全面的性能、企业级的信任度以及遵循 IBM 的 AI 伦理原则进行训练。

Prompto是一个开源的网络应用程序，旨在使与LLM的交互简单高效。

Prompto是一个开源的网页应用程序，旨在使与大型语言模型（LLMs）的交互简单高效。它可以轻松切换不同的LLMs，通过调整温度设置来调整LLM的创造力和风险水平，提供聊天机器人界面和笔记本界面，可以创建常用提示的模板，并且在浏览器中运行，确保流畅响应的体验。所有设置和聊天记录仅存储在浏览器的本地存储中，保护用户隐私。

基于2千亿MoE模型的领先AI技术，提供超低价格和越级场景体验。

DeepSeek-V2是一款基于2千亿参数量的MoE（Mixture of Experts）模型的AI技术产品，它在对话官网和API上全面上线，提供领先性能和超低价格。该产品在中文综合能力（AlignBench）和英文综合能力（MT-Bench）的评测中表现出色，与GPT-4-Turbo等闭源模型处于同一梯队。DeepSeek-V2支持128K上下文的开源模型，而对话官网/API支持32K上下文。产品的主要优点包括即刻接入、能力卓越、价格低廉，并且兼容OpenAI API接口，提供丝滑的体验。

构建基于检索增强生成（RAG）和代理的生成式AI应用的先进语言模型

Amazon Titan Text Premier 是 Amazon Titan 系列模型中的新成员，专为文本基础的企业级应用设计，支持定制化微调以适应特定领域、组织、品牌风格和用例。该模型在 Amazon Bedrock 中提供，具备32K令牌的最大上下文长度，特别适合英文任务，并整合了负责任的人工智能实践。

通过生成式人工智能创造带有惊喜和情感的视觉效果，降低电子商务和营销的创意制作成本。

Fotographer.ai是一个AI产品图像生成器，通过生成式人工智能创造出令人惊喜和情感的视觉效果。它可以帮助降低电子商务和营销领域的创意制作成本。该产品使用先进的AI技术，可以根据指定的文本或产品图像，快速生成逼真的照片和背景图像。它不仅可以节省摄影产品和模特的时间和费用，还提供了丰富的AI模特照片库，可以用于广告和营销。