产品库

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

首个全面评估多模态大型语言模型在视频分析中的性能基准。

Video-MME是一个专注于多模态大型语言模型（MLLMs）在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白，为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频，并针对MLLMs的核心能力进行了评估。

基于llama3 8B的SOTA视觉模型

llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

连接数字和物理世界的首款多模态模型

Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

AI社区共建未来,开源开放科学推进AI民主化

Hugging Face是一个AI社区平台,致力于通过开源和开放科学的方式来推进人工智能的发展和民主化。它为机器学习社区提供了协作模型、数据集和应用程序的环境。主要优势包括:1)协作平台,可无限托管和共享模型、数据集和应用程序。2)开源堆栈,加速ML开发流程。3)支持多模态(文本、图像、视频、音频、3D等)。4)建立ML作品集,在全球分享你的作品。5)付费计算和企业解决方案,提供优化的推理端点、GPU支持等。

苹果发布多模态LLM模型MM1

苹果发布了自己的大语言模型MM1，这是一个最高有30B规模的多模态LLM。通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能，展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。

基于脚本生成极长视频的多模态生成模型

NUWA-XL是微软开发的前沿多模态生成模型，能够根据提供的脚本以“粗到细”的过程生成极长视频。该模型能够产生高质量、多样化且有趣的视频剪辑，并具有真实的镜头变化。

新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

谷歌最新一代AI助手

Gemini是谷歌最新一代的AI助手模型,它可以进行长篇语境的理解,支持多模态输入,在文本、代码、图像、音频和视频领域都有出色的表现。Gemini 1.5采用了更高效的模型结构,大大提升了性能。它还实现了突破性的百万级token语境长度,支持更复杂的推理和跨模态理解。Gemini可用于构建对话机器人、知识问答、语音助手、图像识别等应用。

多模态引导的共语言面部动画生成

Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

新一代多模态模型

Adept Fuyu-Heavy是一款新型的多模态模型，专为数字代理设计。它在多模态推理方面表现出色，尤其在UI理解方面表现出色，同时在传统的多模态基准测试中也表现良好。此外，它展示了我们可以扩大Fuyu架构并获得所有相关好处的能力，包括处理任意大小/形状的图像和有效地重复使用现有的变压器优化。它还具有匹配或超越相同计算级别模型性能的能力，尽管需要将部分容量用于图像建模。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

GLM-4和CogView3，智能大模型与图像生成AI

智谱AI在首届技术开放日上发布了GLM-4和CogView3。GLM-4性能全面提升近60%，支持更长的上下文、更强的多模态支持和更快速的推理。CogView3逼近DALL·E 3的多模态生成能力。产品定位为下一代基座大模型和图像生成AI。

大模型综合能力

商汤日日新是一款大模型综合能力平台，提供对话生成、模型微调、知识库构建等功能。商汤日日新具备高质量、多规格、超实时、强扩展、高安全、速融合等特点，适用于办公、教育、文娱、汽车、金融、医疗等多个领域。其模型体系赋能产业升级，多模态能力组合引领产业实现全新突破。

基于多模态的 AI 模型，无缝进行图像、视频、音频和代码的推理

Google Gemini 是一款基于多模态的 AI 模型，能够无缝进行图像、视频、音频和代码的推理。Gemini 是 DeepMind 推出的最先进的 AI 模型，能够在 MMLU（大规模多任务语言理解）等各项测试中超越人类专家。Gemini 具有出色的推理能力，在各种多模态任务中取得了最先进的性能。

谷歌多模态AI模型Gemini,支持文本和图像的组合推理

Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。

3D世界中的全能代理人

LEO是一个基于大型语言模型的多模态、多任务全能代理人，能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现：（i）3D视觉语言对齐和（ii）3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集，需要对3D世界进行深入的理解和交互。通过严格的实验，我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。

合成数据，重塑未来

AuroraAI是由Incribo开发的产品，可以生成安全高质量的训练数据，为您的AI模型加速发展。它可以用于多种用途，包括语音合成、音频分割、人物建模、景观设计、图像处理等。AuroraAI注重隐私保护，成本高效，支持多模态数据生成，具有无限的变化可能性，用户拥有数据所有权，并且可以直接使用。目前处于早期访问阶段，欢迎加入我们的社区。

大型语言和视觉助手，实现多模态聊天和科学问答

LLaVA是一种新型的端到端训练的大型多模态模型，将视觉编码器和Vicuna相结合，实现了令人印象深刻的聊天能力，模仿多模态GPT-4的精神，并在科学问答方面取得了新的最高准确率。LLaVA的使用场景包括日常用户应用的多模态聊天和科学领域的多模态推理。LLaVA的数据、代码和检查点仅限于研究用途，并遵循CLIP、LLaMA、Vicuna和GPT-4的许可协议。

腾讯混元大模型，中文创作能力

腾讯混元大模型是由腾讯研发的大语言模型，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。该模型持续训练终身学习，覆盖五大核心优势能力，包括多轮对话、内容创作、逻辑推理、知识增强和多模态（敬请期待）。丰富的应用场景，提供多样化服务，包括文档场景、会议场景、广告场景和营销场景等。

多模态头像生成和动画

MagicAvatar是一个多模态框架，能够将各种输入模式（文本、视频和音频）转换为运动信号，从而生成/动画化头像。它可以通过简单的文本提示创建头像，也可以根据给定的源视频创建遵循给定运动的头像。此外，它还可以动画化特定主题的头像。MagicAvatar的优势在于它能够将多种输入模式结合起来，生成高质量的头像和动画。