产品库

智元发布首个通用具身基座大模型GO-1，开创性提出ViLLA架构，推动具身智能发展。

智元通用具身基座大模型GO-1是智元推出的一款革命性的人工智能模型。该模型基于创新的Vision-Language-Latent-Action（ViLLA）架构，通过多模态大模型（VLM）和混合专家（MoE）系统，实现了从视觉和语言输入到机器人动作执行的高效转换。GO-1能够利用人类视频和真实机器人数据进行学习，具备强大的泛化能力，能够在极少数据甚至零样本下快速适应新任务和环境。其主要优点包括高效的学习能力、强大的泛化性能以及对多种机器人本体的适配性。该模型的推出标志着具身智能向通用化、开放化和智能化方向迈出了重要一步，有望在商业、工业和家庭等多个领域发挥重要作用。

低成本强化视觉语言模型的泛化能力，仅需不到3美元。

R1-V是一个专注于强化视觉语言模型（VLM）泛化能力的项目。它通过可验证奖励的强化学习（RLVR）技术，显著提升了VLM在视觉计数任务中的泛化能力，尤其是在分布外（OOD）测试中表现出色。该技术的重要性在于，它能够在极低的成本下（仅需2.62美元的训练成本），实现对大规模模型的高效优化，为视觉语言模型的实用化提供了新的思路。项目背景基于对现有VLM训练方法的改进，目标是通过创新的训练策略，提升模型在复杂视觉任务中的表现。R1-V的开源性质也使其成为研究者和开发者探索和应用先进VLM技术的重要资源。

先进的多模态大型语言模型，具备卓越的多模态推理能力。

InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型，旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色，能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术，使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景，如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。

智元机器人发布的具身智能一站式开发平台，覆盖数据采集到模型推理全链路

Genie Studio 是智元机器人专为具身智能场景打造的一站式开发平台，具备数据采集、模型训练、仿真评测、模型推理的全链路产品能力。它为开发者提供从‘采’到‘训’到‘测’再到‘推’的标准化解决方案，极大地降低了开发门槛，提升了开发效率。该平台通过高效的数据采集、灵活的模型训练、精准的仿真评测和无缝的模型推理，推动了具身智能技术的快速发展和应用。Genie Studio 不仅提供了强大的工具，还为具身智能的规模化落地提供了支持，加速了行业向标准化、平台化、量产化的新阶段跃进。

多模态大语言模型，提升多模态推理能力

InternVL2-8B-MPO是一个多模态大语言模型（MLLM），通过引入混合偏好优化（MPO）过程，增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线，并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面，InternVL2-8B-MPO基于InternVL2-8B初始化，并使用MMPR数据集进行微调，展现出更强的多模态推理能力，且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率，超越InternVL2-8B 8.7个点，且表现接近于大10倍的InternVL2-76B。

全能型智能助手，满足多样化应用需求。

IMYAI智能助手是一款集成了多种智能功能的在线服务平台，旨在为用户提供聊天对话、文本处理、专业绘画、音乐创作、视频创作等多元化服务。它结合了先进的人工智能技术，通过对话词库、绘画词库等资源，能够满足不同用户在不同场景下的应用需求。

多模态智能分块库

Semantic Chunkers 是一个多模态分块库，用于智能地对文本、视频和音频进行分块，提高AI和数据处理的效率和准确性。

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

多模态智能框架，识别页面任务并执行动作。

NavAIGuide是一个可扩展的多模态智能框架，通过访问移动和桌面生态系统中的应用程序，实现计划和用户查询。具有视觉任务检测、高级代码选择器、面向动作的执行和鲁棒的错误处理等功能。定位于为用户提供高效的自动化解决方案。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

国产化大模型，支持多模态，快速低成本智能化转型。

岩芯数智是一家专注于人工智能领域的公司，提供多种智能模型服务，包括Yan模型和Dolphin模型。Yan模型是国产化的大模型，支持多模态，承诺为用户提供训练周期短、数据集需求小、性价比更高的服务，帮助各产业链快速、低成本向智能化转型。Dolphin模型则提供智能对话、文章生成、文案摘要等功能，支持私域模型微调，以满足不同行业的需求。

基于轨迹草图的机器人任务泛化

RT-Trajectory 是一种基于粗糙轨迹草图的机器人控制策略，通过轨迹草图实现对新任务的有效泛化能力。它既可以通过人工绘制、视频演示等方式生成轨迹草图，也可以通过图像生成模型等方式生成轨迹草图。RT-Trajectory 在各种真实世界机器人任务中得到了广泛评估，相比于基于语言和目标的策略，具有更广泛的任务执行能力。

实时多模态智能，适用于每台设备。

Cartesia提供实时多模态智能技术，旨在为各种设备提供服务。产品包括Sonic和On-Device两大核心功能。Sonic是快速、超逼真的生成性语音API，由下一代状态空间模型驱动。On-Device提供实时模型，能够在用户的设备上进行快速、私密、离线的推理。Cartesia的产品背景是满足用户对于实时智能服务的需求，特别是在隐私和速度方面。产品定位于提供高效、安全的技术解决方案，以支持各种设备上的智能应用。

基于多模态大语言模型的可解释图像检测与定位

FakeShield是一个多模态框架，旨在解决图像检测和定位（IFDL）领域中的两个主要挑战：检测原理的黑箱性和在不同篡改方法间的有限泛化能力。FakeShield通过利用GPT-4o增强现有的IFDL数据集，创建了多模态篡改描述数据集（MMTD-Set），用于训练FakeShield的篡改分析能力。该框架包括领域标签引导的可解释检测模块（DTE-FDM）和定位模块（MFLM），能够处理各种类型的篡改检测解释，并实现由详细文本描述引导的定位。FakeShield在检测准确性和F1分数上优于其他方法，提供了一个可解释且优越的解决方案。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

革命性AI技术，多模态智能互动

GPT-4o是OpenAI的最新创新，代表了人工智能技术的前沿。它通过真正的多模态方法扩展了GPT-4的功能，包括文本、视觉和音频。GPT-4o以其快速、成本效益和普遍可访问性，革命性地改变了我们与AI技术的互动。它在文本理解、图像分析和语音识别方面表现出色，提供流畅直观的AI互动，适合从学术研究到特定行业需求的多种应用。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

提供全面的MLLMs评估

该工具旨在通过对最新专有和开源MLLMs进行定性研究，从文本、代码、图像和视频四个模态的角度，评估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我们相信这些属性是定义MLLMs可靠性的几个代表性因素，支持各种下游应用。具体而言，我们评估了闭源的GPT-4和Gemini以及6个开源LLMs和MLLMs。总体上，我们评估了230个手动设计的案例，定性结果总结为12个分数（即4个模态乘以3个属性）。总共，我们揭示了14个实证发现，有助于了解专有和开源MLLMs的能力和局限性，以更可靠地支持多模态下游应用。

多模态大型语言模型，优化图像与文本交互能力

InternVL2_5-4B-MPO-AWQ是一个多模态大型语言模型（MLLM），专注于提升模型在图像和文本交互任务中的表现。该模型基于InternVL2.5系列，并通过混合偏好优化（MPO）进一步提升性能。它能够处理包括单图像和多图像、视频数据在内的多种输入，适用于需要图像和文本交互理解的复杂任务。InternVL2_5-4B-MPO-AWQ以其卓越的多模态能力，为图像-文本到文本的任务提供了一个强大的解决方案。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

AI多模态数据绑定

ImageBind是一种新的AI模型，能够同时绑定六种感官模态的数据，无需显式监督。通过识别这些模态之间的关系（图像和视频、音频、文本、深度、热成像和惯性测量单元（IMUs）），这一突破有助于推动AI发展，使机器能够更好地分析多种不同形式的信息。探索演示以了解ImageBind在图像、音频和文本模态上的能力。

智能手机应用的多模态代理框架

AppAgent是一个基于LLM（大型语言模型）的多模态代理框架，设计用于操作智能手机应用。通过简化的动作空间（如点击和滑动），模仿人类般的互动方式，实现应用操作，无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法，创建知识库用于执行不同应用中的复杂任务。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

开源多模态预训练模型，具备中英双语对话能力。

GLM-4V-9B是智谱AI推出的新一代预训练模型，支持1120*1120高分辨率下的中英双语多轮对话，以及视觉理解能力。在多模态评测中，GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

多模态长篇故事生成模型

SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术，具有生成高质量、多模态故事内容的能力，为创意产业提供了新的可能性。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。