产品库

新一代多模态模型

Adept Fuyu-Heavy是一款新型的多模态模型，专为数字代理设计。它在多模态推理方面表现出色，尤其在UI理解方面表现出色，同时在传统的多模态基准测试中也表现良好。此外，它展示了我们可以扩大Fuyu架构并获得所有相关好处的能力，包括处理任意大小/形状的图像和有效地重复使用现有的变压器优化。它还具有匹配或超越相同计算级别模型性能的能力，尽管需要将部分容量用于图像建模。

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

基于大型多模态模型构建端到端网络代理

WebVoyager是一款创新的大型多模态模型（LMM）驱动的网络代理，能够通过与现实世界的网站交互，端到端完成用户指令。我们提出了一种新的网络代理评估协议，以解决开放式网络代理任务的自动评估挑战，利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务，用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率，明显超过了GPT-4（所有工具）和WebVoyager（仅文本）设置的性能，突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性，为在真实世界环境中进一步发展网络代理铺平了道路。

数字绘画行为的人工智能模型

Paints-UNDO是一个旨在提供人类绘画行为基础模型的项目，希望未来的AI模型能更好地满足人类艺术家的真实需求。项目名称'Paints-Undo'的灵感来源于模型输出看起来像是在数字绘画软件中多次按下'撤销'按钮（通常是Ctrl+Z）。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

人工智能领域的多轮对话处理专家

汉王天地大模型是汉王科技推出的一款专注于人工智能领域的大语言模型，拥有30年的行业积累。它能够实现多轮对话，高效处理任务，并深耕办公、教育、人文等多个垂直细分领域。该模型通过从人类反馈中进行强化学习，不断优化自身智能，提供包括智能校对、自动翻译、法律咨询、绘画生成、文案生成等在内的多样化服务，以赋能法律、人文、办公、教育、医养等行业，提升效率和创意。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

一款强大的多模态小语言模型

Imp项目旨在提供一系列强大的多模态小语言模型（MSLMs）。我们的imp-v1-3b是一个拥有30亿参数的强大MSLM，它建立在一个小而强大的SLM Phi-2（27亿）和一个强大的视觉编码器SigLIP（4亿）之上，并在LLaVA-v1.5训练集上进行了训练。Imp-v1-3b在各种多模态基准测试中明显优于类似模型规模的对手，甚至在各种多模态基准测试中表现略优于强大的LLaVA-7B模型。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

人工智能入门教程网站，提供全面的机器学习与深度学习知识。

该网站由作者从 2015 年开始学习机器学习和深度学习,整理并编写的一系列实战教程。涵盖监督学习、无监督学习、深度学习等多个领域,既有理论推导,又有代码实现,旨在帮助初学者全面掌握人工智能的基础知识和实践技能。网站拥有独立域名,内容持续更新,欢迎大家关注和学习。

推动人工智能安全治理，促进技术健康发展

《人工智能安全治理框架》1.0版是由全国网络安全标准化技术委员会发布的技术指南，旨在鼓励人工智能创新发展的同时，有效防范和化解人工智能安全风险。该框架提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等原则。它结合人工智能技术特性，分析风险来源和表现形式，针对模型算法安全、数据安全和系统安全等内生安全风险，以及网络域、现实域、认知域、伦理域等应用安全风险，提出了相应的技术应对和综合防治措施。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

多模态长篇故事生成模型

SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术，具有生成高质量、多模态故事内容的能力，为创意产业提供了新的可能性。

Cradle框架：用于控制计算机的多模态代理

Cradle框架旨在使基础模型能够通过与人类相同的通用接口（屏幕作为输入，键盘和鼠标操作作为输出）执行复杂的计算机任务。该框架在Red Dead Redemption II游戏中进行了案例研究，展示了其在复杂环境中的泛化和适应能力。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

智能手机应用的多模态代理框架

AppAgent是一个基于LLM（大型语言模型）的多模态代理框架，设计用于操作智能手机应用。通过简化的动作空间（如点击和滑动），模仿人类般的互动方式，实现应用操作，无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法，创建知识库用于执行不同应用中的复杂任务。

为人工智能提供多模态数据支持的高效数据库解决方案。

Activeloop Deep Lake是一个专为人工智能设计的数据库，支持多模态数据（如文本、图像、视频等）的高效存储和检索。它通过优化数据处理流程，帮助企业和开发者快速构建和部署AI应用，显著提升数据准备和模型训练的效率。Deep Lake的技术优势在于其高性能、可扩展性和易用性，使其成为AI开发中的重要基础设施。产品主要面向企业级用户和AI开发者，提供灵活的定价方案以满足不同规模用户的需求。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

京东自主研发的人工智能开放平台

京东人工智能开放平台NeuHub,汇聚京东自主研发的人工智能核心技术,包含语音、图像、视频、NLP等技术,通过平台向外开放,助力行业智能升级。平台还提供数据标注、模型开发、训练和发布等全流程服务,以及创新应用案例,帮助企业实现智能化转型。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

前沿级多模态大型语言模型，实现视觉-语言任务的先进性能。

NVLM 1.0是一系列前沿级的多模态大型语言模型（LLMs），在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是，NVLM 1.0在多模态训练后，其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

WePOINTS项目，提供多模态模型的统一框架

WePOINTS是由微信AI团队开发的一系列多模态模型，旨在创建一个统一框架，容纳各种模态。这些模型利用最新的多模态模型进展和技术，推动内容理解和生成的无缝统一。WePOINTS项目不仅提供了模型，还包括了预训练数据集、评估工具和使用教程，是多模态人工智能领域的重要贡献。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

数字多模态测谎仪，实时风险评估与情感分析。

PolygrAI是一款先进的数字多模态测谎仪，结合了心理学原理和先进的人工智能及计算机视觉技术，通过分析视觉、音频和语言线索，实时识别可能表明压力或欺骗的行为波动。该技术不仅提高了欺骗检测的准确性，还为用户在各种应用场景中做出决策提供了有价值的见解。PolygrAI的背景信息包括多项研究支持，如Barathi (2016)和Ding et al., (2019)的研究，显示多模态方法在欺骗检测中的有效性。产品不收集用户数据，注重隐私保护，并且正在开发移动版本。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。