产品库

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

长视频理解基准测试

LVBench是一个专门设计用于长视频理解的基准测试，旨在推动多模态大型语言模型在理解数小时长视频方面的能力，这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。

理解复杂视频，作诗配文的AI视频模型

MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。基于MiniGPT-v2，结合视觉主干EVA-CLIP，训练多阶段阶段，包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。

苹果发布多模态LLM模型MM1

苹果发布了自己的大语言模型MM1，这是一个最高有30B规模的多模态LLM。通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能，展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。

通过自然语言指令实现智能图像编辑的开源技术。

MGIE（多模态大语言模型引导的编辑）是一项由苹果开源的技术，利用多模态大型语言模型（MLLMs）生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。

多模态音乐理解和生成系统

M2UGen是一个结合大语言模型的多模态音乐理解和生成框架,旨在帮助用户进行音乐创作。它能同时完成音乐理解和多模态音乐生成任务。

腾讯混元大模型，中文创作能力

腾讯混元大模型是由腾讯研发的大语言模型，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。该模型持续训练终身学习，覆盖五大核心优势能力，包括多轮对话、内容创作、逻辑推理、知识增强和多模态（敬请期待）。丰富的应用场景，提供多样化服务，包括文档场景、会议场景、广告场景和营销场景等。

大规模长视频数据集，结构化字幕

MiraData是一个大规模的视频数据集，专注于长视频片段，平均时长72秒，提供结构化字幕，平均字幕长度318字，丰富了视频内容的描述。通过使用GPT-4V等技术，MiraData在视频理解和字幕生成方面展现出高准确性和语义连贯性。

一款多功能大型视觉语言模型

InternLM-XComposer-2.5是一款支持长上下文输入和输出的多功能大型视觉语言模型。它在各种文本图像理解和创作应用中表现出色，实现了与GPT-4V相当的水平，但仅使用了7B的LLM后端。该模型通过24K交错图像文本上下文进行训练，能够无缝扩展到96K长上下文，通过RoPE外推。这种长上下文能力使其在需要广泛输入和输出上下文的任务中表现突出。此外，它还支持超高分辨率理解、细粒度视频理解、多轮多图像对话、网页制作以及撰写高质量图文文章等功能。

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

视频理解领域的先进空间-时间建模与音频理解模型。

VideoLLaMA 2 是一个针对视频理解任务优化的大规模语言模型，它通过先进的空间-时间建模和音频理解能力，提升了对视频内容的解析和理解。该模型在多选视频问答和视频字幕生成等任务上展现了卓越的性能。

视频理解领域的新型状态空间模型，提供视频建模的多功能套件。

Video Mamba Suite 是一个用于视频理解的新型状态空间模型套件，旨在探索和评估Mamba在视频建模中的潜力。该套件包含14个模型/模块，覆盖12个视频理解任务，展示了在视频和视频-语言任务中的高效性能和优越性。

视频理解基础模型

VideoPrism是一个通用的视频编码模型,能够在各种视频理解任务上取得领先的性能,包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样,包含3600万高质量的视频-文本对,以及5.82亿带有嘈杂文本的视频剪辑。预训练采用两阶段策略,先利用对比学习匹配视频和文本,然后预测遮蔽的视频块,充分利用不同的监督信号。一个固定的VideoPrism模型可以直接适配到下游任务,并在30个视频理解基准上刷新状态最优成绩。

利用视觉令牌与语言令牌的等距离关系，实现可靠的视频叙述。

Vista-LLaMA是一种先进的视频语言模型，旨在改善视频理解。它通过保持视觉令牌与语言令牌之间的一致距离，无论生成文本的长度如何，都能减少与视频内容无关的文本产生。这种方法在计算视觉与文本令牌之间的注意力权重时省略了相对位置编码，使视觉令牌在文本生成过程中的影响更为显著。Vista-LLaMA还引入了一个顺序视觉投影器，能够将当前视频帧投影到语言空间的令牌中，捕捉视频内的时间关系，同时减少了对视觉令牌的需求。在多个开放式视频问答基准测试中，该模型的表现显著优于其他方法。

高质量、类人同声传译系统

CLASI是一个由字节跳动研究团队开发的高质量、类人同声传译系统。它通过新颖的数据驱动读写策略平衡翻译质量和延迟，采用多模态检索模块来增强特定领域术语的翻译，利用大型语言模型（LLMs）生成容错翻译，考虑输入音频、历史上下文和检索信息。在真实世界场景中，CLASI在中英和英中翻译方向上分别达到了81.3%和78.0%的有效信息比例（VIP），远超其他系统。

统一的代码库，用于微调大型多模态模型

lmms-finetune是一个统一的代码库，旨在简化大型多模态模型（LMMs）的微调过程。它提供了一个结构化的框架，允许用户轻松集成最新的LMMs并进行微调，支持全微调和lora等策略。代码库设计简单轻量，易于理解和修改，支持包括LLaVA-1.5、Phi-3-Vision、Qwen-VL-Chat、LLaVA-NeXT-Interleave和LLaVA-NeXT-Video等多种模型。

AI辅助的运动训练助手，实现无损伤训练

Athlabs是一个利用人工智能技术为用户提供运动训练反馈的数字教练平台。它通过多模态AI模型提供即时、校正性反馈，帮助用户在没有运动损伤的情况下进行训练。平台还提供个性化指导，由专业体育专家提供精确的指导，以及为用户定制的挑战训练计划。此外，Athlabs还计划提供专家洞察，以进一步提升用户的表现。

开箱即用的文档AI工具箱，针对不良数据优化

Finance Commons和Bad Data Toolbox是一系列针对文档AI研究和应用的模型和工具。它们专注于处理不良数据，包括OCR错误、结构混乱的文本等，以提高AI在文档处理中的鲁棒性。这些工具和模型有助于自动化流程，减少企业在准备内容时的工作量，同时支持下一代多模态文档模型的发展。

新一代大模型架构，超越 Transformer。

RWKV 是一种革新的深度学习架构，结合了 RNN 和 Transformer 的最佳特性。它提供出色的性能，快速的推理和训练，并且不依赖自注意力机制，节省 VRAM，支持 ' 无限 ' 的上下文长度。RWKV 在多个语言和编码中表现出色，成为全球开发者的热门选择，推动了开源大语言模型的进步。

成本效益高的智能模型

GPT-4o mini 是 OpenAI 推出的一款成本效益极高的小型智能模型。它在多模态推理和文本智能方面超越了其他小型模型，并支持与 GPT-4o 相同的语言范围。该模型在数学推理和编码任务上表现出色，能够处理大量上下文信息，并支持快速、实时的文本响应。GPT-4o mini 的推出旨在使智能技术更广泛地应用于各种应用场景，降低成本，提高可访问性。

企业级AI数字员工平台

司马诸葛是一个基于自研文档智能模型(DocMind)+大语言模型技术的企业级AI数字员工平台(AI Agent)。企业无需复杂设置，通过企业知识文档，就可训练专属AI数字员工。AI数字员工7*24小时在线解决企业内外部知识问答、专业文档分析、内容再创作等工作任务。司马诸葛的核心能力来源于司马阅自研文档智能模型DocMind，是国产领先的AI文档分析服务商。

记录你生活中的一切，成为你的完美记忆助手

爬爬飞记是一款致力于提高用户生活记录效率的应用程序。它通过简洁的用户界面和强大的记录功能，帮助用户捕捉生活中的每一个瞬间，无论是文字、图片还是视频。产品背景信息显示，爬爬飞记注重用户隐私，只有在用户允许的情况下，才会使用大语言模型访问用户数据。

数学视觉指令调优模型

MAVIS是一个针对多模态大型语言模型（MLLMs）的数学视觉指令调优模型，主要通过改进视觉编码数学图表、图表-语言对齐和数学推理技能来增强MLLMs在视觉数学问题解决方面的能力。该模型包括两个新策划的数据集、一个数学视觉编码器和数学MLLM，通过三阶段训练范式在MathVerse基准测试中取得领先性能。

多模态智能分块库

Semantic Chunkers 是一个多模态分块库，用于智能地对文本、视频和音频进行分块，提高AI和数据处理的效率和准确性。

多模态长篇故事生成模型

SEED-Story是一个基于大型语言模型（MLLM）的多模态长篇故事生成模型，能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术，具有生成高质量、多模态故事内容的能力，为创意产业提供了新的可能性。

大型多模态模型，处理多图像、视频和3D数据。

LLaVA-NeXT是一个大型多模态模型，它通过统一的交错数据格式处理多图像、视频、3D和单图像数据，展示了在不同视觉数据模态上的联合训练能力。该模型在多图像基准测试中取得了领先的结果，并在不同场景中通过适当的数据混合提高了之前单独任务的性能或保持了性能。

与私有自托管语言模型对话的iOS/macOS应用

Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用，它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品，允许在iOS生态系统（macOS、iOS、Watch、Vision Pro）的所有设备上提供无过滤、安全、私密和多模态的体验。

高等数学问题的智能解答助手

AMchat是一个集成了数学知识和高等数学习题及其解答的大语言模型。它基于InternLM2-Math-7B模型，通过xtuner微调，专门设计用于解答高等数学问题。该项目在2024浦源大模型系列挑战赛（春季赛）中获得Top12和创新创意奖，体现了其在高等数学领域的专业能力和创新性。

多模态人工智能模型，辅助病理学研究和教育。

PathChat 2是Modella AI最新推出的多模态生成性人工智能模型，专为病理学家、学员和研究人员设计，能够对病理图像和文本进行推理，作为研究和教育的辅助工具。与前一代模型PathChat 1相比，PathChat 2在鉴别诊断、形态描述、指令遵循以及执行多样化任务（如开放式问题回答和报告总结）方面有显著的性能提升。