产品库

VITA-1.5: 实时视觉和语音交互的GPT-4o级多模态大语言模型

VITA-1.5 是一款开源的多模态大语言模型，旨在实现接近实时的视觉和语音交互。它通过显著降低交互延迟和提升多模态性能，为用户提供更流畅的交互体验。该模型支持英语和中文，适用于多种应用场景，如图像识别、语音识别和自然语言处理等。其主要优点包括高效的语音处理能力和强大的多模态理解能力。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

多模态大型语言模型，提升文本、图像和视频数据处理能力。

Valley是由字节跳动开发的多模态大型模型（MLLM），旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，远超过其他开源模型，并在OpenCompass多模态模型评估排行榜上展现了出色的性能，平均得分67.40，位列已知开源MLLMs（<10B）中的前两名。

多模态大语言模型，提升多模态推理能力

InternVL2-8B-MPO是一个多模态大语言模型（MLLM），通过引入混合偏好优化（MPO）过程，增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线，并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面，InternVL2-8B-MPO基于InternVL2-8B初始化，并使用MMPR数据集进行微调，展现出更强的多模态推理能力，且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率，超越InternVL2-8B 8.7个点，且表现接近于大10倍的InternVL2-76B。

一个集成了Gemini多模态直播和WebRTC技术的单文件应用

Gemini Multimodal Live + WebRTC是一个展示如何构建简单语音AI应用的示例项目，使用Gemini多模态直播API和WebRTC技术。该产品的主要优点包括低延迟、更好的鲁棒性、易于实现核心功能，并且兼容多种平台和语言的SDK。产品背景信息显示，这是一个开源项目，旨在通过WebRTC技术提升实时媒体连接的性能，并简化开发流程。

模型评测平台

FlagEval是一个模型评测平台，专注于大语言模型和多模态模型的评测。它提供了一个公正、透明的环境，让不同的模型在同一标准下进行比较，帮助研究者和开发者了解模型性能，推动人工智能技术的发展。该平台涵盖了对话模型、视觉语言模型等多种模型类型，支持开源和闭源模型的评测，并提供专项评测如K12学科测验和金融量化交易评测。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

开源大语言模型，匹配专有强大能力。

Open O1是一个开源项目，旨在通过开源创新，匹配专有的强大O1模型能力。该项目通过策划一组O1风格的思考数据，用于训练LLaMA和Qwen模型，赋予了这些较小模型更强大的长期推理和解决问题的能力。随着Open O1项目的推进，我们将继续推动大型语言模型的可能性，我们的愿景是创建一个不仅能够实现类似O1的性能，而且在测试时扩展性方面也处于领先地位的模型，使高级AI能力为所有人所用。通过社区驱动的开发和对道德实践的承诺，Open O1将成为AI进步的基石，确保技术的未来发展是开放的，并对所有人有益。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

构建个性化AI代理的开源平台

Scoopika是一个开源的开发者平台，旨在帮助开发者构建能够看、说、听、学习并采取行动的个性化AI代理。它为AI时代提供了一个安全、高效且易于使用的平台，支持全边缘兼容性和实时流媒体，内置视觉和语音聊天功能。Scoopika强调了其开放源代码的特性，提供了服务器端和客户端的运行库，以及React项目中的集成模块，拥有一个不断增长的开发者社区。

Falcon 2 是一款开源、多语言、多模态的模型，具备图像到文本转换能力。

Falcon 2 是一款具有创新功能的生成式 AI 模型，为我们创造了一种充满可能性的未来路径，只有想象力才是限制。Falcon 2 采用开源许可证，具备多语言和多模态的能力，其中独特的图像到文本转换功能标志着 AI 创新的重大进展。

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。

新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。

多模态音乐理解和生成系统

M2UGen是一个结合大语言模型的多模态音乐理解和生成框架,旨在帮助用户进行音乐创作。它能同时完成音乐理解和多模态音乐生成任务。

先进的多模态大型语言模型，具备卓越的多模态推理能力。

InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型，旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色，能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术，使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景，如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。

一个用于检测幻觉的开源评估模型，基于Llama-3架构，拥有700亿参数。

PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct是一个基于Llama-3架构的大型语言模型，旨在检测在RAG设置中的幻觉问题。该模型通过分析给定的文档、问题和答案，评估答案是否忠实于文档内容。其主要优点在于高精度的幻觉检测能力和强大的语言理解能力。该模型由Patronus AI开发，适用于需要高精度信息验证的场景，如金融分析、医学研究等。该模型目前为免费使用，但具体的商业应用可能需要与开发者联系。

一个开源AI模型微调与变现平台，助力AI初创企业、机器学习工程师和研究人员。

Bakery是一个专注于开源AI模型的微调与变现的在线平台，为AI初创企业、机器学习工程师和研究人员提供了一个便捷的工具，使他们能够轻松地对AI模型进行微调，并在市场中进行变现。该平台的主要优点在于其简单易用的界面和强大的功能，用户可以快速创建或上传数据集，微调模型设置，并在市场中进行变现。Bakery的背景信息表明，它旨在推动开源AI技术的发展，并为开发者提供更多的商业机会。虽然具体的定价信息未在页面中明确展示，但其定位是为AI领域的专业人士提供一个高效的工具。

开源替代品，基于搜索结果生成AI报告

Open Deep Research 是一个开源工具，旨在通过 AI 技术从网络搜索结果中生成详细的报告。它结合了 Bing 搜索 API 和 JinaAI 等技术，能够快速检索和处理大量信息，生成定制化的报告。该工具的主要优点在于其灵活性和开源特性，用户可以根据自己的需求进行定制和扩展。它适用于需要进行大量信息整理和分析的用户，如研究人员、分析师和企业用户。该项目目前是免费的，适合各种规模的组织和个人使用。

开源、免费且由AI驱动的新闻聚合平台，提供简洁的新闻摘要。

Epigram 是一个开源、免费且由AI驱动的新闻聚合平台，旨在为用户提供简洁、准确的新闻摘要。该平台通过先进的AI技术对海量新闻内容进行分析和筛选，帮助用户快速获取关键信息。其主要优点包括高效的信息处理能力、用户友好的界面设计以及开源的透明性。Epigram 的背景信息显示，它是由一群致力于推动信息自由流通的技术人员开发的，旨在解决信息过载的问题。目前，Epigram 提供免费服务，适合各类需要快速获取新闻信息的用户。

一个用于多模型嵌入的图形库，支持多种模型和数据类型的可视化

vectrix-graphs 是一个强大的图形库，专注于多模型嵌入的可视化。它支持多种机器学习模型和数据类型，能够将复杂的数据结构以直观的图形形式展现出来。该库的主要优点在于其灵活性和扩展性，可以轻松集成到现有的数据科学工作流程中。vectrix-ai 团队开发了这个库，旨在帮助研究人员和开发者更好地理解和分析模型的嵌入结果。作为一个开源项目，它在 GitHub 上提供免费使用，适合各种规模的项目和团队。

基于ESP32的AI聊天机器人项目，可实现多语言对话与声纹识别

xiaozhi-esp32 是一个开源的 AI 聊天机器人项目，基于乐鑫的 ESP-IDF 开发。它将大语言模型与硬件设备相结合，使用户能够打造出个性化的 AI 伴侣。项目支持多种语言的语音识别与对话，具备声纹识别功能，能够识别不同用户的语音特征。其开源特性降低了 AI 硬件开发的门槛，为学生、开发者等群体提供了宝贵的学习资源，有助于推动 AI 技术在硬件领域的应用与创新。项目目前免费开源，适合不同层次的开发者进行学习与二次开发。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

一款帮助用户整理房间的趣味提醒应用

Dotomo是一款旨在帮助用户整理房间的应用程序。通过趣味性的方式提醒用户清理房间，例如将衣物比作叛乱者，灰尘比作文明等，使得整理房间的过程更加有趣和轻松。该应用的主要优点在于其独特的提醒方式和趣味性，能够激发用户的整理动力。产品背景信息显示，Dotomo由Arash Midus开发，目前处于测试阶段，用户可以通过TestFlight获取早期访问权限。价格方面，目前尚未明确，但作为一款趣味应用，预计会以免费或低价格的形式提供给用户。

一个开源的NotebookLM实现，使用Deepseek-V3和PlayHT TTS技术。

opensource_notebooklm是一个开源项目，旨在通过结合Deepseek-V3语言理解和PlayHT文本转语音技术，实现自然、教育性的对话生成。该项目能够生成类似播客的对话，适用于教育和娱乐领域。其主要优点包括强大的语言生成能力和高质量的语音输出，使其在教育内容创作和语言学习应用中具有重要价值。