产品库

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

Zarin是首个开源AI平台，集成了200多个热门和最新的AI多模型，可生成图片、视频、音频、代码、学术论文等。

Zarin是一个开源AI平台，汇聚了200多个热门和最新的AI多模型，为用户提供生成图片、视频、音频、代码、学术论文等功能。该平台的主要优点是打破了不同AI平台之间切换的障碍，使用户能够在一个平台上完成多种任务。Zarin的背景信息是由Ibrohim Abdivokhidov开发。

高效开源的视觉语言模型

SmolVLM是一个小型但功能强大的视觉语言模型（VLM），拥有2B参数，以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源，包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署，降低推理成本，并允许用户自定义。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

开源的视觉语言模型，可在多种设备上运行。

Moondream AI是一个开源的视觉语言模型，具有强大的多模态处理能力。它支持多种量化格式，如fp16、int8、int4，能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署，且采用Apache 2.0许可证，允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案，适用于需要视觉和语言处理能力的各种应用场景。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

开源代码语言模型，支持多编程语言。

DeepSeek-Coder-V2是一个开源的Mixture-of-Experts代码语言模型，性能可与GPT4-Turbo相媲美，在代码特定任务上表现突出。它通过额外的6万亿个token进一步预训练，增强了编码和数学推理能力，同时保持了在一般语言任务上的相似性能。与DeepSeek-Coder-33B相比，在代码相关任务、推理和一般能力方面都有显著进步。此外，它支持的编程语言从86种扩展到338种，上下文长度从16K扩展到128K。

一种用于扩展多模态大型语言模型（LLMs）的先进架构。

CuMo是一种多模态大型语言模型（LLMs）的扩展架构，它通过在视觉编码器和MLP连接器中融入稀疏的Top-K门控专家混合（MoE）块，提高了模型的可扩展性，同时在推理时几乎不增加激活参数。CuMo在预训练MLP块后，初始化MoE块中的每个专家，并在视觉指令调整阶段使用辅助损失以确保专家的均衡负载。CuMo在各种VQA和视觉指令遵循基准测试中超越了其他同类模型，且完全基于开源数据集进行训练。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

开源 AI 语言模型

Llama 2 是我们的下一代开源大型语言模型，提供免费的研究和商业使用。它具有强大的功能和性能，通过与外部合作伙伴和内部团队的测试，不断提升安全性和性能。Llama 2 支持广泛的使用场景，是解决难题和推动创新的理想选择。

开源视觉基础模型

InternVL通过将ViT模型扩展到60亿参数并与语言模型对齐,构建出目前最大的14B开源视觉基础模型,在视觉感知、跨模态检索、多模态对话等广泛任务上取得了32项state-of-the-art性能。

一款支持多模态功能的全功能大语言模型安卓应用。

MNN 大模型 Android App 是阿里巴巴开发的一款基于大语言模型（LLM）的安卓应用。它支持多种模态输入和输出，包括文本生成、图像识别、音频转录等。该应用通过优化推理性能，确保在移动设备上高效运行，同时保护用户数据隐私，所有处理均在本地完成。它支持多种领先的模型提供商，如 Qwen、Gemma、Llama 等，适用于多种场景。

开源多模态预训练模型，具备中英双语对话能力。

GLM-4V-9B是智谱AI推出的新一代预训练模型，支持1120*1120高分辨率下的中英双语多轮对话，以及视觉理解能力。在多模态评测中，GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

Google推出的一系列轻量级、先进的开放式模型

Gemma是Google推出的一系列开源的轻量级语言模型系列。它结合了全面的安全措施,在尺寸上实现了优异的性能,甚至超过了一些较大的开放模型。可以无缝兼容各种框架。提供快速入门指南、基准测试、模型获取等,帮助开发者负责任地开发AI应用。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

免费开源AI模型推理服务

Tost AI是一个免费、非盈利、开源的服务，它为最新的AI论文提供推理服务，使用非盈利GPU集群。Tost AI不存储任何推理数据，所有数据在12小时内过期。此外，Tost AI提供将数据发送到Discord频道的选项。每个账户每天提供100个免费钱包余额，如果希望每天获得1100个钱包余额，可以订阅GitHub赞助者或Patreon。Tost AI将演示的所有利润都发送给论文的第一作者，其预算由公司和个人赞助者支持。

几行代码接入大模型

智谱AI大模型开放平台是一个提供多种AI模型服务的平台，支持开发者和企业快速接入大模型API，构建变革性AI体验。平台提供GLM-4系列大模型，包括免费模型GLM-4-Flash、全自研最新版本GLM-4-Plus、支持200万上下文的GLM-4-Long等。此外，还提供多模态大模型，如视觉能力GLM-4V-Plus、文生图CogView-3-Plus、文生视频CogVideoX。平台面向开发者提供模型API、Alltools API、批处理API等服务，面向企业服务提供医疗健康、汽车、游戏娱乐、文旅、智能终端、智能制造、消费等行业解决方案。

人工智能领域的多轮对话处理专家

汉王天地大模型是汉王科技推出的一款专注于人工智能领域的大语言模型，拥有30年的行业积累。它能够实现多轮对话，高效处理任务，并深耕办公、教育、人文等多个垂直细分领域。该模型通过从人类反馈中进行强化学习，不断优化自身智能，提供包括智能校对、自动翻译、法律咨询、绘画生成、文案生成等在内的多样化服务，以赋能法律、人文、办公、教育、医养等行业，提升效率和创意。

开源语言模型和训练框架

OLMo是一个开源的语言模型和训练框架,由AI2研究院发布。它提供了完整的训练数据、代码、模型参数、评估代码等资源,使研究人员能够训练并实验大规模语言模型。OLMo的优势在于真正开放,用户可以访问从数据到模型的完整信息,辅以丰富的文档,便于研究人员进行开放式研究和协作。该框架降低了语言模型研究的门槛,使更多人参与进来推动语言模型技术进步。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

下一代开源AI模型，性能卓越。

Gemma 2是谷歌DeepMind推出的下一代开源AI模型，提供9亿和27亿参数版本，具有卓越的性能和推理效率，支持在不同硬件上以全精度高效运行，大幅降低部署成本。Gemma 2在27亿参数版本中，提供了两倍于其大小模型的竞争力，并且可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，显著降低部署成本。