产品库

新一代自回归框架，统一多模态理解和生成

Janus是一个创新的自回归框架，通过将视觉编码分离成不同的路径，同时利用单一的、统一的变换器架构进行处理，解决了以往方法的局限性。这种解耦不仅减轻了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus的性能超越了以往的统一模型，并且达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选。

多模态理解和生成的统一模型

Janus是一个创新的自回归框架，它通过分离视觉编码来实现多模态理解和生成的统一。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus超越了以往的统一模型，并与特定任务的模型性能相匹配或超越。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

实时多模态内容审核平台

Seyft AI 是一个实时的多模态内容审核平台，能够过滤文本、图像和视频中的有害和不相关内容，确保合规性，并为不同的语言和文化背景提供个性化解决方案。该平台的主要优点包括实时审核、多语言支持、无需人工干预的图像和视频审核，以及易于集成的API。Seyft AI 的背景信息显示，它旨在帮助企业保持数字空间的清洁和安全，适用于需要内容审核的各种应用场景。

简单快速的检索增强型生成模型

LightRAG是一个基于检索增强型生成模型，旨在通过结合检索和生成的优势来提升文本生成任务的性能。该模型在保持生成速度的同时，能够提供更准确和相关的信息，这对于需要快速且准确信息检索的应用场景尤为重要。LightRAG的开发背景是基于对现有文本生成模型的改进需求，特别是在需要处理大量数据和复杂查询时。该模型目前是开源的，可以免费使用，对于研究人员和开发者来说，它提供了一个强大的工具来探索和实现基于检索的文本生成任务。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

训练和部署嵌入式模型的AI平台

Marqo是一个专注于训练和部署嵌入式模型的平台，它提供了一个端到端的解决方案，从模型训练到推理，再到存储。Marqo支持150多种嵌入式模型，并且可以快速原型设计，加速迭代，并无缝部署。该平台支持多模态模型，如CLIP，可以从图像和其他数据类型中提取语义信息，实现文本和图像的无缝搜索，甚至可以将文本和图像组合成一个向量。Marqo还支持100多种语言的搜索，提供最先进的多语言模型，无需手动进行语言配置即可扩展到新的地区。此外，Marqo的可扩展性允许用户在笔记本电脑上的Docker镜像中运行，也可以扩展到云端数十个GPU推理节点，提供低延迟的搜索服务。

开源AI辅助编程模型系列

CursorCore是一系列开源模型，旨在通过编程指令对齐来协助编程，支持自动化编辑和内联聊天等功能。这些功能模仿了如Cursor这样的闭源AI辅助编程工具的核心能力。该项目通过开源社区的力量，推动了AI在编程领域的应用，使得开发者能够更加高效地编写和编辑代码。目前该项目处于早期阶段，但已经展示了其在提高编程效率和辅助代码生成方面的潜力。

即买即用的人工智能对话服务

2233.ai是一个提供即买即用人工智能对话服务的网站。用户无需注册账号即可购买并使用服务，享受原生的ChatGPT Plus或Claude Pro体验。该平台强调个人隐私保护，每位用户的对话记录独立存储，确保私密安全。此外，2233.ai承诺无网络限制或封号问题，用户可以随时随地接入服务。价格方面，2233.ai提供的服务价格不到ChatGPT Plus订阅的一半，让更多人能够以更优惠的价格享受到先进的人工智能技术。

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

统一文本、音乐和动作生成模型

UniMuMo是一个多模态模型，能够将任意文本、音乐和动作数据作为输入条件，生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示，通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型，显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

视觉增强的检索与生成系统

VARAG是一个支持多种检索技术的系统，优化了文本、图像和多模态文档检索的不同用例。它通过将文档页面作为图像嵌入，简化了传统的检索流程，并使用先进的视觉语言模型进行编码，提高了检索的准确性和效率。VARAG的主要优点在于它能够处理复杂的视觉和文本内容，为文档检索提供强大的支持。

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。

国产化大模型，支持多模态，快速低成本智能化转型。

岩芯数智是一家专注于人工智能领域的公司，提供多种智能模型服务，包括Yan模型和Dolphin模型。Yan模型是国产化的大模型，支持多模态，承诺为用户提供训练周期短、数据集需求小、性价比更高的服务，帮助各产业链快速、低成本向智能化转型。Dolphin模型则提供智能对话、文章生成、文案摘要等功能，支持私域模型微调，以满足不同行业的需求。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

下一代多模态智能模型

Emu3是一套最新的多模态模型，仅通过下一个token预测进行训练，能够处理图像、文本和视频。它在生成和感知任务上超越了多个特定任务的旗舰模型，并且不需要扩散或组合架构。Emu3通过将多模态序列统一到一个单一的transformer模型中，简化了复杂的多模态模型设计，展示了在训练和推理过程中扩展的巨大潜力。

新一代多模态内容审核模型

omni-moderation-latest 是基于 GPT-4o 构建的新一代多模态内容审核模型，它在文本和图像内容的有害信息检测方面更加精确，帮助开发者构建更强大的审核系统。该模型支持文本和图像输入，特别在非英语语言中表现更准确。它能够评估内容是否符合诸如仇恨、暴力、自残等类别，并且提供更细致的审核决策控制。此外，它还提供概率分数来反映内容与检测类别的匹配可能性。该模型对所有开发者免费开放，旨在帮助开发者从最新的研究和安全系统投资中受益。

先进的多模态AI模型家族

Molmo是一个开放的、最先进的多模态AI模型家族，旨在通过学习指向其感知的内容，实现与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容，实现了与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

开源的高性能语言模型，支持多端应用。

Qwen2.5系列语言模型是一系列开源的decoder-only稠密模型，参数规模从0.5B到72B不等，旨在满足不同产品对模型规模的需求。这些模型在自然语言理解、代码生成、数学推理等多个领域表现出色，特别适合需要高性能语言处理能力的应用场景。Qwen2.5系列模型的发布，标志着在大型语言模型领域的一次重要进步，为开发者和研究者提供了强大的工具。

新一代开放代码模型，提升编程效率。

Qwen2.5-Coder是Qwen2.5开源家族的一员，专注于代码生成、推理、修复等任务。它通过扩增大规模代码训练数据，提升了代码能力，同时保持了数学和通用能力。该模型支持92种编程语言，并在代码相关任务中取得了显著提升。Qwen2.5-Coder采用Apache 2.0许可，旨在加速代码智能的应用。

开源大型语言模型，支持多语言和专业领域应用。

Qwen2.5是一系列基于Qwen2语言模型构建的新型语言模型，包括通用语言模型Qwen2.5，以及专门针对编程的Qwen2.5-Coder和数学的Qwen2.5-Math。这些模型在大规模数据集上进行了预训练，具备强大的知识理解能力和多语言支持，适用于各种复杂的自然语言处理任务。它们的主要优点包括更高的知识密度、增强的编程和数学能力、以及对长文本和结构化数据的更好理解。Qwen2.5的发布是开源社区的一大进步，为开发者和研究人员提供了强大的工具，以推动人工智能领域的研究和发展。

多模态12B参数模型，结合视觉编码器处理图像和文本。

Pixtral-12B-2409是由Mistral AI团队开发的多模态模型，包含12B参数的多模态解码器和400M参数的视觉编码器。该模型在多模态任务中表现出色，支持不同尺寸的图像，并在文本基准测试中保持最前沿的性能。它适用于需要处理图像和文本数据的高级应用，如图像描述生成、视觉问答等。