产品库

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。

微软轻量级、先进的多模态模型，专注于文本和视觉的高质量推理密集数据。

Phi-3 Vision是一个轻量级、最先进的开放多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的非常高质量的推理密集数据。该模型属于Phi-3模型家族，多模态版本支持128K上下文长度（以token计），经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

视觉增强的检索与生成系统

VARAG是一个支持多种检索技术的系统，优化了文本、图像和多模态文档检索的不同用例。它通过将文档页面作为图像嵌入，简化了传统的检索流程，并使用先进的视觉语言模型进行编码，提高了检索的准确性和效率。VARAG的主要优点在于它能够处理复杂的视觉和文本内容，为文档检索提供强大的支持。

国产化大模型，支持多模态，快速低成本智能化转型。

岩芯数智是一家专注于人工智能领域的公司，提供多种智能模型服务，包括Yan模型和Dolphin模型。Yan模型是国产化的大模型，支持多模态，承诺为用户提供训练周期短、数据集需求小、性价比更高的服务，帮助各产业链快速、低成本向智能化转型。Dolphin模型则提供智能对话、文章生成、文案摘要等功能，支持私域模型微调，以满足不同行业的需求。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

下一代多模态智能模型

Emu3是一套最新的多模态模型，仅通过下一个token预测进行训练，能够处理图像、文本和视频。它在生成和感知任务上超越了多个特定任务的旗舰模型，并且不需要扩散或组合架构。Emu3通过将多模态序列统一到一个单一的transformer模型中，简化了复杂的多模态模型设计，展示了在训练和推理过程中扩展的巨大潜力。

新一代多模态内容审核模型

omni-moderation-latest 是基于 GPT-4o 构建的新一代多模态内容审核模型，它在文本和图像内容的有害信息检测方面更加精确，帮助开发者构建更强大的审核系统。该模型支持文本和图像输入，特别在非英语语言中表现更准确。它能够评估内容是否符合诸如仇恨、暴力、自残等类别，并且提供更细致的审核决策控制。此外，它还提供概率分数来反映内容与检测类别的匹配可能性。该模型对所有开发者免费开放，旨在帮助开发者从最新的研究和安全系统投资中受益。

先进的多模态AI模型家族

Molmo是一个开放的、最先进的多模态AI模型家族，旨在通过学习指向其感知的内容，实现与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容，实现了与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

字节跳动自研大模型，提供多模态能力

豆包大模型是字节跳动推出的自研大模型，通过内部50+业务场景实践验证，每日万亿级tokens大使用量持续打磨，提供多模态能力，以优质模型效果为企业打造丰富的业务体验。产品家族包括多种模型，如通用模型、视频生成、文生图、图生图、同声传译等，满足不同业务需求。

快速AI推理，为开源模型提供即时智能。

Groq是一家提供高性能AI芯片和云服务的公司，专注于为AI模型提供超低延迟的推理服务。其产品GroqCloud™自2024年2月推出以来，已经有超过467,000名开发者使用。Groq的AI芯片技术由Meta的首席AI科学家Yann LeCun提供技术支持，并且获得了BlackRock领投的6.4亿美元融资，公司估值达到28亿美元。Groq的技术优势在于其能够无缝地从其他提供商迁移到Groq，仅需更改三行代码，并且与OpenAI的端点兼容。Groq的AI芯片旨在挑战Nvidia在AI芯片市场的领导地位，为开发者和企业提供更快、更高效的AI推理解决方案。

多模态12B参数模型，结合视觉编码器处理图像和文本。

Pixtral-12B-2409是由Mistral AI团队开发的多模态模型，包含12B参数的多模态解码器和400M参数的视觉编码器。该模型在多模态任务中表现出色，支持不同尺寸的图像，并在文本基准测试中保持最前沿的性能。它适用于需要处理图像和文本数据的高级应用，如图像描述生成、视觉问答等。

首个多模态 Mistral 模型，支持图像和文本的混合任务处理。

Pixtral 12B 是 Mistral AI 团队开发的一款多模态 AI 模型，它能够理解自然图像和文档，具备出色的多模态任务处理能力，同时在文本基准测试中也保持了最先进的性能。该模型支持多种图像尺寸和宽高比，能够在长上下文窗口中处理任意数量的图像，是 Mistral Nemo 12B 的升级版，专为多模态推理而设计，不牺牲关键文本处理能力。

几行代码接入大模型

智谱AI大模型开放平台是一个提供多种AI模型服务的平台，支持开发者和企业快速接入大模型API，构建变革性AI体验。平台提供GLM-4系列大模型，包括免费模型GLM-4-Flash、全自研最新版本GLM-4-Plus、支持200万上下文的GLM-4-Long等。此外，还提供多模态大模型，如视觉能力GLM-4V-Plus、文生图CogView-3-Plus、文生视频CogVideoX。平台面向开发者提供模型API、Alltools API、批处理API等服务，面向企业服务提供医疗健康、汽车、游戏娱乐、文旅、智能终端、智能制造、消费等行业解决方案。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

轻量级语言模型编程库，将提示视为函数。

ell是一个轻量级的语言模型编程库，它将提示视为函数，而不是简单的字符串。ell的设计基于在OpenAI和创业生态系统中多年构建和使用语言模型的经验。它提供了一种全新的编程方式，允许开发者通过定义函数来生成发送给语言模型的字符串提示或消息列表。这种封装方式为用户创建了一个清晰的接口，用户只需关注LMP所需的数据。ell还提供了丰富的工具，支持监控、版本控制和可视化，使得提示工程从一门黑艺术转变为一门科学。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

百度旗下新搜索智能助手，提供AI搜索与创作服务。

文小言是百度推出的一款基于文心大模型的智能搜索助手APP，它通过AI技术为用户提供搜索、创作、聊天等多种服务。该产品通过记忆用户喜好和需求，提供个性化的搜索结果和创作建议，同时支持语音和拍照输入，使得用户能够更加便捷地获取信息和创作内容。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

全能型智能助手，满足多样化应用需求。

IMYAI智能助手是一款集成了多种智能功能的在线服务平台，旨在为用户提供聊天对话、文本处理、专业绘画、音乐创作、视频创作等多元化服务。它结合了先进的人工智能技术，通过对话词库、绘画词库等资源，能够满足不同用户在不同场景下的应用需求。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

先进的多模态模型，支持图像和文本理解。

Phi-3.5-vision是微软开发的轻量级、最新一代的多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的高质量、密集推理数据。该模型属于Phi-3模型家族，经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

与任何大型语言模型进行快速的免提语音交互。

Open-LLM-VTuber 是一个开源项目，旨在通过语音与大型语言模型（LLM）进行交互，具有实时的Live2D面部捕捉和跨平台的长期记忆功能。该项目支持macOS、Windows和Linux平台，允许用户选择不同的语音识别和语音合成后端，以及自定义的长期记忆解决方案。它特别适合希望在不同平台上实现与AI进行自然语言对话的开发者和爱好者。

数字孪生视频对话平台

Tavus Conversational Video Interface (CVI) 是一个创新的视频对话平台，它通过数字孪生技术提供面对面的互动体验。该平台具备低延迟（少于一秒）的即时响应能力，结合先进的语音识别、视觉处理和对话意识，为用户提供丰富、自然的对话体验。平台易于部署和扩展，支持自定义LLM或TTS，适用于多种行业和场景。