产品库

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

Phi-4-multimodal-instruct 是微软开发的轻量级多模态基础模型，支持文本、图像和音频输入。

Phi-4-multimodal-instruct 是微软开发的多模态基础模型，支持文本、图像和音频输入，生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建，经过监督微调、直接偏好优化和人类反馈强化学习等过程，以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入，具有128K的上下文长度，适用于多种多模态任务，如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升，尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力，可用于构建各种多模态应用。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

革命性AI技术，多模态智能互动

GPT-4o是OpenAI的最新创新，代表了人工智能技术的前沿。它通过真正的多模态方法扩展了GPT-4的功能，包括文本、视觉和音频。GPT-4o以其快速、成本效益和普遍可访问性，革命性地改变了我们与AI技术的互动。它在文本理解、图像分析和语音识别方面表现出色，提供流畅直观的AI互动，适合从学术研究到特定行业需求的多种应用。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

Lemonfox.ai提供便宜的AI API服务

Lemonfox.ai是一个提供便宜AI API服务的网站,主打产品是以GPT-3.5为基础的语言模型API。该API兼容OpenAI,但价格只有OpenAI的1/4,非常适合构建具备聊天、写作功能的应用。此外,Lemonfox.ai还提供了稳定扩散模型的图像生成API、语音转文字的语音识别API等服务。

亿万⼈中的你

小冰是一款聊天机器人产品，具有智能对话、语音识别、情感分析等功能。小冰提供商业解决方案，并可在第三方平台上集成使用。用户可以通过召唤小冰与其进行交流互动。

为创造更美好的世界而生

TigerBot是一款小程序，它提供了一系列强大的功能，包括智能聊天、语音识别、图像识别等。它的优势在于高度智能化和用户友好的界面设计。TigerBot的定价根据不同的使用场景和功能点进行定制，详情请咨询官方网站。TigerBot的定位是成为用户生活和工作中的智能助手。

InternVL3开源：7种尺寸覆盖文、图、视频处理，多模态能力扩展至工业图像分析

InternVL3是由OpenGVLab开源发布的多模态大型语言模型（MLLM），具备卓越的多模态感知和推理能力。该模型系列包含从1B到78B共7个尺寸，能够同时处理文字、图片、视频等多种信息，展现出卓越的整体性能。InternVL3在工业图像分析、3D视觉感知等领域表现出色，其整体文本性能甚至优于Qwen2.5系列。该模型的开源为多模态应用开发提供了强大的支持，有助于推动多模态技术在更多领域的应用。

使用微信聊天记录微调大语言模型，实现高质量声音克隆。

WeClone 是一个基于微信聊天记录微调大语言模型的项目，主要用于实现高质量的声音克隆和数字分身。它结合了微信语音消息和 0.5B 大模型，允许用户通过聊天机器人与自己的数字分身互动。该技术在数字永生和声音克隆领域具有重要的应用价值，可以让用户在不在场的情况下继续与他人交流。此项目正在快速迭代中，适合对 AI 和语言模型感兴趣的用户，且目前处于免费的开发阶段。

亚马逊全新基础模型理解语气、语调与节奏，提升人机对话自然度。

Amazon Nova Sonic 是一款前沿的基础模型，能够整合语音理解和生成，提升人机对话的自然流畅度。该模型克服了传统语音应用中的复杂性，通过统一的架构实现更深层次的交流理解，适用于多个行业的 AI 应用，具有重要的商业价值。随着人工智能技术的不断发展，Nova Sonic 将为客户提供更好的语音交互体验，提升服务效率。

基于 DiT 的人类图像动画框架，实现精细控制与长效一致性。

DreamActor-M1 是一个基于扩散变换器 (DiT) 的人类动画框架，旨在实现细粒度的整体可控性、多尺度适应性和长期时间一致性。该模型通过混合引导，能够生成高表现力和真实感的人类视频，适用于从肖像到全身动画的多种场景。其主要优势在于高保真度和身份保留，为人类行为动画带来了新的可能性。

Gemini 2.5 是谷歌最智能的 AI 模型，具备推理能力。

Gemini 2.5 是谷歌推出的最先进的 AI 模型，具备高效的推理能力和编码性能，能够处理复杂问题，并在多项基准测试中表现出色。该模型引入了新的思维能力，结合增强的基础模型和后期训练，支持更复杂的任务，旨在为开发者和企业提供强大的支持。Gemini 2.5 Pro 可在 Google AI Studio 和 Gemini 应用中使用，适合需要高级推理和编码能力的用户。

增强文本与视觉任务处理能力的开源模型。

Mistral-Small-3.1-24B-Base-2503 是一款具有 240 亿参数的先进开源模型，支持多语言和长上下文处理，适用于文本与视觉任务。它是 Mistral Small 3.1 的基础模型，具有较强的多模态能力，适合企业需求。

Mistral OCR 是一款强大的文档理解 OCR 产品，能够以极高的准确性从 PDF 和图像中提取文本、图像、表格和方程式。

Mistral OCR 是由 Mistral AI 开发的先进光学字符识别 API，旨在以无与伦比的准确性提取和结构化文档内容。它能够处理包含文本、图像、表格和方程式的复杂文档，输出 Markdown 格式的结果，便于与 AI 系统和检索增强生成（RAG）系统集成。其高精度、高速度和多模态处理能力使其在大规模文档处理场景中表现出色，尤其适用于科研、法律、客服和历史文献保护等领域。Mistral OCR 的定价为每美元 1000 页标准使用量，批量处理可达每美元 2000 页，还提供企业自托管选项，满足特定隐私需求。

基于Gemini 2.0的机器人模型，将AI带入物理世界，具备视觉、语言和动作能力。

Gemini Robotics是Google DeepMind推出的一种先进的人工智能模型，专为机器人应用而设计。它基于Gemini 2.0架构，通过视觉、语言和动作（VLA）的融合，使机器人能够执行复杂的现实世界任务。该技术的重要性在于它推动了机器人从实验室走向日常生活和工业应用的进程，为未来智能机器人的发展奠定了基础。Gemini Robotics的主要优点包括强大的泛化能力、交互性和灵巧性，使其能够适应不同的任务和环境。目前，该技术处于研究和开发阶段，尚未明确具体的价格和市场定位。

R1-Omni 是一个结合强化学习的全模态情绪识别模型，专注于提升多模态情绪识别的可解释性。

R1-Omni 是一个创新的多模态情绪识别模型，通过强化学习提升模型的推理能力和泛化能力。该模型基于 HumanOmni-0.5B 开发，专注于情绪识别任务，能够通过视觉和音频模态信息进行情绪分析。其主要优点包括强大的推理能力、显著提升的情绪识别性能以及在分布外数据上的出色表现。该模型适用于需要多模态理解的场景，如情感分析、智能客服等领域，具有重要的研究和应用价值。

智元发布首个通用具身基座大模型GO-1，开创性提出ViLLA架构，推动具身智能发展。

智元通用具身基座大模型GO-1是智元推出的一款革命性的人工智能模型。该模型基于创新的Vision-Language-Latent-Action（ViLLA）架构，通过多模态大模型（VLM）和混合专家（MoE）系统，实现了从视觉和语言输入到机器人动作执行的高效转换。GO-1能够利用人类视频和真实机器人数据进行学习，具备强大的泛化能力，能够在极少数据甚至零样本下快速适应新任务和环境。其主要优点包括高效的学习能力、强大的泛化性能以及对多种机器人本体的适配性。该模型的推出标志着具身智能向通用化、开放化和智能化方向迈出了重要一步，有望在商业、工业和家庭等多个领域发挥重要作用。

OpenAI Agents SDK 是一个用于构建自主智能体的开发工具包，简化多智能体工作流的编排。

OpenAI Agents SDK 是一个用于构建自主智能体的开发工具包。它基于 OpenAI 的先进模型能力，如高级推理、多模态交互和新的安全技术，为开发者提供了一种简化的方式来构建、部署和扩展可靠的智能体应用。该工具包不仅支持单智能体和多智能体工作流的编排，还集成了可观测性工具，帮助开发者追踪和优化智能体的执行流程。其主要优点包括易于配置的 LLM 模型、智能的智能体交接机制、可配置的安全检查以及强大的调试和性能优化功能。该工具包适用于需要自动化复杂任务的企业和开发者，旨在通过智能体技术提升生产力和效率。

SmolVLM2 是一个专注于视频内容分析和生成的轻量化语言模型。

SmolVLM2 是一种轻量级的视频语言模型，旨在通过分析视频内容生成相关的文本描述或视频亮点。该模型具有高效性、低资源消耗的特点，适合在多种设备上运行，包括移动设备和桌面客户端。其主要优点是能够快速处理视频数据并生成高质量的文本输出，为视频内容创作、视频分析和教育等领域提供了强大的技术支持。该模型由 Hugging Face 团队开发，定位为高效、轻量化的视频处理工具，目前处于实验阶段，用户可以免费试用。

Inception Labs 推出新一代扩散式大语言模型，提供极速、高效和高质量的语言生成能力。

Inception Labs 是一家专注于开发扩散式大语言模型（dLLMs）的公司。其技术灵感来源于先进的图像和视频生成系统，如 Midjourney 和 Sora。通过扩散模型，Inception Labs 提供了比传统自回归模型快 5-10 倍的速度、更高的效率和更强的生成控制能力。其模型支持并行文本生成，能够纠正错误和幻觉，适合多模态任务，并且在推理和结构化数据生成方面表现出色。公司由斯坦福、UCLA 和康奈尔大学的研究人员和工程师组成，是扩散模型领域的先驱。

Aya Vision 是 Cohere 推出的多语言多模态视觉模型，旨在提升多语言场景下的视觉和文本理解能力。

Aya Vision 是 Cohere For AI 团队开发的先进视觉模型，专注于多语言多模态任务，支持 23 种语言。该模型通过创新的算法突破，如合成标注、多语言数据扩展和多模态模型融合，显著提升了视觉和文本任务的性能。其主要优点包括高效性（在计算资源有限的情况下仍能表现出色）和广泛的多语言支持。Aya Vision 的发布旨在推动多语言多模态研究的前沿发展，并为全球研究社区提供技术支持。

音刻转录是一款快速、精准、丝滑的音视频转录工具。

音刻转录是一款专注于音视频转录的在线工具，通过先进的语音识别技术，能够快速将音频或视频文件转换为文本。其主要优点包括转录速度快、准确率高、支持多种语言和文件格式。产品定位为高效办公和学习辅助工具，旨在帮助用户节省时间和精力，提升工作效率。音刻转录提供免费试用版本，用户可以体验其核心功能，付费版本则提供更多高级功能和大文件支持，满足不同用户的需求。

DuRT 是一款 macOS 上的实时语音识别和翻译软件，致力于提供高效、准确的语音处理服务。

DuRT 是一款专注于 macOS 系统的语音识别和翻译工具。它通过本地 AI 模型和系统服务实现语音的实时识别与翻译，支持多种语音识别方法，提高了识别的准确度和语言支持范围。该产品以悬浮框形式展示结果，方便用户在使用过程中快速获取信息。其主要优点包括高准确度、隐私保护（不收集用户信息）以及便捷的操作体验。DuRT 定位为一款高效生产力工具，旨在帮助用户在多语言环境下更高效地进行沟通和工作。目前产品可在 Mac App Store 下载，具体价格未在页面中明确提及。

EgoLife是一个长期、多模态、多视角的日常生活AI助手项目，旨在推进长期上下文理解研究。

EgoLife是一个面向长期、多模态、多视角日常生活的AI助手项目。该项目通过记录六名志愿者一周的共享生活体验，生成了约50小时的视频数据，涵盖日常活动、社交互动等场景。其多模态数据（包括视频、视线、IMU数据）和多视角摄像头系统为AI研究提供了丰富的上下文信息。此外，该项目提出了EgoRAG框架，用于解决长期上下文理解任务，推动了AI在复杂环境中的应用能力。