产品库

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

Phi-4-multimodal-instruct 是微软开发的轻量级多模态基础模型，支持文本、图像和音频输入。

Phi-4-multimodal-instruct 是微软开发的多模态基础模型，支持文本、图像和音频输入，生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建，经过监督微调、直接偏好优化和人类反馈强化学习等过程，以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入，具有128K的上下文长度，适用于多种多模态任务，如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升，尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力，可用于构建各种多模态应用。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

革命性AI技术，多模态智能互动

GPT-4o是OpenAI的最新创新，代表了人工智能技术的前沿。它通过真正的多模态方法扩展了GPT-4的功能，包括文本、视觉和音频。GPT-4o以其快速、成本效益和普遍可访问性，革命性地改变了我们与AI技术的互动。它在文本理解、图像分析和语音识别方面表现出色，提供流畅直观的AI互动，适合从学术研究到特定行业需求的多种应用。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

Lemonfox.ai提供便宜的AI API服务

Lemonfox.ai是一个提供便宜AI API服务的网站,主打产品是以GPT-3.5为基础的语言模型API。该API兼容OpenAI,但价格只有OpenAI的1/4,非常适合构建具备聊天、写作功能的应用。此外,Lemonfox.ai还提供了稳定扩散模型的图像生成API、语音转文字的语音识别API等服务。

亿万⼈中的你

小冰是一款聊天机器人产品，具有智能对话、语音识别、情感分析等功能。小冰提供商业解决方案，并可在第三方平台上集成使用。用户可以通过召唤小冰与其进行交流互动。

为创造更美好的世界而生

TigerBot是一款小程序，它提供了一系列强大的功能，包括智能聊天、语音识别、图像识别等。它的优势在于高度智能化和用户友好的界面设计。TigerBot的定价根据不同的使用场景和功能点进行定制，详情请咨询官方网站。TigerBot的定位是成为用户生活和工作中的智能助手。

使用最佳的WhatsApp聊天机器人来自动化您的客户互动，提高客户参与度，更快地回复消息，实现更快增长。

Wabo是一款WhatsApp聊天机器人平台，利用WhatsApp Business API帮助企业自动化客户互动，提高回复速度，促进业务增长。这一技术的主要优点在于提高客户体验、提升响应速度，降低人力成本，增强品牌形象。

使用低延迟语音识别和合成模型与 AI 对话。

Unmute 是一款创新的语音识别与合成工具，旨在使用户能够通过自然语言与 AI 进行高效的互动。其低延迟技术确保用户体验流畅，适合需要实时反馈的场景。该产品将以开源形式发布，推动更多开发者和用户的参与。当前尚未公布价格，预计将采取免费和付费相结合的模式。

BAGEL是一款开源的统一多模态模型，您可以在任何地方进行微调、精简和部署。

BAGEL是一款可扩展的统一多模态模型，它正在革新AI与复杂系统的交互方式。该模型具有对话推理、图像生成、编辑、风格转移、导航、构图、思考等功能，通过深度学习视频和网络数据进行预训练，为生成高保真度、逼真图像提供了基础。

一款轻量级的多模态语言模型安卓应用。

MNN-LLM 是一款高效的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。它通过模型量化、混合存储和硬件特定优化，解决高内存消耗和计算成本的问题。MNN-LLM 在 CPU 基准测试中表现卓越，速度显著提升，适合需要隐私保护和高效推理的用户。

多模态驱动的定制视频生成架构。

HunyuanCustom 是一个多模态定制视频生成框架，旨在根据用户定义的条件生成特定主题的视频。该技术在身份一致性和多种输入模式的支持上表现出色，能够处理文本、图像、音频和视频输入，适合虚拟人广告、视频编辑等多种应用场景。

提供一系列产品，用于营销推广，助您公司发展，寻找潜在客户，发送电子邮件，创建聊天机器人等。

ZippLead是一款领先生成软件，提供AI技术支持的一系列产品，包括邮件营销、数据提取、在线评论管理、SEO优化、聊天机器人等，帮助企业实现营销增长、客户潜在客户挖掘等多种功能。

Kimi-Audio 是一个开源音频基础模型，擅长音频理解与生成。

Kimi-Audio 是一个先进的开源音频基础模型，旨在处理多种音频处理任务，如语音识别和音频对话。该模型在超过 1300 万小时的多样化音频数据和文本数据上进行了大规模预训练，具有强大的音频推理和语言理解能力。它的主要优点包括优秀的性能和灵活性，适合研究人员和开发者进行音频相关的研究与开发。

基于 Intel Arc GPU 的 AI 图像生成与聊天机器人应用。

AI Playground 是一个开源项目，旨在为用户提供 AI 图像创建、图像风格化和聊天机器人的功能。它专为使用 Intel® Arc™ GPU 的 PC 设计，支持多种生成 AI 库和模型。此应用程序的主要优点在于其强大的图像生成能力和便捷的使用体验。适合 AI 开发者、设计师和爱好者，帮助他们探索和利用先进的 AI 技术。该软件为用户提供了自由选择和下载模型的灵活性，适合各种应用场景。

一个集成视觉理解和生成的多模态生成模型。

Liquid 是一个自回归生成模型，通过将图像分解为离散代码并与文本标记共享特征空间，促进视觉理解和文本生成的无缝集成。此模型的主要优点在于无需外部预训练的视觉嵌入，减少了对资源的依赖，同时通过规模法则发现了理解与生成任务之间的相互促进效应。

InternVL3开源：7种尺寸覆盖文、图、视频处理，多模态能力扩展至工业图像分析

InternVL3是由OpenGVLab开源发布的多模态大型语言模型（MLLM），具备卓越的多模态感知和推理能力。该模型系列包含从1B到78B共7个尺寸，能够同时处理文字、图片、视频等多种信息，展现出卓越的整体性能。InternVL3在工业图像分析、3D视觉感知等领域表现出色，其整体文本性能甚至优于Qwen2.5系列。该模型的开源为多模态应用开发提供了强大的支持，有助于推动多模态技术在更多领域的应用。

使用微信聊天记录微调大语言模型，实现高质量声音克隆。

WeClone 是一个基于微信聊天记录微调大语言模型的项目，主要用于实现高质量的声音克隆和数字分身。它结合了微信语音消息和 0.5B 大模型，允许用户通过聊天机器人与自己的数字分身互动。该技术在数字永生和声音克隆领域具有重要的应用价值，可以让用户在不在场的情况下继续与他人交流。此项目正在快速迭代中，适合对 AI 和语言模型感兴趣的用户，且目前处于免费的开发阶段。

亚马逊全新基础模型理解语气、语调与节奏，提升人机对话自然度。

Amazon Nova Sonic 是一款前沿的基础模型，能够整合语音理解和生成，提升人机对话的自然流畅度。该模型克服了传统语音应用中的复杂性，通过统一的架构实现更深层次的交流理解，适用于多个行业的 AI 应用，具有重要的商业价值。随着人工智能技术的不断发展，Nova Sonic 将为客户提供更好的语音交互体验，提升服务效率。

基于 DiT 的人类图像动画框架，实现精细控制与长效一致性。

DreamActor-M1 是一个基于扩散变换器 (DiT) 的人类动画框架，旨在实现细粒度的整体可控性、多尺度适应性和长期时间一致性。该模型通过混合引导，能够生成高表现力和真实感的人类视频，适用于从肖像到全身动画的多种场景。其主要优势在于高保真度和身份保留，为人类行为动画带来了新的可能性。

Gemini 2.5 是谷歌最智能的 AI 模型，具备推理能力。

Gemini 2.5 是谷歌推出的最先进的 AI 模型，具备高效的推理能力和编码性能，能够处理复杂问题，并在多项基准测试中表现出色。该模型引入了新的思维能力，结合增强的基础模型和后期训练，支持更复杂的任务，旨在为开发者和企业提供强大的支持。Gemini 2.5 Pro 可在 Google AI Studio 和 Gemini 应用中使用，适合需要高级推理和编码能力的用户。

增强文本与视觉任务处理能力的开源模型。

Mistral-Small-3.1-24B-Base-2503 是一款具有 240 亿参数的先进开源模型，支持多语言和长上下文处理，适用于文本与视觉任务。它是 Mistral Small 3.1 的基础模型，具有较强的多模态能力，适合企业需求。

Mistral OCR 是一款强大的文档理解 OCR 产品，能够以极高的准确性从 PDF 和图像中提取文本、图像、表格和方程式。

Mistral OCR 是由 Mistral AI 开发的先进光学字符识别 API，旨在以无与伦比的准确性提取和结构化文档内容。它能够处理包含文本、图像、表格和方程式的复杂文档，输出 Markdown 格式的结果，便于与 AI 系统和检索增强生成（RAG）系统集成。其高精度、高速度和多模态处理能力使其在大规模文档处理场景中表现出色，尤其适用于科研、法律、客服和历史文献保护等领域。Mistral OCR 的定价为每美元 1000 页标准使用量，批量处理可达每美元 2000 页，还提供企业自托管选项，满足特定隐私需求。

基于Gemini 2.0的机器人模型，将AI带入物理世界，具备视觉、语言和动作能力。

Gemini Robotics是Google DeepMind推出的一种先进的人工智能模型，专为机器人应用而设计。它基于Gemini 2.0架构，通过视觉、语言和动作（VLA）的融合，使机器人能够执行复杂的现实世界任务。该技术的重要性在于它推动了机器人从实验室走向日常生活和工业应用的进程，为未来智能机器人的发展奠定了基础。Gemini Robotics的主要优点包括强大的泛化能力、交互性和灵巧性，使其能够适应不同的任务和环境。目前，该技术处于研究和开发阶段，尚未明确具体的价格和市场定位。