产品库

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

全端到端的类人语音对话模型

SpeechGPT2是由复旦大学计算机科学学院开发的端到端语音对话语言模型，能够感知并表达情感，并根据上下文和人类指令以多种风格提供合适的语音响应。该模型采用超低比特率语音编解码器（750bps），模拟语义和声学信息，并通过多输入多输出语言模型（MIMO-LM）进行初始化。目前，SpeechGPT2还是一个基于轮次的对话系统，正在开发全双工实时版本，并已取得一些有希望的进展。尽管受限于计算和数据资源，SpeechGPT2在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有不足，计划未来开源技术报告、代码和模型权重。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

实时端到端目标检测模型

YOLOv10是新一代的目标检测模型，它在保持实时性能的同时，实现了高精度的目标检测。该模型通过优化后处理和模型架构，减少了计算冗余，提高了效率和性能。YOLOv10在不同模型规模上都达到了最先进的性能和效率，例如，YOLOv10-S在相似的AP下比RT-DETR-R18快1.8倍，同时参数数量和FLOPs减少了2.8倍。

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。

低延迟语音模型，生成逼真语音

Sonic是由Carteisa团队开发的低延迟语音模型，旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构，以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒，是同类模型中最快的。Carteisa团队专注于优化智能的效率，使它更快、更便宜、更易于访问。Sonic模型的发布，标志着实时对话式AI和长期记忆的计算平台的初步进展，预示着未来AI在实时游戏、客户支持等领域的新体验。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

AI 驱动的自动化端到端测试

Carbonate 是一款集成到测试框架中的 AI 驱动的自动化端到端测试工具。它将简单的语言驱动指令转化为端到端测试，并可以自动适应 UI 的变化。用户可以直接在首选的测试工具中使用简单的英语编写测试，并在首次运行时，Carbonate 会自动将测试转化为固定的测试脚本。当 HTML 发生更改时，Carbonate 会生成新的测试脚本，让测试变得更加稳定可靠。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

自动化端到端测试平台

Reflect是一个自动化端到端测试平台，使测试易于创建和维护。通过Reflect，您可以创建可靠的端到端测试，无需编写一行代码。它具有AI辅助功能，能够更快速地创建测试套件，减少维护测试的工作量。同时，Reflect支持视觉测试，可以帮助您捕获其他工具无法检测到的视觉回归问题。Reflect还提供了与CI/CD解决方案的集成，让您能够在每次部署时自动执行端到端测试。Reflect的定价详细信息请访问官方网站。

端到端开发工具套件，简化基于LLM的AI应用的开发流程

Prompt flow是一套开发工具，旨在简化基于LLM的AI应用的端到端开发流程，从构思、原型设计、测试、评估到生产部署和监控。它使得Prompt工程变得更加容易，并使您能够构建具有生产质量的LLM应用。 使用Prompt flow，您将能够： - 创建将LLM、提示、Python代码和其他工具链接在一起的可执行工作流。 - 轻松调试和迭代您的工作流，特别是与LLM的交互。 - 使用更大的数据集评估您的工作流，计算质量和性能指标。 - 将测试和评估集成到您的CI/CD系统中，以确保工作流的质量。 - 将您的工作流部署到您选择的服务平台，或轻松集成到您的应用程序代码库中。 - （可选但强烈推荐）通过在Azure AI中使用Prompt flow的云版本与团队合作。 欢迎加入我们，通过参与讨论、提出问题、提交PR来改进Prompt flow。 本文档站点包含Prompt flow SDK、CLI和VSCode扩展用户的指南。

基于真实用户行为的端到端测试自动化

Checksum.ai可以将用户会话转化为完整的测试自动化流程，帮助您在不降低质量的情况下快速发布产品。它提供功能全面的端到端测试，帮助您发现和修复潜在的问题，并确保产品的稳定性和可靠性。定价根据用户需要定制。Checksum.ai定位于提供高效的测试解决方案，帮助团队快速迭代和交付产品。

自动化测试工具，无需编程即可生成端到端测试。

Octomind QA Agent 是一款基于人工智能的自动化测试工具，它能够自动分析网页应用并生成测试用例，执行测试并维护测试代码。这款工具的主要优点是它不需要用户具备编程知识，可以大幅降低测试的门槛，提高测试效率。它适用于希望提高软件质量、减少测试成本和时间的开发者和团队。Octomind QA Agent 提供了免费试用版本，用户可以在不提供信用卡信息的情况下尝试其功能。

桌面客户端，语音翻译和语音合成

SpeechLab是一款桌面客户端，提供语音翻译和语音合成功能。它能够帮助用户进行语音翻译，将语言转换成其他语言，同时还能够合成语音，将文字转换成自然流畅的语音。SpeechLab的优势在于其高质量的语音合成技术，可以生成与人类声音相似的合成语音。SpeechLab的定价为免费试用和付费订阅两种方式，具体定价可在官方网站上查看。SpeechLab定位于帮助用户跨越语言障碍，使内容在全球范围内更容易获得。

DiffRhythm 是一种基于潜在扩散模型的端到端全曲生成技术，可在短时间内生成包含人声和伴奏的完整歌曲。

DiffRhythm 是一种创新的音乐生成模型，利用潜在扩散技术实现了快速且高质量的全曲生成。该技术突破了传统音乐生成方法的限制，无需复杂的多阶段架构和繁琐的数据准备，仅需歌词和风格提示即可在短时间内生成长达 4 分 45 秒的完整歌曲。其非自回归结构确保了快速的推理速度，极大地提升了音乐创作的效率和可扩展性。该模型由西北工业大学音频、语音和语言处理小组（ASLP@NPU）和香港中文大学（深圳）大数据研究院共同开发，旨在为音乐创作提供一种简单、高效且富有创造力的解决方案。

快速的移动端文本到图像生成工具

MobileDiffusion是一个轻量级的潜在扩散模型,专为移动设备设计,可以在0.5秒内根据文本提示生成512x512高质量图像。相较于其他文本到图像模型,它更小巧(仅520M参数),非常适合在手机上部署使用。它的主要功能包括:1)基于文本生成图像;2)快速生成,0.5秒内完成;3)小巧的参数量,仅520M;4)生成高质量图像。主要使用场景包括内容创作、艺术创作、游戏和App开发等领域。示例使用包括:输入'盛开的玫瑰花'生成玫瑰花图片,输入'金色 retrievier 撒欢跑'生成小狗图片,输入'火星风景,外太空'生成火星图。相较于其他大模型,它更适合在移动设备上部署使用。

全本地AI语音聊天工具，低延迟，高效率。

voicechat2是一个基于WebSocket的快速、完全本地化的AI语音聊天应用程序，使用户能够在本地环境中实现语音到语音的即时通讯。它利用了AMD RDNA3显卡和Faster Whisper技术，显著降低了语音通讯的延迟，提高了通讯效率。该产品适用于需要快速响应和实时通讯的开发者和技术人员。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

构建智能多模态语音助手的端到端框架。

LiveKit Agents 是一个端到端框架，它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手（AI代理）。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施，提供了创建语音助手的快速入门指南，包括语音识别（STT）、语言模型（LLM）和文本转语音（TTS）的流水线。此外，它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。

基于大型多模态模型构建端到端网络代理

WebVoyager是一款创新的大型多模态模型（LMM）驱动的网络代理，能够通过与现实世界的网站交互，端到端完成用户指令。我们提出了一种新的网络代理评估协议，以解决开放式网络代理任务的自动评估挑战，利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务，用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率，明显超过了GPT-4（所有工具）和WebVoyager（仅文本）设置的性能，突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性，为在真实世界环境中进一步发展网络代理铺平了道路。

TypeScript客户端，用于OpenAI的实时语音API。

openai-realtime-api是一个TypeScript客户端，用于与OpenAI的实时语音API进行交互。它提供了强类型的特性，并且是OpenAI官方JavaScript版本的完美替代品。该客户端修复了许多小错误和不一致性，并且完全兼容官方和非官方事件。它支持Node.js、浏览器、Deno、Bun、CF workers等多种环境，并且已发布到NPM。该技术的重要性在于它能够为开发者提供一种更安全、更便捷的方式来集成和使用OpenAI的实时语音功能，特别是在需要处理大量数据和请求时。

AI聊天客户端，实现模型上下文协议（MCP）

ChatMCP是一个AI聊天客户端，它实现了模型上下文协议（MCP），允许用户使用任何大型语言模型（LLM）与MCP服务器进行交互。这个项目的主要优点在于它的灵活性和开放性，用户可以根据自己的需求选择不同的LLM模型进行聊天，并且可以通过MCP服务器市场安装不同的服务器来与不同的数据进行交互。ChatMCP提供了一个用户友好的界面，支持自动安装MCP服务器、SSE MCP传输支持、自动选择MCP服务器、聊天历史记录等功能。

低代码/无代码平台，提供定制化的端到端SaaS解决方案

Value on Board是一款基于低代码/无代码灵活平台的端到端SaaS解决方案，可以根据客户需求定制开发企业系统。通过集成的ChatGPT AI支持，帮助加速业务决策分析。支持漏斗自动化、电子邮件自动化、智能聊天机器人、数据驱动决策等功能，适用于销售和营销、客户关系管理等场景。

端侧全模态理解开源模型

Megrez-3B-Omni是由无问芯穹研发的端侧全模态理解模型，基于大语言模型Megrez-3B-Instruct扩展，具备图片、文本、音频三种模态数据的理解分析能力。该模型在图像理解、语言理解、语音理解方面均取得最优精度，支持中英文语音输入及多轮对话，支持对输入图片的语音提问，根据语音指令直接响应文本，在多项基准任务上取得了领先的结果。

一个能够分支到无限的GPT客户端

ChaptersAI是一个基于OpenAI的GPT的聊天客户端，它可以将任何段落分支到一个独立的聊天窗口。它适用于构建复杂的项目，可以深入到组成部分的细节，并能轻松返回到原始聊天上下文。ChaptersAI还为作家和开发人员提供了便利，可以创建新版本的聊天窗口，并能够在整个项目中灵活尝试新的想法。此外，ChaptersAI将数据完全存储在本地浏览器中，不会发送到服务器，提供了更高的隐私和安全性。

端侧全模态理解模型，软硬协同释放无穹端侧智能

Infini-Megrez是一个由无问芯穹研发的端侧全模态理解模型，它基于Megrez-3B-Instruct扩展，具备图片、文本、音频三种模态数据的理解分析能力，并在图像理解、语言理解和语音理解三个方面均取得最优精度。该模型通过软硬协同优化，确保了各结构参数与主流硬件高度适配，推理速度领先同精度模型最大300%。它简单易用，采用最原始的LLaMA结构，开发者无需任何修改便可将模型部署于各种平台，最小化二次开发复杂度。此外，Infini-Megrez还提供了完整的WebSearch方案，使模型可以自动决策搜索调用时机，在搜索和对话中自动切换，并提供更好的总结效果。

在移动端创建AI女孩。

PromptAI是一款顶尖的移动端AI生成器，可以让您创造理想的AI女孩。通过使用最新的AI技术，您可以打造出动漫风格、逼真风格和超逼真风格的AI伴侣。您可以轻松上传并微调任何图像，创建您理想的AI女孩。还可以探索一个拥有超过200万个AI女孩的庞大库，克隆并定制任何图像，释放您的创造力。