产品库

实时端到端目标检测模型

YOLOv10是新一代的目标检测模型，它在保持实时性能的同时，实现了高精度的目标检测。该模型通过优化后处理和模型架构，减少了计算冗余，提高了效率和性能。YOLOv10在不同模型规模上都达到了最先进的性能和效率，例如，YOLOv10-S在相似的AP下比RT-DETR-R18快1.8倍，同时参数数量和FLOPs减少了2.8倍。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

AI 驱动的自动化端到端测试

Carbonate 是一款集成到测试框架中的 AI 驱动的自动化端到端测试工具。它将简单的语言驱动指令转化为端到端测试，并可以自动适应 UI 的变化。用户可以直接在首选的测试工具中使用简单的英语编写测试，并在首次运行时，Carbonate 会自动将测试转化为固定的测试脚本。当 HTML 发生更改时，Carbonate 会生成新的测试脚本，让测试变得更加稳定可靠。

全端到端的类人语音对话模型

SpeechGPT2是由复旦大学计算机科学学院开发的端到端语音对话语言模型，能够感知并表达情感，并根据上下文和人类指令以多种风格提供合适的语音响应。该模型采用超低比特率语音编解码器（750bps），模拟语义和声学信息，并通过多输入多输出语言模型（MIMO-LM）进行初始化。目前，SpeechGPT2还是一个基于轮次的对话系统，正在开发全双工实时版本，并已取得一些有希望的进展。尽管受限于计算和数据资源，SpeechGPT2在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有不足，计划未来开源技术报告、代码和模型权重。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

自动化端到端测试平台

Reflect是一个自动化端到端测试平台，使测试易于创建和维护。通过Reflect，您可以创建可靠的端到端测试，无需编写一行代码。它具有AI辅助功能，能够更快速地创建测试套件，减少维护测试的工作量。同时，Reflect支持视觉测试，可以帮助您捕获其他工具无法检测到的视觉回归问题。Reflect还提供了与CI/CD解决方案的集成，让您能够在每次部署时自动执行端到端测试。Reflect的定价详细信息请访问官方网站。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

端到端开发工具套件，简化基于LLM的AI应用的开发流程

Prompt flow是一套开发工具，旨在简化基于LLM的AI应用的端到端开发流程，从构思、原型设计、测试、评估到生产部署和监控。它使得Prompt工程变得更加容易，并使您能够构建具有生产质量的LLM应用。 使用Prompt flow，您将能够： - 创建将LLM、提示、Python代码和其他工具链接在一起的可执行工作流。 - 轻松调试和迭代您的工作流，特别是与LLM的交互。 - 使用更大的数据集评估您的工作流，计算质量和性能指标。 - 将测试和评估集成到您的CI/CD系统中，以确保工作流的质量。 - 将您的工作流部署到您选择的服务平台，或轻松集成到您的应用程序代码库中。 - （可选但强烈推荐）通过在Azure AI中使用Prompt flow的云版本与团队合作。 欢迎加入我们，通过参与讨论、提出问题、提交PR来改进Prompt flow。 本文档站点包含Prompt flow SDK、CLI和VSCode扩展用户的指南。

基于真实用户行为的端到端测试自动化

Checksum.ai可以将用户会话转化为完整的测试自动化流程，帮助您在不降低质量的情况下快速发布产品。它提供功能全面的端到端测试，帮助您发现和修复潜在的问题，并确保产品的稳定性和可靠性。定价根据用户需要定制。Checksum.ai定位于提供高效的测试解决方案，帮助团队快速迭代和交付产品。

自动化测试工具，无需编程即可生成端到端测试。

Octomind QA Agent 是一款基于人工智能的自动化测试工具，它能够自动分析网页应用并生成测试用例，执行测试并维护测试代码。这款工具的主要优点是它不需要用户具备编程知识，可以大幅降低测试的门槛，提高测试效率。它适用于希望提高软件质量、减少测试成本和时间的开发者和团队。Octomind QA Agent 提供了免费试用版本，用户可以在不提供信用卡信息的情况下尝试其功能。

快速的移动端文本到图像生成工具

MobileDiffusion是一个轻量级的潜在扩散模型,专为移动设备设计,可以在0.5秒内根据文本提示生成512x512高质量图像。相较于其他文本到图像模型,它更小巧(仅520M参数),非常适合在手机上部署使用。它的主要功能包括:1)基于文本生成图像;2)快速生成,0.5秒内完成;3)小巧的参数量,仅520M;4)生成高质量图像。主要使用场景包括内容创作、艺术创作、游戏和App开发等领域。示例使用包括:输入'盛开的玫瑰花'生成玫瑰花图片,输入'金色 retrievier 撒欢跑'生成小狗图片,输入'火星风景,外太空'生成火星图。相较于其他大模型,它更适合在移动设备上部署使用。

DiffRhythm 是一种基于潜在扩散模型的端到端全曲生成技术，可在短时间内生成包含人声和伴奏的完整歌曲。

DiffRhythm 是一种创新的音乐生成模型，利用潜在扩散技术实现了快速且高质量的全曲生成。该技术突破了传统音乐生成方法的限制，无需复杂的多阶段架构和繁琐的数据准备，仅需歌词和风格提示即可在短时间内生成长达 4 分 45 秒的完整歌曲。其非自回归结构确保了快速的推理速度，极大地提升了音乐创作的效率和可扩展性。该模型由西北工业大学音频、语音和语言处理小组（ASLP@NPU）和香港中文大学（深圳）大数据研究院共同开发，旨在为音乐创作提供一种简单、高效且富有创造力的解决方案。

TypeScript客户端，用于OpenAI的实时语音API。

openai-realtime-api是一个TypeScript客户端，用于与OpenAI的实时语音API进行交互。它提供了强类型的特性，并且是OpenAI官方JavaScript版本的完美替代品。该客户端修复了许多小错误和不一致性，并且完全兼容官方和非官方事件。它支持Node.js、浏览器、Deno、Bun、CF workers等多种环境，并且已发布到NPM。该技术的重要性在于它能够为开发者提供一种更安全、更便捷的方式来集成和使用OpenAI的实时语音功能，特别是在需要处理大量数据和请求时。

超轻量级数字人模型，移动端实时运行

Ultralight-Digital-Human是一个超轻量级的数字人模型，可以在移动端实时运行。这个模型是开源的，据开发者所知，它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计，适合移动端部署，以及实时运行的能力。它的背后是深度学习技术，特别是在人脸合成和声音模拟方面的应用，这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的，主要面向技术爱好者和开发者。

RF-DETR 是由 Roboflow 开发的实时目标检测模型。

RF-DETR 是一个基于变压器的实时目标检测模型，旨在为边缘设备提供高精度和实时性能。它在 Microsoft COCO 基准测试中超过了 60 AP，具有竞争力的性能和快速的推理速度，适合各种实际应用场景。RF-DETR 旨在解决现实世界中的物体检测问题，适用于需要高效且准确检测的行业，如安防、自动驾驶和智能监控等。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

一个能够分支到无限的GPT客户端

ChaptersAI是一个基于OpenAI的GPT的聊天客户端，它可以将任何段落分支到一个独立的聊天窗口。它适用于构建复杂的项目，可以深入到组成部分的细节，并能轻松返回到原始聊天上下文。ChaptersAI还为作家和开发人员提供了便利，可以创建新版本的聊天窗口，并能够在整个项目中灵活尝试新的想法。此外，ChaptersAI将数据完全存储在本地浏览器中，不会发送到服务器，提供了更高的隐私和安全性。

高性能、低成本的端到端chat-ruanyifeng向量搜索服务

Aha Vector Search是一个高性能、低成本的端到端向量搜索服务。它提供了一种快速构建端到端向量搜索的方法，帮助用户以更低的成本实现高效的搜索体验。

在移动端创建AI女孩。

PromptAI是一款顶尖的移动端AI生成器，可以让您创造理想的AI女孩。通过使用最新的AI技术，您可以打造出动漫风格、逼真风格和超逼真风格的AI伴侣。您可以轻松上传并微调任何图像，创建您理想的AI女孩。还可以探索一个拥有超过200万个AI女孩的庞大库，克隆并定制任何图像，释放您的创造力。

移动SSH客户端

La Terminal是一款为iPhone和iPad的移动SSH客户端。它提供了完全本地化的、触控优化的命令行体验。La Terminal支持安全的私钥存储、命令搜索、资源监视、美观的界面和文件管理等功能。

ComfyUI的API服务端，用于为ComfyUI客户端提供后端支持

ComfyUI-APISR是ComfyUI项目的API服务端部分，它为ComfyUI客户端应用提供必要的后端支持。ComfyUI是一个旨在提供舒适用户体验的用户界面框架。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

查询接口状态的服务器端应用

query-key-app 是一个用于查询接口状态的服务器端应用，它支持以 OpenAI 标准格式的 API 测活。该应用通过 GPT 辅助完成，提供简洁的查询界面，支持本地运行和 serverless 部署。主要优点包括易于部署、使用方便、能够快速检测接口状态，适合需要快速验证接口可用性的开发者。

无限分支的 GPT 客户端

章节 AI 是一款基于 OpenAI 的 GPT 模型的聊天客户端，它可以无限分支，帮助用户构建复杂的项目，并且能够轻松导航回原始聊天上下文。该产品适用于写作、开发等领域，用户可以创建无限数量的项目，并进行分支和版本管理。项目数据完全保存在用户的浏览器中，保证隐私和安全。ChaptersAI的定价为每月 9 美元，加上 OpenAI API 使用费用。

端侧可用的GPT-4V级多模态大模型

MiniCPM-Llama3-V 2.5 是 OpenBMB 项目中最新发布的端侧多模态大模型，具备8B参数量，支持超过30种语言的多模态交互，并在多模态综合性能上超越了多个商用闭源模型。该模型通过模型量化、CPU、NPU、编译优化等技术实现了高效的终端设备部署，具有优秀的OCR能力、可信行为以及多语言支持等特点。

桌面客户端，语音翻译和语音合成

SpeechLab是一款桌面客户端，提供语音翻译和语音合成功能。它能够帮助用户进行语音翻译，将语言转换成其他语言，同时还能够合成语音，将文字转换成自然流畅的语音。SpeechLab的优势在于其高质量的语音合成技术，可以生成与人类声音相似的合成语音。SpeechLab的定价为免费试用和付费订阅两种方式，具体定价可在官方网站上查看。SpeechLab定位于帮助用户跨越语言障碍，使内容在全球范围内更容易获得。

基于定制模型的LiveKit代理端发言结束检测插件

LiveKit Plugins Turn Detector是一个用于LiveKit Agents的插件，它通过使用定制的开放权重模型来确定用户何时完成发言，从而引入了端对端的发言结束检测。相较于传统的声学活动检测(VAD)模型，该插件利用专门为此任务训练的语言模型，提供了一种更准确、更稳健的发言结束检测方法。目前版本仅支持英文，不建议用于其他语言。