产品库

端到端开发工具套件，简化基于LLM的AI应用的开发流程

Prompt flow是一套开发工具，旨在简化基于LLM的AI应用的端到端开发流程，从构思、原型设计、测试、评估到生产部署和监控。它使得Prompt工程变得更加容易，并使您能够构建具有生产质量的LLM应用。 使用Prompt flow，您将能够： - 创建将LLM、提示、Python代码和其他工具链接在一起的可执行工作流。 - 轻松调试和迭代您的工作流，特别是与LLM的交互。 - 使用更大的数据集评估您的工作流，计算质量和性能指标。 - 将测试和评估集成到您的CI/CD系统中，以确保工作流的质量。 - 将您的工作流部署到您选择的服务平台，或轻松集成到您的应用程序代码库中。 - （可选但强烈推荐）通过在Azure AI中使用Prompt flow的云版本与团队合作。 欢迎加入我们，通过参与讨论、提出问题、提交PR来改进Prompt flow。 本文档站点包含Prompt flow SDK、CLI和VSCode扩展用户的指南。

将数据和AI算法快速转化为生产就绪的Web应用

Taipy是一个开源的Python库，用于简化端到端应用开发，提供假设分析、智能管道执行、内置调度和部署工具。它允许数据科学家和机器学习工程师构建全栈应用，无需学习新的语言或全栈框架，专注于数据和AI算法，同时简化开发和部署的复杂性。

AI 驱动的自动化端到端测试

Carbonate 是一款集成到测试框架中的 AI 驱动的自动化端到端测试工具。它将简单的语言驱动指令转化为端到端测试，并可以自动适应 UI 的变化。用户可以直接在首选的测试工具中使用简单的英语编写测试，并在首次运行时，Carbonate 会自动将测试转化为固定的测试脚本。当 HTML 发生更改时，Carbonate 会生成新的测试脚本，让测试变得更加稳定可靠。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

实时端到端目标检测模型

YOLOv10是新一代的目标检测模型，它在保持实时性能的同时，实现了高精度的目标检测。该模型通过优化后处理和模型架构，减少了计算冗余，提高了效率和性能。YOLOv10在不同模型规模上都达到了最先进的性能和效率，例如，YOLOv10-S在相似的AP下比RT-DETR-R18快1.8倍，同时参数数量和FLOPs减少了2.8倍。

易用、灵活、高效的开源大模型应用开发框架。

Agently是一个开源的大模型应用开发框架，旨在帮助开发者快速构建基于大语言模型的AI agent原生应用。它通过提供一系列工具和接口，简化了与大型语言模型的交互过程，使得开发者可以更专注于业务逻辑的实现。Agently框架支持多种模型，易于安装和配置，具有高度的灵活性和扩展性。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

快速的移动端文本到图像生成工具

MobileDiffusion是一个轻量级的潜在扩散模型,专为移动设备设计,可以在0.5秒内根据文本提示生成512x512高质量图像。相较于其他文本到图像模型,它更小巧(仅520M参数),非常适合在手机上部署使用。它的主要功能包括:1)基于文本生成图像;2)快速生成,0.5秒内完成;3)小巧的参数量,仅520M;4)生成高质量图像。主要使用场景包括内容创作、艺术创作、游戏和App开发等领域。示例使用包括:输入'盛开的玫瑰花'生成玫瑰花图片,输入'金色 retrievier 撒欢跑'生成小狗图片,输入'火星风景,外太空'生成火星图。相较于其他大模型,它更适合在移动设备上部署使用。

全端到端的类人语音对话模型

SpeechGPT2是由复旦大学计算机科学学院开发的端到端语音对话语言模型，能够感知并表达情感，并根据上下文和人类指令以多种风格提供合适的语音响应。该模型采用超低比特率语音编解码器（750bps），模拟语义和声学信息，并通过多输入多输出语言模型（MIMO-LM）进行初始化。目前，SpeechGPT2还是一个基于轮次的对话系统，正在开发全双工实时版本，并已取得一些有希望的进展。尽管受限于计算和数据资源，SpeechGPT2在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有不足，计划未来开源技术报告、代码和模型权重。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

自动化端到端测试平台

Reflect是一个自动化端到端测试平台，使测试易于创建和维护。通过Reflect，您可以创建可靠的端到端测试，无需编写一行代码。它具有AI辅助功能，能够更快速地创建测试套件，减少维护测试的工作量。同时，Reflect支持视觉测试，可以帮助您捕获其他工具无法检测到的视觉回归问题。Reflect还提供了与CI/CD解决方案的集成，让您能够在每次部署时自动执行端到端测试。Reflect的定价详细信息请访问官方网站。

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

自动化测试工具，无需编程即可生成端到端测试。

Octomind QA Agent 是一款基于人工智能的自动化测试工具，它能够自动分析网页应用并生成测试用例，执行测试并维护测试代码。这款工具的主要优点是它不需要用户具备编程知识，可以大幅降低测试的门槛，提高测试效率。它适用于希望提高软件质量、减少测试成本和时间的开发者和团队。Octomind QA Agent 提供了免费试用版本，用户可以在不提供信用卡信息的情况下尝试其功能。

基于真实用户行为的端到端测试自动化

Checksum.ai可以将用户会话转化为完整的测试自动化流程，帮助您在不降低质量的情况下快速发布产品。它提供功能全面的端到端测试，帮助您发现和修复潜在的问题，并确保产品的稳定性和可靠性。定价根据用户需要定制。Checksum.ai定位于提供高效的测试解决方案，帮助团队快速迭代和交付产品。

查询接口状态的服务器端应用

query-key-app 是一个用于查询接口状态的服务器端应用，它支持以 OpenAI 标准格式的 API 测活。该应用通过 GPT 辅助完成，提供简洁的查询界面，支持本地运行和 serverless 部署。主要优点包括易于部署、使用方便、能够快速检测接口状态，适合需要快速验证接口可用性的开发者。

百度推出的无代码工具，通过自然语言即可生成应用，让每个人具备程序员能力

秒哒是百度倾力打造的首个无代码工具，旨在让每个人都能通过自然语言实现任意想法，无需编写代码即可构建各种应用。该平台通过对话式开发、多智能体协作和多工具调用等功能，极大地降低了应用开发的门槛，提高了开发效率。秒哒的推出，标志着应用开发进入了一个全新的时代，让创意的实现变得更加简单、快速和高效。秒哒目前处于免费试用阶段，用户可以免费体验其强大的功能，为个人和企业提供高效、低成本的应用开发解决方案。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

高效优化的小型语言模型，专为设备端应用设计。

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

为开发者提供数据库管理工具，通过AI生成模拟数据，简化本地开发环境的数据配置。

Snaplet是一个面向开发者的数据库管理工具，它通过AI技术生成与生产环境相似的模拟数据，用于本地开发环境、端到端测试和调试。它支持TypeScript配置，提供类型安全性和自动化值及关系更新，帮助开发者更高效、安全地管理开发环境中的数据。

ChatGPT应用开发指南

《First AI App》是一本易于跟随的步骤指南，帮助您使用无代码平台Bubble创建自己的AI应用程序。无需编程技能。

设计、部署和优化LLM应用与Klu

Klu是一款全能的LLM应用平台，可以在Klu上快速构建、评估和优化基于LLM技术的应用。它提供了多种最先进的LLM模型选择，让用户可以根据自己的需求进行选择和调整。Klu还支持团队协作、版本管理、数据评估等功能，为AI团队提供了一个全面而便捷的开发平台。

群聊、好友和AI，畅快聊天

Wavelength是一款全新的群聊应用，无缝集结了你的好友、AI和直观的线程化功能，带来全新的聊天体验。通过提及@AI来轻松添加由GPT-3.5驱动的AI助手参与到你的群聊中。Wavelength是第一款允许多人一起与AI交谈的消息应用。直观的线程化系统使得群聊不再混乱，你可以在一个群组中同时进行多个对话。保持讨论有序、易于跟进。对话都采用先进的双向哈钥匙端到端加密，保证了Wavelength上的对话私密和安全。只有提及@AI的消息才会被解密以便机器人做出回应。新成员加入时，历史同步功能可以轻松进行群组入职培训。当新成员加入时，现有成员将自动重新加密并安全共享最近的消息历史记录。Wavelength是第一个端到端加密消息应用提供这样的功能。现已支持iPhone、iPad和Mac，Android版本即将推出。

AI 应用开发平台

Vondy 是一个 AI 应用开发平台，可以帮助用户创建各种应用，从生成食谱到编写代码应有尽有。无论您需要什么，我们都可以满足您的需求。

内容风格合成在文本到图像生成中的应用

CSGO是一个基于内容风格合成的文本到图像生成模型，它通过一个数据构建管道生成并自动清洗风格化数据三元组，构建了首个大规模的风格迁移数据集IMAGStyle，包含210k图像三元组。CSGO模型采用端到端训练，明确解耦内容和风格特征，通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成，具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。

一站式AI应用部署平台。

OmniAI是一个提供统一API体验的AI应用构建平台，支持在现有基础设施内运行，支持多种AI模型，如Llama 3、Claude 3、Mistral Large等，适用于自然语言理解、生成任务等复杂需求。