需求人群:
"目标受众主要是开发者,尤其是那些希望快速利用OpenAI实时API和WebRTC技术搭建具有语音交互功能的Web应用的开发者。项目提供了完整的框架和示例,方便开发者在此基础上进行二次开发和功能拓展,无需从零开始搭建基础架构。"
使用场景示例:
开发者可基于此项目快速搭建一个在线语音客服系统,利用OpenAI的语音处理能力为用户提供智能语音解答
可用于开发教育领域的语音互动学习平台,通过实时音频对话功能实现师生间的互动教学
打造一个具有语音控制功能的智能家居控制中心网站,用户可通过语音指令操控家中智能设备
产品特色:
使用Next.js框架,实现服务器端渲染和API路由
采用Tailwind CSS、Framer Motion和shadcn/ui打造现代UI界面
通过Use-WebRTC Hook抽象OpenAI WebRTC处理
提供6个示例函数,如获取当前时间、派对模式、改变背景等,展示客户端工具与实时API结合
支持英语、西班牙语、法语、中文等多语言选择
使用TypeScript并配备严格eslint规则,保障类型安全
使用教程:
"1. 克隆项目仓库:git clone https://github.com/cameronking4/openai-realtime-api-nextjs.git,进入项目目录:cd openai-realtime-api-nextjs。2. 创建.env文件,填入OPENAI_API_KEY。3. 安装依赖,使用Node.js时:npm install,使用Deno时:deno install。4. 运行应用,使用Node.js:npm run dev,使用Deno:deno task start。5. 在浏览器打开http://localhost:3000,选择语音开始音频会话。"
浏览量:8
最新流量情况
月访问量
4.91m
平均访问时长
00:06:18
每次访问页数
5.57
跳出率
37.92%
流量来源
直接访问
51.73%
自然搜索
32.88%
邮件
0.04%
外链引荐
13.01%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.81%
德国
3.69%
印度
9.16%
俄罗斯
4.47%
美国
18.04%
基于WebRTC的语音AI流应用,使用OpenAI实时API和WebRTC开发。
该项目是一个使用OpenAI实时API和WebRTC技术开发的WebRTC-based Voice AI stream application,以Next.js框架搭建,具备服务器端渲染和API路由功能,配合shadcn/ui开发的UI组件,支持实时音频对话,还加入了抽象WebRTC处理的hook,以及6个示例函数展示客户端工具与实时API结合使用。项目开源免费,主要面向开发者,可用于快速搭建具有语音AI功能的Web应用。
用于微控制器(如ESP32)的实时API嵌入式SDK
openai-realtime-embedded-sdk是一个专为微控制器设计的SDK,允许开发者在如ESP32这样的微控制器上实现实时API功能。这个SDK的开发和测试主要在ESP32S3和Linux平台上进行,使得开发者无需物理硬件即可在Linux上直接使用。该SDK支持通过设置Wi-Fi SSID和密码以及OpenAI API密钥来配置设备,并能够构建和运行程序。它的重要性在于为微控制器提供了与强大API交互的能力,扩展了微控制器的应用范围,特别是在需要实时数据处理和决策的场景中。
AI应用快速生成器
AnotherWrapper是一个AI应用快速生成器,旨在帮助开发者节省100多个小时的编码和头痛时间。它提供了一个全功能的Next.js AI启动套件,集成了多种AI模型和后端API路由,允许用户在沙盒中尝试并下载代码。产品背景信息显示,开发者Fekri在15个月内构建了约10个不同的AI应用,注意到在设置基础设施上浪费了大量时间,因此创建了这个工具以简化流程。产品定位于帮助用户快速启动AI创业项目,价格方面提供一次性付费,无限产品构建的选项。
集成Firecrawl的OpenAI实时API控制台
firecrawl-openai-realtime是一个集成了Firecrawl的OpenAI实时API控制台,旨在为开发者提供一个交互式的API参考和检查器。它包括两个实用库,openai/openai-realtime-api-beta作为参考客户端(适用于浏览器和Node.js),以及/src/lib/wavtools,后者允许在浏览器中简单管理音频。该产品是使用create-react-app创建的React项目,并通过Webpack打包。
构建智能多模态语音助手的端到端框架。
LiveKit Agents 是一个端到端框架,它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手(AI代理)。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施,提供了创建语音助手的快速入门指南,包括语音识别(STT)、语言模型(LLM)和文本转语音(TTS)的流水线。此外,它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。
使用OpenAI Assistants API和Next.js快速搭建聊天机器人应用
OpenAI Assistants API quickstart with Next.js 是一个使用OpenAI的Assistants API和Next.js框架快速搭建聊天机器人的模板项目。它支持流式传输、代码解释器和文件搜索等高级功能,旨在展示如何在Next.js应用中集成OpenAI的强大能力。
未来写作的选择
OtoKata是一款由OpenAI驱动的人工智能助手,旨在激发创造力,为您生成引人入胜的内容,进行头脑风暴,辅助学校项目,甚至协助编程任务。通过OtoKata,您可以轻松提高生产力和创新能力。
HuggingFace的全新AI代理框架,助力开发者轻松创建强大AI代理。
Smolagents是Hugging Face团队开发的极简AI代理框架,旨在让开发者仅用少量代码就能部署强大的代理。它专注于代码代理,即代理通过编写和执行Python代码片段来执行任务,而非生成JSON或文本块。这种模式利用了大型语言模型(LLMs)生成和理解代码的能力,提供了更好的组合性、灵活性以及丰富的训练数据利用,能高效处理复杂逻辑和对象管理。Smolagents与Hugging Face Hub深度集成,便于工具的分享和加载,促进社区协作。此外,它还支持传统工具调用代理,兼容多种LLMs,包括Hugging Face Hub上的模型以及OpenAI、Anthropic等通过LiteLLM集成的模型。Smolagents的出现,降低了AI代理开发的门槛,使开发者能够更便捷地构建和部署AI驱动的应用程序。
AI智能对话助手,搜索写作阅读解题翻译工具。
DeepSeek是杭州深度求索人工智能基础技术研究有限公司开发的一款AI对话助手APP,使用开源的DeepSeek-V3大模型,总参数超600B,多项性能指标对齐海外顶尖模型,能快速响应并给出详细答复,助力高效生活。该APP免费提供多种功能,适用于多种身份人群,如学生、科研工作者、内容创作者等,帮助他们在学习、工作和生活中答疑解惑、提升效率。
一个用于检测幻觉的开源评估模型,基于Llama-3架构,拥有700亿参数。
PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct是一个基于Llama-3架构的大型语言模型,旨在检测在RAG设置中的幻觉问题。该模型通过分析给定的文档、问题和答案,评估答案是否忠实于文档内容。其主要优点在于高精度的幻觉检测能力和强大的语言理解能力。该模型由Patronus AI开发,适用于需要高精度信息验证的场景,如金融分析、医学研究等。该模型目前为免费使用,但具体的商业应用可能需要与开发者联系。
一个开源AI模型微调与变现平台,助力AI初创企业、机器学习工程师和研究人员。
Bakery是一个专注于开源AI模型的微调与变现的在线平台,为AI初创企业、机器学习工程师和研究人员提供了一个便捷的工具,使他们能够轻松地对AI模型进行微调,并在市场中进行变现。该平台的主要优点在于其简单易用的界面和强大的功能,用户可以快速创建或上传数据集,微调模型设置,并在市场中进行变现。Bakery的背景信息表明,它旨在推动开源AI技术的发展,并为开发者提供更多的商业机会。虽然具体的定价信息未在页面中明确展示,但其定位是为AI领域的专业人士提供一个高效的工具。
在浏览器中运行AI代理的用户界面
WebUI 是一个基于 Gradio 构建的用户界面,旨在为 AI 代理提供便捷的浏览器交互体验。该产品支持多种大型语言模型(LLM),如 Gemini、OpenAI 等,使得用户可以根据自己的需求选择合适的模型进行交互。WebUI 的主要优点在于其用户友好的界面设计和强大的自定义功能,用户可以使用自己的浏览器进行操作,避免了重复登录和认证的问题。此外,WebUI 还支持高清屏幕录制功能,为用户提供了更多的使用场景。该产品定位于为开发者和研究人员提供一个简单易用的 AI 交互平台,帮助他们更好地进行 AI 应用的开发和研究。
高质量的数据集、工具和概念,用于大型语言模型的微调。
mlabonne/llm-datasets 是一个专注于大型语言模型(LLM)微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集,帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量,能够覆盖多种使用场景,从而提高模型的泛化能力和准确性。此外,该产品还提供了一些工具和概念,帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护,旨在推动 LLM 领域的发展。
FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。
FlashInfer是一个专为大型语言模型(LLM)服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能,显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API,易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求,提供更高效、更可靠的推理支持。
基于PRIME方法训练的7B参数语言模型,专为提升推理能力而设计。
PRIME-RL/Eurus-2-7B-PRIME是一个基于PRIME方法训练的7B参数的语言模型,旨在通过在线强化学习提升语言模型的推理能力。该模型从Eurus-2-7B-SFT开始训练,利用Eurus-2-RL-Data数据集进行强化学习。PRIME方法通过隐式奖励机制,使模型在生成过程中更加注重推理过程,而不仅仅是结果。该模型在多项推理基准测试中表现出色,相较于其SFT版本平均提升了16.7%。其主要优点包括高效的推理能力提升、较低的数据和模型资源需求,以及在数学和编程任务中的优异表现。该模型适用于需要复杂推理能力的场景,如编程问题解答和数学问题求解。
Eurus-2-7B-SFT是一个经过数学能力优化的大型语言模型,专注于推理和问题解决.
Eurus-2-7B-SFT是基于Qwen2.5-Math-7B模型进行微调的大型语言模型,专注于数学推理和问题解决能力的提升。该模型通过模仿学习(监督微调)的方式,学习推理模式,能够有效解决复杂的数学问题和编程任务。其主要优点在于强大的推理能力和对数学问题的准确处理,适用于需要复杂逻辑推理的场景。该模型由PRIME-RL团队开发,旨在通过隐式奖励的方式提升模型的推理能力。
将本地文件转换为大型语言模型的结构化提示工具
CodebaseToPrompt 是一个简单工具,能够将本地目录转换为大型语言模型(LLM)的结构化提示。它帮助用户选择需要包含或忽略的文件,然后以可以直接复制到 LLM 中的格式输出,适用于代码审查、分析或文档生成。该工具的主要优点在于其交互性强、操作简便,并且能够在浏览器中直接使用,无需上传任何文件,确保了数据的安全性和隐私性。产品背景信息显示,它是由 path-find-er 团队开发,旨在提高开发者在使用 LLM 进行代码相关任务时的效率。
一个用于信息检索和生成的灵活高性能框架
FlexRAG是一个用于检索增强生成(RAG)任务的灵活且高性能的框架。它支持多模态数据、无缝配置管理和开箱即用的性能,适用于研究和原型开发。该框架使用Python编写,具有轻量级和高性能的特点,能够显著提高RAG工作流的速度和减少延迟。其主要优点包括支持多种数据类型、统一的配置管理以及易于集成和扩展。
Sonus-1:开启大型语言模型(LLMs)的新时代
Sonus-1是Sonus AI推出的一系列大型语言模型(LLMs),旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计,包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本,以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出,特别是在推理和数学问题上,展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。
AI驱动的任务管道和多代理团队框架
Orchestra是一个用于创建AI驱动的任务管道和多代理团队的框架。它允许开发者和企业构建复杂的工作流程,通过集成不同的AI模型和工具来自动化任务处理。Orchestra的背景信息显示,它由Mainframe开发,旨在提供一个强大的平台,以支持AI技术的集成和应用。产品的主要优点包括其灵活性和可扩展性,能够适应不同的业务需求和场景。目前,Orchestra提供免费试用,具体的价格和定位信息需要进一步查询。
一款高效率的2.4亿参数轻量级语言模型
YuLan-Mini是由中国人民大学AI Box团队开发的一款轻量级语言模型,具有2.4亿参数,尽管仅使用1.08T的预训练数据,但其性能可与使用更多数据训练的行业领先模型相媲美。该模型特别擅长数学和代码领域,为了促进可复现性,团队将开源相关的预训练资源。
利用Gemini API生成小型应用
Gemini Coder是一个基于Gemini API的项目,旨在通过一个简单的提示生成小型应用。该项目完全基于llamacoder,并使用了Next.js、Tailwind等技术栈。它允许用户快速创建应用,并且可以本地运行和测试。作为一个个人项目,它并非Google官方项目,但展示了利用先进API进行应用开发的潜力。
一个集成了Gemini多模态直播和WebRTC技术的单文件应用
Gemini Multimodal Live + WebRTC是一个展示如何构建简单语音AI应用的示例项目,使用Gemini多模态直播API和WebRTC技术。该产品的主要优点包括低延迟、更好的鲁棒性、易于实现核心功能,并且兼容多种平台和语言的SDK。产品背景信息显示,这是一个开源项目,旨在通过WebRTC技术提升实时媒体连接的性能,并简化开发流程。
TypeScript框架,优雅构建MCP服务器
LiteMCP是一个TypeScript框架,用于优雅地构建MCP(Model Context Protocol)服务器。它支持简单的工具、资源、提示定义,提供完整的TypeScript支持,并内置了错误处理和CLI工具,方便测试和调试。LiteMCP的出现为开发者提供了一个高效、易用的平台,用于开发和部署MCP服务器,从而推动了人工智能和机器学习模型的交互和协作。LiteMCP是开源的,遵循MIT许可证,适合希望快速构建和部署MCP服务器的开发者和企业使用。
macOS原生应用,利用语言模型简化本地文件迭代
Repo Prompt是一个为macOS设计的原生应用,旨在消除在使用本地文件时与最强大语言模型交互的摩擦。它通过允许用户选择文件和文件夹作为提示的上下文,使用保存的提示和仓库映射来指导AI的输出,从而迭代文件或了解它们的工作原理。该产品的主要优点包括提高开发效率、精确控制上下文和审查AI所做的更改。Repo Prompt的背景信息显示,它是一个针对开发者和技术人员的工具,旨在通过集成最新的AI技术来优化代码和文件处理工作流程。产品目前提供免费试用,但具体的定价信息未在页面上提供。
Python工具,将文件和办公文档转换为Markdown格式。
MarkItDown是一个Python工具库,用于将各种文件如PDF、PPT、Word、Excel、图片等转换为Markdown格式,便于索引、文本分析等。它支持多种文件格式,并且可以与大型语言模型结合使用,以描述图像内容。MarkItDown的重要性在于它能够将非文本内容转换为文本,极大地方便了内容的管理和使用。该工具由微软维护,免费开源,适用于需要处理大量文档和文件的开发者和数据分析师。
MCP服务器目录,汇集多个MCP服务器资源。
MCP Directory是一个为MCP服务器提供目录服务的网站,它允许用户发现和共享MCP服务器资源。该网站使用TypeScript开发,并且提供了一个友好的用户界面,方便用户快速找到所需的MCP服务器。它的重要性在于为MCP服务器用户提供了一个集中的平台,促进了资源共享和技术交流。
AI模型编程竞赛平台
CodeArena是一个在线平台,旨在展示不同AI模型(Large Language Models,LLM)在编程任务中的表现。该平台通过实时竞赛,让用户可以看到不同AI模型在编程挑战中的实时表现,并决出胜者。它不仅提供了一个比较不同AI模型编程能力的场所,也为开发者和研究人员提供了一个实验和学习的环境。CodeArena由Together.ai提供技术支持,是一个创新的编程竞赛平台,强调技术的先进性和教育意义。
© 2024 AIbase 备案号:闽ICP备08105208号-14