产品库

使用OpenAI实时API与文档进行语音聊天

voice-chat-pdf是一个基于LlamaIndex项目，使用Next.js构建的示例，它通过简单的RAG系统，允许用户通过语音与PDF文档进行交互。这个项目需要OpenAI API密钥来访问实时API，并在项目中生成文档的嵌入向量，以便进行语音交互。它展示了如何将先进的机器学习技术应用于提高文档交互的效率和便捷性。

Python工具，将文件和办公文档转换为Markdown格式。

MarkItDown是一个Python工具库，用于将各种文件如PDF、PPT、Word、Excel、图片等转换为Markdown格式，便于索引、文本分析等。它支持多种文件格式，并且可以与大型语言模型结合使用，以描述图像内容。MarkItDown的重要性在于它能够将非文本内容转换为文本，极大地方便了内容的管理和使用。该工具由微软维护，免费开源，适用于需要处理大量文档和文件的开发者和数据分析师。

Mistral OCR 是一款强大的文档理解 OCR 产品，能够以极高的准确性从 PDF 和图像中提取文本、图像、表格和方程式。

Mistral OCR 是由 Mistral AI 开发的先进光学字符识别 API，旨在以无与伦比的准确性提取和结构化文档内容。它能够处理包含文本、图像、表格和方程式的复杂文档，输出 Markdown 格式的结果，便于与 AI 系统和检索增强生成（RAG）系统集成。其高精度、高速度和多模态处理能力使其在大规模文档处理场景中表现出色，尤其适用于科研、法律、客服和历史文献保护等领域。Mistral OCR 的定价为每美元 1000 页标准使用量，批量处理可达每美元 2000 页，还提供企业自托管选项，满足特定隐私需求。

Platus 是一个为法律团队设计的 AI 工作空间，可自动化完成繁琐的法律任务。

Platus 是一个专为法律团队打造的 AI 工作空间，通过自动化工具简化法律文档的起草、签署、公证和处理流程。它利用先进的 AI 技术，帮助法律团队高效完成重复性任务，节省时间和人力成本。产品主要面向律师事务所、初创企业和中型企业，提供从文档生成到合规管理的一站式解决方案。Platus 提供免费试用，旨在通过智能化工作流程提升法律运营效率。

Vibe Coder 是一款开源的 VS Code 扩展，用于探索基于语音的 AI 编程体验。

Vibe Coder 是由 Deepgram 开发的一款开源 VS Code 扩展，旨在探索语音驱动编程的可能性。它利用语音识别技术，让用户通过语音指令与 AI 编程助手进行交互，快速将想法转化为代码原型。这种创新的编程方式被称为‘vibe coding’，旨在提高编程效率并改变未来软件开发的方式。Vibe Coder 目前处于实验阶段，Deepgram 希望通过社区反馈不断完善该工具。

致力于通过自然语音技术，打造个人语音伴侣和全天候可穿戴轻量级眼镜设备。

Sesame 是一个专注于语音技术的跨学科产品和研究团队，旨在通过自然语音交互，让用户与计算机的交互更加自然和高效。其主要产品包括个人语音伴侣和轻量级可穿戴眼镜设备，旨在实现计算机的拟人化，帮助用户更好地组织信息、提升效率。产品的主要优点是语音交互的自然性和设备的便携性，适合日常使用。目前，Sesame 正在积极招聘，致力于推动语音技术的创新。

一个用 Go 语言编写的 CLI 工具和库，用于将文档转换为 Markdown 格式。

go-markitdown 是一个开源项目，专注于将 PDF、HTML 等格式的文档转换为 Markdown 格式。它通过 Go 语言实现，提供命令行界面和库的形式，方便开发者集成到项目中。该工具支持本地文件和 URL 的转换，能够保留文档的语义结构，同时支持自定义配置。其主要优点是易于使用、灵活集成，并且通过 OpenAI 的模型实现 PDF 文本提取，具有较高的转换精度。

为酒店提供多语言AI语音代理，提升客户体验并降低运营成本。

Riviera 是一款专为酒店行业设计的AI语音平台，旨在通过智能化的语音交互提升客户体验并优化酒店运营效率。它支持多语言对话，能够快速响应客户咨询，处理预订、房间服务等需求，同时通过数据分析提供个性化服务。该产品利用先进的AI技术，减少人工干预，降低运营成本，尤其适合酒店在高峰期减轻员工工作压力。其背景是随着酒店行业的数字化转型，客户对服务的即时性和个性化需求日益增长，Riviera 正是为满足这一需求而生。价格和具体定位需根据酒店规模和需求定制。

增强你的Lovable.dev工作流，提供文档访问、AI规划工具和自动化测试能力。

Lovify是Lovable.dev的扩展插件，旨在通过一系列AI驱动的功能提升开发人员的工作效率。它支持GitHub集成，能够快速导入和管理仓库；提供智能提示增强功能，根据上下文优化提示；具备项目规划工具，自动生成PRD和行动计划；支持语音交互，实现免手动编码和调试；还有快捷的斜杠命令，快速访问各种功能。这些功能的结合使得开发人员能够更高效地编写代码、管理项目，并获得实时帮助。目前该产品处于推广阶段，具体价格未明确，但可通过Chrome扩展程序商店免费试用。

Step-Audio是一个开源智能语音交互框架，支持多语言对话、情感语调和语音克隆等功能。

Step-Audio是首个生产级开源智能语音交互框架，整合了语音理解与生成能力，支持多语言对话、情感语调、方言、语速和韵律风格控制。其核心技术包括130B参数多模态模型、生成式数据引擎、精细语音控制和增强智能。该框架通过开源模型和工具，推动智能语音交互技术的发展，适用于多种语音应用场景。

一款为 Apple Watch 设计的智能语音助手应用，无需手机即可完成多种操作。

Chirp AI 是一款专为 Apple Watch 设计的智能语音助手应用。它通过强大的语音识别和人工智能技术，让用户能够仅通过语音指令完成各种操作，如发送信息、获取信息、搜索网络等，极大地提升了用户在移动场景下的操作效率。该产品的主要优点是无需频繁使用手机，即可实现高效的信息交互和任务处理。它适用于那些希望在日常生活中减少对手机依赖，同时又能快速获取信息和完成任务的用户。目前该应用提供免费下载，定位为提升用户生产力和便捷性的智能工具。

wdoc 是一个强大的 RAG（检索增强生成）系统，用于处理和查询多种文件类型的文档。

wdoc 是由 Olicorne（一名医学生）开发的 RAG 系统，旨在通过检索增强生成技术解决文档查询和总结问题。它支持多种文件类型（如 PDF、网页、YouTube 视频等），并结合多种语言模型提供高召回率和高特异性的查询结果。wdoc 的主要优点包括强大的多文件类型支持、高效的检索能力和灵活的扩展性。它适用于研究人员、学生和专业人士，帮助他们快速处理大量信息。wdoc 目前处于开发阶段，开发者欢迎用户反馈和功能请求，以不断完善产品。

FoloUp 是一个用于招聘的 AI 驱动语音面试平台。

FoloUp 是一款专注于招聘流程的 AI 驱动语音面试平台。它通过智能生成面试问题、实时语音交互和深度分析候选人回答，帮助企业高效筛选和评估候选人。该平台利用先进的 AI 技术，确保面试过程的自然流畅，并提供详细的候选人表现报告。FoloUp 旨在通过技术提升招聘效率，降低人力成本，同时为候选人提供更公平的面试体验。目前，该平台以开源形式提供，支持自定义部署和使用。

一个快速启动带有OpenAI集成的Django项目的模板。

Prototype是一个用于快速搭建Django项目的模板，集成了OpenAI功能，通过Docker容器化实现便捷部署。它为开发者提供了一个高效的起点，能够快速启动并运行一个具备人工智能功能的Web应用。该模板通过简化环境配置和项目搭建流程，帮助开发者专注于核心功能的开发，同时利用OpenAI的强大能力扩展应用的智能化特性。项目开源且采用MIT许可证，适合希望快速开发智能Web应用的开发者。

一个基于语音交互的故事创作聊天机器人，提供沉浸式的“选择你自己的冒险”体验。

该产品利用 Gemini 2.0 语言模型和 Google Imagen 图像生成技术，结合语音识别和语音合成，为用户提供一个互动式的故事创作体验。用户可以通过语音输入选择故事走向，系统会实时生成故事内容和相关图像。该产品的主要优点是创新的交互方式和强大的内容生成能力，适合用于教育、娱乐和创意启发。目前该产品处于开源阶段，未明确具体定价，主要面向开发者和教育机构。

首个面向语境智能的人类级实时交互系统，支持多情感、多风格语音交互。

SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练，实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达，同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互，未来计划扩展到更多语言。

使用AI大模型一键生成高清故事短视频，支持多种语言模型和图像生成技术。

Story Flicks 是一个基于AI大模型的故事短视频生成工具。它通过结合先进的语言模型和图像生成技术，能够根据用户输入的故事主题快速生成包含AI生成图像、故事内容、音频和字幕的高清视频。该产品利用了当前流行的AI技术，如OpenAI、阿里云等平台的模型，为用户提供高效、便捷的内容创作方式。它主要面向需要快速生成视频内容的创作者、教育工作者和娱乐行业从业者，具有高效、低成本的特点，能够帮助用户节省大量时间和精力。

Anthropic API 的 Citations 功能，让 Claude 能够基于源文件生成引用详细的回答。

Anthropic API 的 Citations 功能是一种强大的技术，它允许 Claude 模型在生成回答时引用源文件中的确切句子和段落。这种功能不仅提高了回答的可验证性和可信度，还减少了模型可能出现的幻觉问题。Citations 功能基于 Anthropic API 提供，适用于需要验证 AI 生成内容来源的各种场景，如文档总结、复杂问答和客户支持等。其定价采用标准的基于 token 的定价模型，用户无需为返回引用文本的输出 token 付费。

基于RAG（Retrieval-Augmented Generation）技术的智能对话系统

RAG Web UI 是一个基于 RAG 技术的智能对话系统，它结合了文档检索和大型语言模型，能够为企业和个人提供基于知识库的智能问答服务。该系统采用前后端分离架构，支持多种文档格式（如 PDF、DOCX、Markdown、Text）的智能管理，包括自动分块和向量化处理。其对话引擎支持多轮对话和引用标注，能够提供精准的知识检索和生成服务。该系统还支持高性能向量数据库（如 ChromaDB、Qdrant）的灵活切换，具有良好的扩展性和性能优化。作为一种开源项目，它为开发者提供了丰富的技术实现和应用场景，适合用于构建企业级知识管理系统或智能客服平台。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。

MiniCPM-o 2.6是一个强大的多模态大型语言模型，适用于视觉、语音和多模态直播。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色，支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异，超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗，能够在iPad等终端设备上高效支持多模态直播。此外，MiniCPM-o 2.6易于使用，支持多种使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。

基于WebRTC的语音AI流应用，使用OpenAI实时API和WebRTC开发。

该项目是一个使用OpenAI实时API和WebRTC技术开发的WebRTC-based Voice AI stream application，以Next.js框架搭建，具备服务器端渲染和API路由功能，配合shadcn/ui开发的UI组件，支持实时音频对话，还加入了抽象WebRTC处理的hook，以及6个示例函数展示客户端工具与实时API结合使用。项目开源免费，主要面向开发者，可用于快速搭建具有语音AI功能的Web应用。

NVIDIA-Ingest是用于文档内容和元数据提取的微服务。

NVIDIA-Ingest是一个可扩展、高性能的文档内容和元数据提取微服务。它支持解析PDF、Word和PowerPoint文档，使用NVIDIA NIM微服务来查找、上下文化并提取文本、表格、图表和图像，可用于下游生成式应用。其主要优点包括高性能、可扩展性强、支持多种文档类型和提取方法等。目前处于早期访问阶段，代码库更新频繁。

智能文档处理框架，专为LLMs设计

ExtractThinker是一个灵活的文档智能框架，帮助用户从各种文档中提取和分类结构化数据，类似于文档处理工作流的ORM。它被称为“LLMs的文档智能”或“智能文档处理的LangChain”。该框架的动机是为文档处理创建所需的特定功能，如分割大型文档和高级分类。

构建您的AI驱动知识库

Nullity AI是一个AI驱动的知识库构建平台，允许用户从文档、音频、PDF和网站中创建内部和可共享的空间，并构建自己的搜索引擎。该产品通过整合多种媒介的信息，提供强大的搜索和索引功能，帮助用户有效管理和检索信息。产品背景信息显示，Nullity AI旨在通过AI技术革新信息管理与检索过程，其主要优点包括多模态数据处理、高精度的AI转录服务、以及对复杂动态网站的智能爬取能力。产品定位于需要高效知识管理和信息检索的企业或组织。

利用视觉语言模型将PDF解析为Markdown。

vision-parse是一个利用视觉语言模型（Vision LLMs）将PDF文档解析为格式化良好的Markdown内容的工具。它支持多种模型，包括OpenAI、LLama和Gemini等，能够智能识别和提取文本及表格，并保持文档的层级结构、样式和缩进。该工具的主要优点包括高精度的内容提取、格式保持、支持多模型以及本地模型托管，适用于需要高效文档处理的用户。

随时随地陪伴你的智能助手

理想同学是由理想汽车依托自研大模型精心打造的一款人工智能应用，旨在为用户提供一个随时在线的智能助手。它具备知识问答能力，能解答汽车、出行、财经、科技等领域的问题，并擅长英文词句翻译、文本生成等，助力用户学习生活。此外，它还具备视觉感知能力，可以陪伴用户和家庭一起看世界，识别外出游玩时遇到的各种事物。产品界面设计简洁大方，语音输入精准迅速，输出自然流畅，近似人声，是一款集知识问答、视觉识别和语音交互于一体的智能助手。

利用复合AI技术，将文档内联处理，跨越模态差距。

Document Inlining是Fireworks AI推出的一款复合AI系统，它能够将任何大型语言模型(LLM)转化为视觉模型，以处理图像或PDF文档。这项技术通过构建自动化流程，将任何数字资产格式转换为LLM兼容的格式，实现逻辑推理。Document Inlining通过解析图像和PDFs，直接将它们输入到用户选择的LLM中，提供更高的质量、输入灵活性和超简单的使用方式。它解决了传统LLM在处理非文本数据时的局限性，通过专业化的组件分解任务，提高了文本模型推理的质量，并且简化了开发者的使用体验。

用于微控制器（如ESP32）的实时API嵌入式SDK

openai-realtime-embedded-sdk是一个专为微控制器设计的SDK，允许开发者在如ESP32这样的微控制器上实现实时API功能。这个SDK的开发和测试主要在ESP32S3和Linux平台上进行，使得开发者无需物理硬件即可在Linux上直接使用。该SDK支持通过设置Wi-Fi SSID和密码以及OpenAI API密钥来配置设备，并能够构建和运行程序。它的重要性在于为微控制器提供了与强大API交互的能力，扩展了微控制器的应用范围，特别是在需要实时数据处理和决策的场景中。

在线AI校对工具，个人写作指南，快速完善文档。

Proofreading AI是一个在线AI校对工具，它利用先进的语言模型GPT-4/4o来校对文档，提供精确的结果。这个工具不仅可以纠正语法错误、拼写错误，还能检测抄袭、去除抄袭内容、检测AI生成文本、人性化AI文本、生成引用和改写文本。Proofreading AI的主要优点包括无缝上传文档、即时下载校正后的文档、以及提供多种写作辅助工具。它的背景信息显示，Proofreading AI提供了比传统校对工具更多的功能，并且价格相对实惠。