通过AI驱动的虚拟形象，实现情感智能的实时交互体验。
Rapport AI-Driven Avatars 是一个基于AI技术的虚拟形象平台，专注于创建、动画化和部署具有情感智能的交互式虚拟角色。该平台支持多语言实时交互，适用于各种设备和平台。其核心技术包括实时音频驱动的面部动画和精准的唇部同步，通过与 Speech Graphics 的合作，提供卓越的视觉效果。该产品主要面向教育、企业培训、娱乐和营销等领域，旨在通过沉浸式体验提升用户参与度和学习效果。平台提供免费的探索者层级和付费的创作者层级，后者支持更多高级功能和定制化选项。
一个基于音频驱动的实时2D聊天头像生成模型，可在仅使用CPU的设备上实现30fps的实时推理。
LiteAvatar是一个音频驱动的实时2D头像生成模型，主要用于实时聊天场景。该模型通过高效的语音识别和嘴型参数预测技术，结合轻量级的2D人脸生成模型，能够在仅使用CPU的设备上实现30fps的实时推理。其主要优点包括高效的音频特征提取、轻量级的模型设计以及对移动设备的友好支持。该技术适用于需要实时交互的虚拟头像生成场景，如在线会议、虚拟直播等，背景基于对实时交互和低硬件要求的需求而开发，目前开源免费，定位为高效、低资源消耗的实时头像生成解决方案。
提供实时AI语音生成和AI客服代理服务，助力企业提升客户体验。
Smallest AI 是一家专注于提供实时 AI 服务的公司，旗下 Waves 和 Atoms 产品分别专注于生成高质量的 AI 语音和提供实时 AI 客服代理。Waves 能够实时生成任何口音、语言或情感的 AI 语音，适用于需要个性化语音交互的场景；Atoms 则通过 AI 与客户进行电话沟通，减轻企业客服负担。该技术的重要性在于能够帮助企业提升客户体验，同时降低人力成本。其定位是为企业提供高效、个性化的 AI 解决方案，具体价格未在页面中明确提及，但根据其服务性质推测可能为付费模式。
Zonos-v0.1 是一款具有高保真语音克隆功能的实时文本转语音（TTS）模型。
Zonos-v0.1 是 Zyphra 团队开发的实时文本转语音（TTS）模型，具备高保真语音克隆功能。该模型包含一个 1.6B 参数的 Transformer 模型和一个 1.6B 参数的混合模型（Hybrid），均在 Apache 2.0 开源许可下发布。它能够根据文本提示生成自然、富有表现力的语音，并支持多种语言。此外，Zonos-v0.1 还可以通过 5 到 30 秒的语音片段实现高质量的语音克隆，并且可以根据说话速度、音调、音质和情绪等条件进行调整。其主要优点是生成质量高、支持实时交互，并且提供了灵活的语音控制功能。该模型的发布旨在推动 TTS 技术的研究和发展。
VITA-1.5: 实时视觉和语音交互的GPT-4o级多模态大语言模型
VITA-1.5 是一款开源的多模态大语言模型，旨在实现接近实时的视觉和语音交互。它通过显著降低交互延迟和提升多模态性能，为用户提供更流畅的交互体验。该模型支持英语和中文，适用于多种应用场景，如图像识别、语音识别和自然语言处理等。其主要优点包括高效的语音处理能力和强大的多模态理解能力。
开创性的实时、帧级控制的逼真世界模拟技术
The Matrix是一个先锋项目，旨在通过AI技术打造一个全沉浸式、交互式的数字宇宙，模糊现实与幻觉之间的界限。该项目通过提供帧级精度的用户交互、AAA级视觉效果以及无限的生成能力，突破了现有视频模型的局限，为用户带来无尽的探索体验。The Matrix由阿里巴巴集团、香港大学、滑铁卢大学和Vector Institute共同研发，代表了世界模拟技术的新高度。
首款实时生成式AI开放世界模型
Decart是一个高效的AI平台，提供了在训练和推理大型生成模型方面的数量级改进。利用这些先进的能力，Decart能够训练基础的生成交互模型，并使每个人都能在实时中访问。Decart的OASIS模型是一个实时生成的AI开放世界模型，代表了实时视频生成的未来。该平台还提供了对1000+ NVIDIA H100 Tensor Core GPU集群进行训练或推理的能力，为AI视频生成领域带来了突破性进展。
构建可实时互动的AI角色
Character SDK是一个能够创建AI角色的平台，这些角色可以实时听、说、看，甚至采取行动。它通过实时语音和视觉识别、高级OCR处理、多语言交流、自适应推理和基于意图的任务自动化等技术，帮助企业提高效率，减少成本，并提供个性化的用户体验。
无需对象模板的人体与物体交互跟踪技术
InterTrack 是一种先进的跟踪技术，能够在单目RGB视频中跟踪人体与物体的交互，即使在遮挡和动态运动下也能保持跟踪的连贯性。该技术无需使用任何对象模板，仅通过合成数据训练即可在真实世界视频中实现良好的泛化。InterTrack 通过分解4D跟踪问题为每帧的姿态跟踪和规范形状优化，显著提高了跟踪的准确性和效率。
智能伴侣，让游戏和工作更有趣。
Aurore.ai是一个智能伴侣应用程序，旨在通过聊天、策略讨论和陪伴，提升用户的游戏体验和工作效率。它利用最新的人工智能技术，提供实时的听觉和视觉交互，以及个性化的定制体验。Aurore.ai与ChatADy.com合作，允许用户通过与Aurore互动来重新充值余额。
实时交互流式数字人技术，实现音视频同步对话。
metahuman-stream是一个开源的实时交互数字人模型项目，它通过先进的技术实现数字人与用户的音视频同步对话，具有商业应用潜力。该项目支持多种数字人模型，包括ernerf、musetalk、wav2lip等，并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。
构建个性化AI代理的开源平台
Scoopika是一个开源的开发者平台，旨在帮助开发者构建能够看、说、听、学习并采取行动的个性化AI代理。它为AI时代提供了一个安全、高效且易于使用的平台，支持全边缘兼容性和实时流媒体，内置视觉和语音聊天功能。Scoopika强调了其开放源代码的特性，提供了服务器端和客户端的运行库，以及React项目中的集成模块，拥有一个不断增长的开发者社区。
让应用通过语音与文本的转换实现智能交互。
Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。
低延迟语音模型，生成逼真语音
Sonic是由Carteisa团队开发的低延迟语音模型，旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构，以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒，是同类模型中最快的。Carteisa团队专注于优化智能的效率，使它更快、更便宜、更易于访问。Sonic模型的发布，标志着实时对话式AI和长期记忆的计算平台的初步进展，预示着未来AI在实时游戏、客户支持等领域的新体验。
基于大型多模态模型构建端到端网络代理
WebVoyager是一款创新的大型多模态模型（LMM）驱动的网络代理，能够通过与现实世界的网站交互，端到端完成用户指令。我们提出了一种新的网络代理评估协议，以解决开放式网络代理任务的自动评估挑战，利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务，用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率，明显超过了GPT-4（所有工具）和WebVoyager（仅文本）设置的性能，突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性，为在真实世界环境中进一步发展网络代理铺平了道路。
© 2025 AIbase 备案号：闽ICP备08105208号-14