无需对象模板的人体与物体交互跟踪技术
InterTrack 是一种先进的跟踪技术,能够在单目RGB视频中跟踪人体与物体的交互,即使在遮挡和动态运动下也能保持跟踪的连贯性。该技术无需使用任何对象模板,仅通过合成数据训练即可在真实世界视频中实现良好的泛化。InterTrack 通过分解4D跟踪问题为每帧的姿态跟踪和规范形状优化,显著提高了跟踪的准确性和效率。
智能伴侣,让游戏和工作更有趣。
Aurore.ai是一个智能伴侣应用程序,旨在通过聊天、策略讨论和陪伴,提升用户的游戏体验和工作效率。它利用最新的人工智能技术,提供实时的听觉和视觉交互,以及个性化的定制体验。Aurore.ai与ChatADy.com合作,允许用户通过与Aurore互动来重新充值余额。
实时交互流式数字人技术,实现音视频同步对话。
metahuman-stream是一个开源的实时交互数字人模型项目,它通过先进的技术实现数字人与用户的音视频同步对话,具有商业应用潜力。该项目支持多种数字人模型,包括ernerf、musetalk、wav2lip等,并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。
构建个性化AI代理的开源平台
Scoopika是一个开源的开发者平台,旨在帮助开发者构建能够看、说、听、学习并采取行动的个性化AI代理。它为AI时代提供了一个安全、高效且易于使用的平台,支持全边缘兼容性和实时流媒体,内置视觉和语音聊天功能。Scoopika强调了其开放源代码的特性,提供了服务器端和客户端的运行库,以及React项目中的集成模块,拥有一个不断增长的开发者社区。
让应用通过语音与文本的转换实现智能交互。
Azure 认知服务语音是微软推出的一款语音识别与合成服务,支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型,提高听录的准确度。此外,该服务还支持实时语音转文本、语音翻译、文本转语音等功能,适用于多种商业场景,如字幕生成、通话后听录分析、视频翻译等。
低延迟语音模型,生成逼真语音
Sonic是由Carteisa团队开发的低延迟语音模型,旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构,以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒,是同类模型中最快的。Carteisa团队专注于优化智能的效率,使它更快、更便宜、更易于访问。Sonic模型的发布,标志着实时对话式AI和长期记忆的计算平台的初步进展,预示着未来AI在实时游戏、客户支持等领域的新体验。
基于大型多模态模型构建端到端网络代理
WebVoyager是一款创新的大型多模态模型(LMM)驱动的网络代理,能够通过与现实世界的网站交互,端到端完成用户指令。我们提出了一种新的网络代理评估协议,以解决开放式网络代理任务的自动评估挑战,利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务,用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率,明显超过了GPT-4(所有工具)和WebVoyager(仅文本)设置的性能,突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性,为在真实世界环境中进一步发展网络代理铺平了道路。
© 2024 AIbase 备案号:闽ICP备08105208号-14