需求人群:
"目标受众为开发者和企业用户,特别是那些需要在应用中集成实时语音交互数字人功能的人。VideoChat通过提供端到端解决方案和高度定制化的选项,使得用户可以快速部署和使用数字人技术,满足个性化的交互需求。"
使用场景示例:
在线客服,提供24小时客户咨询服务
虚拟主播,用于新闻播报和娱乐节目
教育领域,作为虚拟教师进行教学辅助
产品特色:
支持端到端语音方案(GLM-4-Voice - THG)和级联方案(ASR-LLM-TTS-THG)
自定义数字人形象与音色,无需训练
支持音色克隆功能
首包延迟低至3秒
在线demo提供实时体验
技术选型包括ASR、LLM、MLLM、TTS和THG
提供本地部署指南和API-KEY配置
使用教程:
1. 克隆项目代码到本地:使用git clone命令克隆项目代码
2. 环境配置:根据项目要求配置Ubuntu系统、Python版本和CUDA版本
3. 安装依赖:使用pip install命令安装requirements.txt中的依赖
4. 下载权重文件:根据指南下载所需的权重文件
5. 配置API-KEY:如果需要使用API服务,按照指南配置API-KEY
6. 启动服务:运行python app.py启动服务
7. 使用自定义数字人:根据指南添加自定义数字人形象和音色
8. 测试和优化:运行服务后进行测试,并根据需要进行优化
浏览量:17
最新流量情况
月访问量
5.16m
平均访问时长
00:06:42
每次访问页数
5.81
跳出率
37.20%
流量来源
直接访问
52.27%
自然搜索
32.92%
邮件
0.05%
外链引荐
12.52%
社交媒体
2.15%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
11.99%
德国
3.63%
印度
9.20%
俄罗斯
5.25%
美国
19.02%
实时语音交互数字人,支持端到端语音方案
VideoChat是一个实时语音交互数字人项目,支持端到端语音方案(GLM-4-Voice - THG)和级联方案(ASR-LLM-TTS-THG)。用户可以自定义数字人的形象和音色,支持音色克隆,无需训练,首包延迟低至3秒。该项目利用了最新的人工智能技术,包括自动语音识别(ASR)、大型语言模型(LLM)、端到端多模态大型语言模型(MLLM)、文本到语音(TTS)和说话头生成(THG),为用户提供了一个高度定制化和低延迟的交互体验。
一键部署更智能的AI应用
Toolhouse是一个为AI应用提供高效动作和知识的一键部署平台,通过优化的云基础设施,减少推理时间,节省令牌使用,提供低延迟工具,并在边缘提供最佳延迟的服务。Toolhouse的SDK只需3行代码即可实现,与所有主要框架和LLMs兼容,为开发者节省数周的开发时间。
云原生企业虚拟化平台,低成本、自主完成元宇宙内容定义与发布。
MetaMaker是一个云原生企业虚拟化平台,它通过提供通用智能数字人、全栈虚拟化技术和云原生创作工具,帮助用户低成本、自主地完成元宇宙内容的定义与发布。该平台的主要优点包括千人千面的个性化数字人、AI驱动的三维重建技术、情感化播报以及在线创作等。MetaMaker的背景信息显示,它是由厦门黑镜科技有限公司开发的,旨在推动数字经济和文化发展,同时提供企业虚拟化转型的全方位解决方案。产品定位于帮助企业提升效率和创新能力,目前尚未提供具体价格信息。
轻量级图片数字人驱动算法,快速定制AI伙伴
MiniMates是一款轻量级的图片数字人驱动算法,能够在普通电脑上实时运行,支持语音驱动和表情驱动两种模式。它比市面上的liveportrait、EchoMimic、MuseTalk等算法快10-100倍,让用户能够通过极少的资源消耗定制自己的AI伙伴。该技术的主要优点包括极速体验、个性化定制以及嵌入终端的能力,摆脱了对Python和CUDA的依赖。MiniMates遵循MIT协议,适用于需要快速、高效的人脸动画和语音合成的应用场景。
超轻量级数字人模型,移动端实时运行
Ultralight-Digital-Human是一个超轻量级的数字人模型,可以在移动端实时运行。这个模型是开源的,据开发者所知,它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计,适合移动端部署,以及实时运行的能力。它的背后是深度学习技术,特别是在人脸合成和声音模拟方面的应用,这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的,主要面向技术爱好者和开发者。
开源数字人课程制作平台
easegen-admin是一个开源的数字人课程制作平台,旨在通过开源为AI发展做出贡献。该平台前端基于Vue3 + element-plus实现,后端基于ruoyi-vue-pro实现,智能课件基于文多多实现。它提供了课程制作页面、我的视频页面、智能课件页面以及智能出题页面,支持视频展示和智能出题,是一个综合性的教育技术产品。
将音频流转换为面部表情,实现实时唇形同步和面部表演。
Audio-to-Face 是 NVIDIA NIM 提供的一项技术,能够将音频流实时转换为面部表情,用于唇形同步和面部表演。这项技术主要应用于数字人领域,通过先进的机器学习算法,实现高度逼真的面部动作生成。它不仅能够提升数字人物的自然度和真实感,还能够在游戏、电影制作、虚拟现实等领域提供强大的支持。
数字人模型,支持生成普通话视频
JoyHallo是一个数字人模型,专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频,创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格,包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入,并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系,提高了信息利用效率,并加快了推理速度14.3%。此外,JoyHallo在生成英语视频方面也表现出色,展现了卓越的跨语言生成能力。
低延迟的实时语音交互API
Realtime API 是 OpenAI 推出的一款低延迟语音交互API,它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话,并可处理中断,类似于ChatGPT的高级语音模式。它通过WebSocket连接,支持功能调用,使得语音助手能够响应用户请求,触发动作或引入新上下文。该API的推出,意味着开发者不再需要组合多个模型来构建语音体验,而是可以通过单一API调用实现自然对话体验。
快速AI推理,为开源模型提供即时智能。
Groq是一家提供高性能AI芯片和云服务的公司,专注于为AI模型提供超低延迟的推理服务。其产品GroqCloud™自2024年2月推出以来,已经有超过467,000名开发者使用。Groq的AI芯片技术由Meta的首席AI科学家Yann LeCun提供技术支持,并且获得了BlackRock领投的6.4亿美元融资,公司估值达到28亿美元。Groq的技术优势在于其能够无缝地从其他提供商迁移到Groq,仅需更改三行代码,并且与OpenAI的端点兼容。Groq的AI芯片旨在挑战Nvidia在AI芯片市场的领导地位,为开发者和企业提供更快、更高效的AI推理解决方案。
低延迟、高质量的端到端语音交互模型
LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型,旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互,能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练,展示了其高效的训练能力。
打造有温度的数字人,注入灵魂。
awesome-digital-human-live2d 是一个开源项目,旨在创建具有交互性的数字人物模型。它支持Docker快速部署,集成了Dify服务,支持ASR、LLM、TTS、Agent等模块化扩展,并且可以控制Live2d人物模型。该项目通过模块化设计,简化了数字人的创建过程,使得开发者能够更专注于个性化和创新。
数字孪生视频对话平台
Tavus Conversational Video Interface (CVI) 是一个创新的视频对话平台,它通过数字孪生技术提供面对面的互动体验。该平台具备低延迟(少于一秒)的即时响应能力,结合先进的语音识别、视觉处理和对话意识,为用户提供丰富、自然的对话体验。平台易于部署和扩展,支持自定义LLM或TTS,适用于多种行业和场景。
全本地AI语音聊天工具,低延迟,高效率。
voicechat2是一个基于WebSocket的快速、完全本地化的AI语音聊天应用程序,使用户能够在本地环境中实现语音到语音的即时通讯。它利用了AMD RDNA3显卡和Faster Whisper技术,显著降低了语音通讯的延迟,提高了通讯效率。该产品适用于需要快速响应和实时通讯的开发者和技术人员。
实时交互流式数字人技术,实现音视频同步对话。
metahuman-stream是一个开源的实时交互数字人模型项目,它通过先进的技术实现数字人与用户的音视频同步对话,具有商业应用潜力。该项目支持多种数字人模型,包括ernerf、musetalk、wav2lip等,并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。
AIGC智能体数字人口播视频智创平台
元乙智创是浙江元乙智能科技有限公司推出的AIGC智能体数字人口播视频智创平台。该平台专注于数字人产品的落地与技术开发,提供一站式的数字人口播视频创作服务。通过前沿技术支撑,用户可以快速生成专属数字分身,实现文化传播、教育、电商、文旅等多个领域的应用。平台的核心优势在于高仿真、高效率的克隆形体、语音和姿态,支持多语种、多格式、多分辨率和API集成,满足不同行业的需求。
多语种语音理解模型,提供高精度语音识别与情感识别。
SenseVoice是一个包含自动语音识别(ASR)、语音语言识别(LID)、语音情感识别(SER)和音频事件检测(AED)等多语音理解能力的语音基础模型。它专注于高精度多语种语音识别、语音情感识别和音频事件检测,支持超过50种语言,识别性能超越Whisper模型。模型采用非自回归端到端框架,推理延迟极低,是实时语音处理的理想选择。
智能卖货主播大模型,提升销售效率,增强购物体验。
Streamer-Sales 销冠是一个基于大语言模型的智能卖货主播系统,它能够根据商品特点从激发用户购买意愿的角度出发进行商品解说。该模型在 InternLM2 的基础上通过指令微调而来,集成了 LMDeploy 加速推理,支持 ASR 语音生成文字,RAG 检索增强生成,Agent 网络查询等功能,并通过 TTS 技术生成带有感情的语音,最终生成主播数字人视频,为商品解说提供全方位的技术支持。
AI数字人智能交互平台
DUIX是一个开源的AI数字人智能交互平台,由硅基智能打造。它允许开发者接入多种大模型和语音能力,实现数字人实时交互,并支持在Android和iOS多终端一键部署。DUIX适用于多种场景,包括地铁、银行、政务等,具有低成本快速部署、小网络依赖和功能多样化的特点。
低延迟语音模型,生成逼真语音
Sonic是由Carteisa团队开发的低延迟语音模型,旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构,以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒,是同类模型中最快的。Carteisa团队专注于优化智能的效率,使它更快、更便宜、更易于访问。Sonic模型的发布,标志着实时对话式AI和长期记忆的计算平台的初步进展,预示着未来AI在实时游戏、客户支持等领域的新体验。
提供虚拟数字人定制、AI 短视频内容生产和数字人直播的智能化 IP 打造平台。
风平 IP 智造平台是基于 AIGC 的智能化 IP 打造平台,致力于提供虚拟数字人定制、AI 短视频内容生产和数字人直播的一站式解决方案。通过结合领先的 AI 技术,平台实现了数字人的高质量生产和互动能力,为用户打造全新的数字人 IP 体验。
AI 数字人视频创作平台
蝉镜是一个在线数字人视频创作平台,利用 AI 简化视频创作过程,提供 AI 数字人播报、短视频制作、分身定制等服务。广告营销、跨境电商、短视频口播等领域的用户可以在此提升创作效率、降低成本。
基于AI技术的数字人虚拟形象,面向多场景应用
百度智能云曦灵是一款基于领先的数字人和人工智能技术的产品,可面向视频、直播、交互等全场景应用。它利用AI算法赋予数字人逼真的动作表情,能生成高质量视频内容,提供自然的对话交互体验。主要功能包括一键直播、一句话生成视频、配置数字人智能体等。产品优势在于开播效率高、投资回报率高、无需专业团队即可使用。定位为面向企业客户提供数字人和AI内容智能化升级服务。
基于Carrot AI大模型的智能体交互平台
Gnomic智能体平台基于汇智智能自主研发的Carrot AI大模型和专利的"数字生命"技术,致力于提供最先进的人工智能交互体验。面向企业、协会、组织等各类型B端用户,提供深度定制化的智能体解决方案。该平台的Carrot AI大模型能够轻松实现爆款文案、信息检索、创意绘图等功能,帮助用户告别昂贵的学习成本,高效提升学习和工作效率。
基于AI驱动的数字人生成平台
DreamAvatar是一个基于人工智能技术的数字人生成平台,能够通过简单的文本描述或素材上传快速生成高质量的数字人形象,还支持自定义调整数字人的各种特征。该平台具有操作简单、生成效果逼真的优势,可以广泛应用于数字营销、虚拟主播、直播电商、游戏、动画等领域,为客户提供精准的数字人服务。
© 2024 AIbase 备案号:闽ICP备08105208号-14