ViduS1 API

ViduS1 API

Vidu S1是用于实时交互式数字人的流式视频生成模型。与离线渲染的文本到视频模型不同,它能在对话过程中实时生成视频,让角色与用户进行准实时互动。该模型的主要优点包括支持无限时长的交互、准实时响应、多模态感知、高分辨率输出等。产品定位为商业级,可广泛应用于社交、电商、游戏和教育等领域。新用户可获得1000个免费试用积分,没有SDK锁定。

需求人群:

["开发者:Vidu S1 API提供了简单的开发工作流程,通过HTTP、AliRTC和WebSocket三个通道进行会话管理、音视频传输和控制信令,开发者可以在几天内开发出生产级的数字人应用,而无需花费数月时间。", "电商从业者:在直播电商中,数字人可以作为主播与观众进行实时互动,介绍商品、回答问题,支持无限时长的交互,且能根据观众的表情和情绪做出回应,提高观众的参与度和购买意愿。", "教育机构:数字人可以作为虚拟教师,与学生进行实时互动,提供个性化的学习指导。支持多语言和多种语音,能够满足不同地区和学生的需求,为教育教学带来新的体验。", "社交平台运营者:数字人可以作为社交陪伴者,与用户进行聊天、玩游戏等互动。具备多模态感知能力,能够识别用户的情绪和表情,提供更加个性化的陪伴服务,增加用户的粘性和活跃度。"]

使用场景示例:

在直播电商中,使用Vidu S1 API创建数字主播,与观众进行实时互动,介绍商品、解答疑问,提高销售转化率。

在教育场景中,构建虚拟教师数字人,为学生提供个性化的学习辅导,支持多语言交流,满足不同地区学生的需求。

在社交平台上,开发AI陪伴角色,与用户进行情感交流、玩游戏等互动,增加用户的粘性和活跃度。

产品特色:

支持流式视频生成:Vidu S1 API能够实时生成视频,在用户与数字人进行对话的过程中,数字人可以准实时地看到、听到用户的输入,并以带有表情、声音和个性的方式进行回应,实现真正的双向语音和视频对话。

具备多模态感知能力:该模型支持语音、文本和视频输入,能够在一个会话中综合处理多种信息。数字人可以准确识别用户的外貌、表情和情绪状态,从而提供更加个性化和自然的交互体验。

提供丰富的语音选项:Vidu S1 API拥有50种预设语音,从温暖的声音到富有 cinematic 效果的声音,满足不同场景和角色的需求。同时,每种语音都支持28种语言,方便进行跨语言交流。

支持无限时长的交互:这是世界上首个支持无限长度交互的生成式视频技术,能够从1分钟到2小时连续生成视频,且不会出现质量下降的情况。无论是短时间的交流还是长时间的陪伴,都能保证高质量的交互体验。

可定义个性化角色:用户可以定义任何初始角色,包括真实人类、动漫角色或可爱宠物等。同时,数字人具备短期记忆能力,能够使对话保持个性化、一致性和温暖感,让用户感受到更加真实和亲切的交互。

实现高分辨率输出:Vidu S1 API能够生成高质量的实时交互式视频,适用于面向消费者的产品,如社交、电商、游戏和教育等领域。其高分辨率的输出能够满足不同场景的需求,为用户带来更好的视觉体验。

使用教程:

创建会话:通过POST请求调用API,提供角色的人设、头像图片和语音等信息,获取会话ID和RTC凭证。请求地址为 https://api.vidu.com/live/v1/lives ,并在请求头中设置授权令牌。

加入RTC通道:使用返回的令牌加入AliRTC通道,在视频模式下发布用户的麦克风和摄像头数据,同时订阅数字人的流。

打开WebSocket连接:连接持久控制通道,在查询字符串中进行身份验证。由于浏览器无法在WebSocket上设置自定义头,因此需将授权信息放在查询字符串中。

等待就绪:当收到成功确认消息时,表示数字人已上线。在视频模式下,出现“NOT READY”是正常现象,可使用指数退避策略进行重连。

保持会话活跃:服务器每5秒发送一次心跳包,用户需在15秒内进行响应。同时,要监听强制断开连接的消息,并处理每个挂断原因。

挂断并查询计费:发送挂断消息,关闭WebSocket连接,离开RTC通道,然后查询最终状态和计费秒数。

浏览量:1

打开站点

类似产品

© 2026     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图