简介:

统一文本、音乐和动作生成模型

功能:

支持文本、音乐和动作数据的输入条件,生成跨模态的输出。

通过节奏模式对未配对的音乐和动作数据进行对齐,利用现有的大规模音乐和动作数据集。

采用统一的编码器-解码器转换器架构,将音乐、动作和文本桥接。

提出了音乐运动并行生成方案,将所有音乐和动作生成任务统一到单一的转换器解码器架构中。

通过微调现有的预训练单模态模型来设计模型,显著降低了计算需求。

在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。

需求人群:

"目标受众包括音乐制作人、舞蹈编导、视频游戏开发者、虚拟现实内容创作者和任何需要生成或同步音乐、文本和动作数据的专业人士。UniMuMo能够提供跨模态的创作工具,帮助他们更高效地创作和实现创意。"

浏览量:24

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图