产品库

通过音频生成充满表情的肖像视频

阿里巴巴的EMO: 是一款生成具有表情丰富的面部表情视频的工具，可以根据输入的角色图像和声音音频生成各种头部姿势和表情的声音头像视频。支持多语言歌曲和各种肖像风格，能够根据音频节奏生成动态、表现丰富的动画角色。

音频驱动的表情丰富的视频生成模型

MEMO是一个先进的开放权重模型，用于音频驱动的说话视频生成。该模型通过记忆引导的时间模块和情感感知的音频模块，增强了长期身份一致性和运动平滑性，同时通过检测音频中的情感来细化面部表情，生成身份一致且富有表情的说话视频。MEMO的主要优点包括更真实的视频生成、更好的音频-唇形同步、身份一致性和表情情感对齐。该技术背景信息显示，MEMO在多种图像和音频类型中生成更真实的说话视频，超越了现有的最先进方法。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

通过表情丰富的掩蔽音频手势建模实现整体共话手势生成

EMAGE是一种统一的整体共话手势生成模型,通过表情丰富的掩蔽音频手势建模来生成自然的手势动作。它可以从音频输入中捕捉语音和韵律信息,并生成相应的身体姿势和手势动作序列。EMAGE能够生成高度动态和表现力丰富的手势,从而增强虚拟人物的互动体验。

Loopy，仅凭音频驱动肖像头像，实现逼真动态。

Loopy是一个端到端的音频驱动视频扩散模型，专门设计了跨剪辑和内部剪辑的时间模块以及音频到潜在表示模块，使模型能够利用数据中的长期运动信息来学习自然运动模式，并提高音频与肖像运动的相关性。这种方法消除了现有方法中手动指定的空间运动模板的需求，实现了在各种场景下更逼真、高质量的结果。

将静态肖像和输入音频转化为生动的动画对话视频

AniTalker是一个创新的框架，它能够从单一的肖像生成逼真的对话面部动画。它通过两个自监督学习策略增强了动作表现力，同时通过度量学习开发了一个身份编码器，有效减少了对标记数据的需求。AniTalker不仅能够创建详细且逼真的面部动作，还强调了其在现实世界应用中制作动态头像的潜力。

文字转表情，让你的文字更丰富

Usemoji是一个文字转表情的工具，可以让你的文字更加丰富有趣。它提供了丰富的表情选项，让你的文字更生动形象。无论是在聊天、社交媒体还是其他场景，Usemoji都能为你的文字增添一份活力。Usemoji的使用非常简单，只需输入文字即可自动转换为相应的表情。无论你是在写作、聊天还是其他场景中使用，Usemoji都能让你的文字更加生动有趣。

表情包生成器

SDXL表情包生成器是一款基于Apple表情包的Fine-tune模型，可以根据输入的图片生成表情包。用户可以通过上传图片、选择输出图片的大小和数量、选择不同的refine style等参数来生成自己想要的表情包。该产品的优势在于生成速度快、效果好、操作简单，适用于需要大量表情包的用户。定价方面，该产品提供免费试用版和付费版，付费版价格根据使用情况而定。

2D肖像视频转4D高斯场编辑工具

PortraitGen是一个基于多模态生成先验的2D肖像视频编辑工具，能够将2D肖像视频提升到4D高斯场，实现多模态肖像编辑。该技术通过追踪SMPL-X系数和使用神经高斯纹理机制，可以快速生成3D肖像并进行编辑。它还提出了一种迭代数据集更新策略和多模态人脸感知编辑模块，以提高表情质量和保持个性化面部结构。

视频到音乐生成框架，实现音视频内容的语义对齐和节奏同步。

MuVi是一个创新的框架，它通过分析视频内容提取与上下文和时间相关的特征，生成与视频情绪、主题、节奏和节奏相匹配的音乐。该框架引入了对比性音乐-视觉预训练方案，确保音乐短语的周期性同步，并展示了基于流匹配的音乐生成器具有上下文学习能力，允许控制生成音乐的风格和类型。MuVi在音频质量和时间同步方面展现出优越的性能，为音视频内容的融合和沉浸式体验提供了新的解决方案。

音频采样器，创造音乐节奏

ComfyUI-StableAudioSampler 是一款集成在 ComfyUI 节点中的音频采样器插件，它允许用户生成音频并输出原始字节和采样率，支持所有原始 Stable Audio Open 参数，并可以保存音频到文件。这个插件是开源的，并且正在积极开发中，旨在为音乐制作者提供一个易于使用且功能强大的工具。

音频驱动的视频编辑，实现高质量唇形同步

VideoReTalking是一个新的系统，可以根据输入的音频编辑真实世界的说话头部视频的面部，产生高质量的唇形同步输出视频，即使情感不同。该系统将此目标分解为三个连续的任务：（1）使用表情编辑网络生成带有规范表情的面部视频；（2）音频驱动的唇形同步；（3）用于提高照片逼真度的面部增强。给定一个说话头部视频，我们首先使用表情编辑网络根据相同的表情模板修改每个帧的表情，从而得到具有规范表情的视频。然后将该视频与给定的音频一起输入到唇形同步网络中，生成唇形同步视频。最后，我们通过一个身份感知的面部增强网络和后处理来提高合成面部的照片逼真度。我们对所有三个步骤使用基于学习的方法，所有模块都可以在顺序管道中处理，无需任何用户干预。

肖像大师中文版comfyui-portrait-master

肖像大师是一个人物肖像提示词生成插件，可优化肖像生成，选择永远比填空更适合人类！它可以根据用户的需求，生成各种肖像的提示词，包括镜头类型、性别、国籍、面部表情、发型等参数。用户可以根据自己的需要自定义增加内容，例如发型、表情等。肖像大师支持多种工作流，适用于各种场景，如视频制作、设计等。

快速、准确、免费的音频转文字服务

AIbase音频提取文字工具利用人工智能技术，通过机器学习模型快速生成高质量的音频文本描述，优化文本排版，提升可读性，同时完全免费使用，无需安装、下载或付款，为创意人员提供便捷的基础服务。

视频和音频通信平台

Trivoh是一个基于人工智能驱动的视频和音频通信平台，通过自动化提升用户参与度，为您的团队提供全面的协作和通信解决方案，提高整体生产力和效率。Trivoh提供虚拟会议、聊天系统和易于插件等功能，支持多种使用场景。价格根据定制需求而定。

视频到音频生成模型

vta-ldm是一个专注于视频到音频生成的深度学习模型，能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破，特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发，具有生成与视频内容高度一致的音频的能力，对于视频制作、音频后期处理等领域具有重要的应用价值。

生成会说话、唱歌的动态视频

AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。

将您想阅读的文章转化为丰富的音频摘要

Recast是一个插件，可以将您想阅读的文章转化为丰富的音频摘要。它使用机器学习技术将文章进行自动摘要和语音合成，让您可以通过听音频的方式轻松消化大量的文章内容。Recast还提供了多种定价选项，适合不同需求和预算。无论您是在工作中需要阅读大量的资料，还是在休闲时间想要了解最新的新闻和文章，Recast都能帮助您节省时间，提高阅读效率。

视频音频全流程再利用

GlossAi是一款全流程视频和音频内容再利用工具，可将长篇内容转化为适用于各种社交媒体平台的短视频片段，提高用户参与度，降低成本，节省时间。同时，它还能生成多渠道的数字和有机营销活动。

音频转文字及视频字幕服务

Happy Scribe 提供自动和人工转录服务，将音频转换为文本，准确率达到 85-99%，支持 120 多种语言和 45 多种格式。定位于为用户提供高效的音视频转录及字幕服务。

一键将视频和音频转化为各种风格的文档。

AI 视频图文创作助手是一个开源工具，旨在将视频和音频内容转化为多种格式的文档，帮助用户进行二次阅读和思考。该产品的主要优势在于其完全开源、无需注册，用户可以在本地处理音视频文件，降低了使用成本。它非常适合需要将视听内容转化为文本的学生、研究人员和内容创作者。

实时AI代理，将音频视频直接集成至视频会议。

Recall.ai Output Media是一个创新的AI技术，它允许用户将任何基于Web的AI应用实时集成到视频会议中。这项技术通过渲染超低延迟的音频和视频，并通过机器人将其流式传输到视频会议中，极大地扩展了AI在会议场景中的应用。Recall.ai的这项技术不仅提高了会议的互动性，还为各种行业提供了构建实时、互动AI代理的可能性，如销售代理、教练、招聘人员、项目经理等。

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

生成逼真的AI肖像

PhotoStudio是一款利用人工智能生成逼真肖像的应用。用户可以使用PhotoStudio来生成逼真的AI肖像。该应用提供了30个AI肖像的内购选项，定价为26.99美元。PhotoStudio支持多种语言，适用于iOS 14.0及更高版本的iPhone和iPod touch。

AI驱动的视频和音频转录工具

AudioTranscription是一款使用人工智能技术进行音频和视频文件转录的工具。它提供快速、安全、准确的转录服务。用户可以通过上传文件或输入音频链接来进行转录。该产品的优势在于转录速度快、准确度高，并且能够处理非母语口音。它还能够识别并标点符号，包括在句子中间改变思路的省略号。AudioTranscription.ai比其他工具更快速地生成转录，并且表现更好。定价方面，用户可以免费获得100分钟的转录服务。

转录任何语音、音频、视频到文字

Voicetapp是一个强大的基于云端的人工智能软件，通过最新的语音识别技术，帮助您将任何语音、音频和视频自动转换为文字。具备高达99%的准确度。支持170种语言和方言。具备演讲者识别、实时转录、多种音频输入格式等功能。提供不同的定价计划。

AI Shots | 生成专业肖像照片

AI Shots是一种现代化服务，利用先进的人工智能技术轻松创建令人惊叹的专业肖像照片。通过上传自拍照片并使用AI Shots的神奇功能，您可以在短短60分钟内获得100张4K分辨率的专业肖像照片。AI Shots提供多种风格、拍摄地点和服装供您选择，让您的肖像照片个性化定制。

DIY个性化表情包，创造独特的表情

Emoji Studio是一款能够释放创造力的表情包制作应用。用户可以DIY个性化的表情包，创造独特的表情，分割表情元素，组合生成高清大图和小图。应用内置了大量的表情包贴纸，支持自由切换不同的表情风格，自由组合表情，自定义贴纸、滤镜、涂鸦和文字等。Emoji Studio让用户能够通过自己的表情来表达个性和情感。

利用多指令视频到音频合成技术

Draw an Audio是一个创新的视频到音频合成技术，它通过多指令控制，能够根据视频内容生成高质量的同步音频。这项技术不仅提升了音频生成的可控性和灵活性，还能够在多阶段产生混合音频，展现出更广泛的实际应用潜力。