Phantom 是一款基于跨模态对齐的主体一致性视频生成模型。
Phantom 是一种先进的视频生成技术,通过跨模态对齐实现主体一致性视频生成。它能够根据单张或多张参考图像生成生动的视频内容,同时严格保留主体的身份特征。该技术在内容创作、虚拟现实和广告等领域具有重要应用价值,能够为创作者提供高效且富有创意的视频生成解决方案。Phantom 的主要优点包括高度的主体一致性、丰富的视频细节以及强大的多模态交互能力。
为视频提供高精度字幕的AI工具,支持多种语言和格式。
Captioner是一个专注于视频字幕生成的AI工具,基于OpenAI的Whisper模型优化,能够为视频提供高精度的字幕。它支持98种以上语言,能够处理长达3小时的视频,并提供无缝的字幕编辑体验。该工具的主要优点包括高精度转录、精确的时间戳对齐、支持多种字幕格式(如SRT、VTT)以及无缝的字幕编辑功能。其背景是为内容创作者提供高效、低成本的字幕解决方案,帮助他们节省时间并提升内容质量。提供两种付费计划:$10/月(年付)和$20/月(月付),并提供60分钟的免费试用。
高效的文本到音频生成模型
TangoFlux是一个高效的文本到音频(TTA)生成模型,拥有515M参数,能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架,解决了TTA模型对齐的挑战,通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能,并且所有代码和模型均开源,以支持TTA生成的进一步研究。
视频到音频生成模型
vta-ldm是一个专注于视频到音频生成的深度学习模型,能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破,特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发,具有生成与视频内容高度一致的音频的能力,对于视频制作、音频后期处理等领域具有重要的应用价值。
探索大型语言模型的偏好和价值观对齐。
prism-alignment 是一个由 HannahRoseKirk 创建的数据集,专注于研究大型语言模型(LLMs)的偏好和价值观对齐问题。数据集通过调查问卷和与语言模型的多轮对话,收集了来自不同国家和文化背景的参与者对模型回答的评分和反馈。这些数据对于理解和改进人工智能的价值观对齐至关重要。
一种自监督的视听特征对齐模型。
DenseAV是一种新颖的双编码器定位架构,通过观看视频学习高分辨率、语义有意义的视听对齐特征。它能够无需明确定位监督即可发现单词的“意义”和声音的“位置”,并且自动发现并区分这两种关联类型。DenseAV的定位能力来自于一种新的多头特征聚合操作符,它直接比较密集的图像和音频表示进行对比学习。此外,DenseAV在语义分割任务上显著超越了先前的艺术水平,并且在使用参数少于一半的情况下,在跨模态检索上超越了ImageBind。
通过LLM增强语义对齐的扩散模型适配器
ELLA(Efficient Large Language Model Adapter)是一种轻量级方法,可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力,使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器,从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征,有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越,尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。
视听源分离系统
PixelPlayer是一个能够通过观看大量无标注视频学会定位产生声音的图像区域并分离输入声音成一组表示每个像素声音的组件的系统。我们的方法利用视觉和听觉双模态的自然同步特点,在不需要额外人工标注的情况下学习联合解析声音和图像的模型。该系统使用大量包含不同乐器组合独奏和二重奏演奏的训练视频进行训练。对每个视频没有提供出现了哪些乐器、它们在哪里以及它们是什么声音的监督。在测试阶段,系统的输入是一个展示不同乐器演奏的视频和单声道听觉输入。系统执行音频视觉源分离和定位,将输入声音信号分离成N个声音通道,每个通道对应不同的乐器类别。此外,系统可以定位声音并为输入视频中的每个像素分配不同的音频波形。
Qwen1.5 - 开源的基础和聊天模型,支持多种规模,优化开发者体验。
Qwen1.5是Qwen系列的下一个版本,提供了基础和聊天模型的开源版本,覆盖了0.5B到72B的多个规模。支持多语言,长上下文,对齐人类偏好,并在基本能力、聊天性能、多语言理解等方面取得显著进展。
定制化视频主体交换
VideoSwap是一款视频编辑工具,可以将用户定制的概念交换到视频中,同时保留背景。通过语义点轨迹对齐和形状修改,实现视频主体的定制化交换。相较于传统方法,VideoSwap利用语义点对齐,可以在不同形状的交换中取得更好的效果。用户可以通过设置语义点和交互式拖拽等方式,实现更精细的视频交换效果。VideoSwap适用于多种场景,包括但不限于影视制作、广告制作、个人视频创作等。定价方面,VideoSwap提供免费试用和付费套餐,用户可以根据需求选择不同的套餐。
3D世界中的全能代理人
LEO是一个基于大型语言模型的多模态、多任务全能代理人,能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现:(i)3D视觉语言对齐和(ii)3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集,需要对3D世界进行深入的理解和交互。通过严格的实验,我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。
© 2025 AIbase 备案号:闽ICP备08105208号-14