一种用于图像和视频的视觉分割基础模型。
Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型,它通过简单的变换器架构和流式内存设计,实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎,收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练,提供了在广泛任务和视觉领域中的强大性能。
多语种语音理解模型,提供高精度语音识别与情感识别。
SenseVoice是一个包含自动语音识别(ASR)、语音语言识别(LID)、语音情感识别(SER)和音频事件检测(AED)等多语音理解能力的语音基础模型。它专注于高精度多语种语音识别、语音情感识别和音频事件检测,支持超过50种语言,识别性能超越Whisper模型。模型采用非自回归端到端框架,推理延迟极低,是实时语音处理的理想选择。
实时数据提取和检索框架
Indexify是一个开源数据框架,具有实时提取引擎和预构建的提取适配器,能够可靠地从各种非结构化数据(文档、演示文稿、视频和音频)中提取数据。它支持多模态数据,提供先进的嵌入和分块技术,并允许用户使用Indexify SDK创建自定义提取器。Indexify支持使用语义搜索和SQL查询图像、视频和PDF,确保LLM应用能够获取最准确、最新的数据。此外,Indexify能够在本地运行时进行原型设计,并在生产环境中利用预配置的Kubernetes部署模板,实现自动扩展和处理大量数据。
实时视频生成技术
PAB 是一种用于实时视频生成的技术,通过 Pyramid Attention Broadcast 实现视频生成过程的加速,提供了高效的视频生成解决方案。该技术的主要优点包括实时性、高效性和质量保障。PAB 适用于需要实时视频生成能力的应用场景,为视频生成领域带来了重大突破。
实时视频到视频翻译的扩散模型
StreamV2V是一个扩散模型,它通过用户提示实现了实时的视频到视频(V2V)翻译。与传统的批处理方法不同,StreamV2V采用流式处理方式,能够处理无限帧的视频。它的核心是维护一个特征库,该库存储了过去帧的信息。对于新进来的帧,StreamV2V通过扩展自注意力和直接特征融合技术,将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新,保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出,无需微调即可与图像扩散模型无缝集成。
实时语音提取智能耳机交互系统
LookOnceToHear 是一种创新的智能耳机交互系统,允许用户通过简单的视觉识别来选择想要听到的目标说话者。这项技术在 CHI 2024 上获得了最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)来实现实时语音提取,为用户提供了一种新颖的交互方式。
实时零唇语音转换的流式上下文感知语言建模
StreamVoice是一种基于语言模型的零唇语音转换模型,可实现实时转换,无需完整的源语音。它采用全因果上下文感知语言模型,结合时间独立的声学预测器,能够在每个时间步骤交替处理语义和声学特征,从而消除对完整源语音的依赖。为了增强在流式处理中可能出现的上下文不完整而导致的性能下降,StreamVoice通过两种策略增强了语言模型的上下文感知性:1)教师引导的上下文预见,在训练过程中利用教师模型总结当前和未来的语义上下文,引导模型对缺失上下文进行预测;2)语义屏蔽策略,促进从先前受损的语义和声学输入进行声学预测,增强上下文学习能力。值得注意的是,StreamVoice是第一个基于语言模型的流式零唇语音转换模型,无需任何未来预测。实验结果表明,StreamVoice具有流式转换能力,同时保持与非流式语音转换系统相媲美的零唇性能。
© 2024 AIbase 备案号:闽ICP备08105208号-14