R1-Omni 是一个结合强化学习的全模态情绪识别模型,专注于提升多模态情绪识别的可解释性。
R1-Omni 是一个创新的多模态情绪识别模型,通过强化学习提升模型的推理能力和泛化能力。该模型基于 HumanOmni-0.5B 开发,专注于情绪识别任务,能够通过视觉和音频模态信息进行情绪分析。其主要优点包括强大的推理能力、显著提升的情绪识别性能以及在分布外数据上的出色表现。该模型适用于需要多模态理解的场景,如情感分析、智能客服等领域,具有重要的研究和应用价值。
基于多模态大语言模型的可解释图像检测与定位
FakeShield是一个多模态框架,旨在解决图像检测和定位(IFDL)领域中的两个主要挑战:检测原理的黑箱性和在不同篡改方法间的有限泛化能力。FakeShield通过利用GPT-4o增强现有的IFDL数据集,创建了多模态篡改描述数据集(MMTD-Set),用于训练FakeShield的篡改分析能力。该框架包括领域标签引导的可解释检测模块(DTE-FDM)和定位模块(MFLM),能够处理各种类型的篡改检测解释,并实现由详细文本描述引导的定位。FakeShield在检测准确性和F1分数上优于其他方法,提供了一个可解释且优越的解决方案。
Transformer Debugger是由OpenAI的Superalignment团队开发的用于调查小型语言模型特定行为的工具
Transformer Debugger结合了自动化可解释性和稀疏自编码器技术,支持在编写代码之前进行快速探索,并能够在前向传递中进行干预,以观察其如何影响特定行为。它通过识别对行为有贡献的特定组件(神经元、注意力头、自编码器潜在表示),展示自动生成的解释来说明这些组件为何强烈激活,并追踪组件间的连接以帮助发现电路。
解释视频Transformer决策过程的概念发现
这篇论文研究了视频Transformer表示的概念解释问题。具体而言,我们试图解释基于高级时空概念的视频Transformer的决策过程,这些概念是自动发现的。以往关于基于概念的可解释性的研究仅集中在图像级任务上。相比之下,视频模型处理了额外的时间维度,增加了复杂性,并在识别随时间变化的动态概念方面提出了挑战。在这项工作中,我们通过引入第一个视频Transformer概念发现(VTCD)算法系统地解决了这些挑战。为此,我们提出了一种有效的无监督视频Transformer表示单元(概念)识别方法,并对它们在模型输出中的重要性进行排名。所得的概念具有很高的可解释性,揭示了非结构化视频模型中的时空推理机制和以对象为中心的表示。通过在多样的监督和自监督表示上联合进行这种分析,我们发现其中一些机制在视频Transformer中是普遍的。最后,我们证明VTCD可以用于改善精细任务的模型性能。
© 2025 AIbase 备案号:闽ICP备08105208号-14