Q-Former
PulseAugur coverage of Q-Former — every cluster mentioning Q-Former across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的CAPTAIN方法利用语言模型进行APT检测，数据整理需求更少
研究人员开发了CAPTAIN，一种用于大规模日志中检测高级持续性威胁（APT）的新方法。与需要大量数据整理和预处理的先前方法不同，CAPTAIN利用预训练语言模型，只需极少、与领域无关的步骤。它编码最近的日志历史并将此上下文注入语言模型以计算困惑度，从而指示潜在威胁。此方法旨在降低APT检测相关的开发和运营成本。
-
研究发现 Video-LLM 在时间信息流方面存在困难
研究人员发现，视频大型语言模型（Video-LLMs）在处理时间信息方面存在一个重大的瓶颈，这阻碍了它们理解视频播放方向的能力。虽然以视频为中心的编码器可以有效地捕捉时间信号，但标准的 Video-LLM 架构通常无法可靠地传递这些信息。研究强调，投影层是一个关键组成部分，某些设计会破坏时间数据，而保留时间的 MLP 投影可以改善信息流。通过优化编码器、投影器并纳入特定的监督，一个新的 Video-LLM 在时间推理任务上达到了接近人类的准确率。
-
CSMCIR框架通过对称对齐增强组合图像检索
研究人员推出了一种新颖的CSMCIR框架，旨在通过解决现有方法中表示空间的碎片化问题来改进组合图像检索（CIR）。该方法利用多级思维链（CoT）提示策略为目标图像生成语义兼容的字幕，从而建立模态对称性。此外，CSMCIR采用对称双塔架构，并使用共享参数的Q-Former进行一致的跨模态编码，以及一个基于熵的记忆库来提供高质量的负样本。
-
ViBE框架将视觉刺激映射到M/EEG脑信号
研究人员开发了ViBE，一种新的大脑编码框架，可将视觉刺激转化为脑磁图（MEG）和脑电图（EEG）信号。该系统利用时空卷积变分自编码器（TSC-VAE）来重建神经反应，并利用Q-Former将视觉特征与神经表征对齐。在THINGS-EEG2和THINGS-MEG数据集上的实验表明，ViBE能够生成高质量的M/EEG信号，有望助力视觉假体的发展。