causal transformer
PulseAugur coverage of causal transformer — every cluster mentioning causal transformer across labs, papers, and developer communities, ranked by signal.
-
NAPE框架通过预测下一个补丁嵌入来推进音频表示学习
研究人员推出了一种新颖的音频自监督学习框架NAPE（Next-Audio-Patch-Embedding prediction）。该方法利用因果Transformer，通过预测对数梅尔频谱图的后续补丁嵌入来从先前的嵌入中学习，并将因果掩码和停止梯度作为其主要的训练信号。NAPE在六个音频和语音基准测试中取得了最先进的微调性能，展示了随着编码器尺寸的持续扩展和强大的线性探测结果。
-
摄像头凝视数据未能改善自动驾驶危险检测
一篇新的研究论文探讨了通过网络摄像头捕获的人类凝视数据是否能帮助自动驾驶模型避免发展出“桌面目标”（mesa-objectives）——即通过虚假关联而非真正识别危险来获得高训练性能的内部目标。研究发现，尽管收集了超过137,000个凝视样本，但在纳入凝视数据后，危险检测并未有统计学上的显著改善。研究人员得出结论，当前网络摄像头眼动追踪技术的精度不足，其误差超过了大多数已检测到的危险的大小，因此无法准确地将凝视归因于特定物体。
-
新模型改进纵向数据的因果推断
研究人员开发了两种新模型 CSSD 和 CSSPD，以改进纵向观察数据的因果推断，这是临床决策支持的关键任务。这些模型解决了现有方法中的一个基本矛盾：用于处理不变性的对抗性训练会抑制重要的结果预测信号。特别是 CSSPD 结合了对比预测编码和局部信息最大化，以增强时间可预测性并恢复丢失的协变量信息。在 MIMIC-III 数据库上的实验表明，CSSPD 在反事实均方根误差方面优于 Causal Transformer，而在癌症模拟数据…