Stochastic Attention
PulseAugur coverage of Stochastic Attention — every cluster mentioning Stochastic Attention across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新AI框架从小型队列生成合成患者数据
研究人员开发了一种名为多重性加权随机注意力（SA）的新生成框架，该框架利用现代Hopfield网络从小型纵向队列中创建合成患者数据。该方法将真实患者档案存储为记忆模式，从而能够生成与原始小型数据集的保真度和特征高度匹配的合成数据。SA框架成功应用于23名患者的纵向凝血数据，展示了其在数据有限的领域（如孕产妇健康和罕见病）进行机械校准和假设生成等任务的潜力。
-
新的无训练方法可从小型比对生成新颖的蛋白质序列
研究人员开发了一种名为随机注意力（SA）的新型无训练方法，用于从小型比对家族生成蛋白质序列。与需要大量数据的传统深度学习模型不同，SA利用Hopfield能量模型和Langevin动力学进行采样，无需GPU或预训练。该方法在各种蛋白质家族中都取得了成功，生成的序列具有低组成发散度、新颖性和结构合理性，优于现有的Profile HMM和MSA Transformer等方法。SA能够从种子比对自动运行，并获得独立语言模型的有利评分，使其成…
-
研究人员探索用于大型语言模型的新型注意力机制和优化技术
研究人员正在探索新颖的注意力机制，以克服 transformer 中标准自注意力机制的二次复杂度，尤其是在长上下文处理方面。几篇论文介绍了诸如 Lighthouse Attention（用于高效预训练）、Robust Filter Attention（将注意力视为状态估计）以及受神经连接组启发的 Stochastic Attention（以提高表达能力）等方法。其他工作则侧重于通过稀疏注意力的提前停止（S2O）等技术优化注意力的计算足…
-
随机注意力通过校准不确定性增强科学模型
研究人员推出了一种名为随机注意力的新方法，以提高科学基础模型的可靠性。该技术通过在推理过程中引入随机性来修改现有的Transformer架构，从而无需重新训练即可生成预测集合。提出了一种校准目标来调整浓度参数，使模型能够有效地将其随机输出与目标预测相匹配。在天气预报和时间序列任务上的评估表明，与现有方法相比，随机注意力提供了更优的校准和更窄的预测区间，且只需极少的事后调整。