Positional Encoding
PulseAugur coverage of Positional Encoding — every cluster mentioning Positional Encoding across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新算子简化了机器学习中高阶结构的分析
研究人员开发了折叠有效算子（Collapsed Effective Operators），一种用于分析关系建模中高阶结构的新方法。该技术将复杂的拓扑信息浓缩为单一的顶点级算子，保持了半正定性，并在高阶连通性下有效降低了系统能量。该算子在谱聚类和信号平滑方面已显示出经验性改进，并通过位置编码实现了拓扑特征与神经网络架构的集成。
-
HydraHead架构融合了多种注意力类型，以改进长上下文LLM
研究人员推出了一种新颖的HydraHead架构，该架构在Transformer模型内部的头级别上混合了全注意力（Full Attention）和线性注意力（Linear Attention）。该方法利用可解释性来识别全注意力的关键头，同时使用尺度归一化融合模块来整合两种注意力类型的输出。该方法旨在以更低的训练开销来提高长上下文性能，即使在有限的训练数据下也能取得显著的收益，并接近Qwen 3.5等更大模型的性能。
-
忆阻器模拟计算提升语音识别准确性
研究人员开发了一种方法，以减少基于忆阻器的模拟计算在自动语音识别中的性能衰减。通过调整特定忆阻器层中模数转换器（ADC）的权重和精度比特，他们实现了约50%的执行性能衰减相对降低，同时保持了稳定的能耗。在无法修改ADC的情况下，移除与编码相关的线性变换可将性能衰减降低约30%。
-
Transformer在没有位置编码的情况下也能实现图灵完备性
两篇新研究论文探讨了位置编码（PE）在Transformer模型中的必要性。其中一篇论文证明，滑动窗口Transformer在没有PE的情况下也能实现图灵完备性，这表明窗口机制本身提供了足够的位置信息。另一篇论文研究了PE在Vision Transformers（ViTs）中的作用，发现虽然ViTs在没有PE的情况下也能发展出空间结构，但PE可以锚定这种结构并显著提高其在内容干扰性分布变化下的鲁棒性。
-
研究论文详述了辅助变量如何防止 Transformer 中的模式崩溃
一篇新的研究论文探讨了诸如位置编码之类的辅助变量如何防止均场 Transformer 模型中的模式崩溃。该研究表明，这些变量可以防止自注意力机制在长推理过程中退化为单点。研究结果表明，位置编码和提示插入可以实现通用表示，使模型能够准确地表示广泛的分布。
-
新的脑电图基础模型面临表示和评估方面的挑战
研究人员正在探索用于开发基于Transformer的脑电图（EEG）数据基础模型的新方法。一项研究对不同的位置编码策略进行了基准测试，发现由于没有一种方法能在所有任务上表现最佳，因此需要特定于任务的方法。另一篇论文提出了一个多维框架，用于在现实的低资源条件下评估EEG模型，结果表明，虽然基础模型在长上下文任务上表现出色，但在短窗口应用方面，监督模型具有竞争力。第三项调查发现了基于重构的EEG基础模型中的频谱偏差，表明它们偏好非周期性和…
-
AI模型利用注意力机制和位置编码实现长上下文理解
本文深入探讨了使现代AI模型能够处理和保留海量文本信息的基础机制。文章特别阐述了注意力机制和位置编码在使AI能够理解上下文以及从文档早期部分回忆细节方面的作用，即使在处理非常长的输入时也是如此。