Xor
PulseAugur coverage of Xor — every cluster mentioning Xor across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究量化了多任务计算所需的注意力头数量
一篇新研究论文探讨了多头注意力层在为各种计算任务生成向量表示方面的能力。该研究为特定场景下所需的注意力头数量设定了理论界限，例如使用线性预测器计算列表中的最小值和最大值。它还分析了计算位字符串的XOR所需的阈值多项式函数，证明了头数与多项式次数的乘积至少需要为n。
-
新的k阶松弛方法增强了马尔可夫毯的发现
研究人员引入了一种新颖的方法来发现马尔可夫毯（MB），通过松弛忠实性假设，该假设通常会被XOR关系等高阶依赖性所违反。这种新方法，称为k阶松弛，可以捕捉k+2个变量之间的奇偶校验类型关系。已开发出一种概念验证算法，即k阶马尔可夫毯（kOMB），以利用这种松弛来发现MB。实证结果表明，即使在面临忠实性真实或经验性违反的情况下，kOMB也能有效地恢复MB。
-
新论文揭示Transformer展现出超越插值的规则学习能力
近期研究表明，Transformer不仅能进行简单的插值，还具备学习和应用训练数据中未明确存在的规则的能力。研究显示，即使在细胞自动机或Horn子句演绎推理等复杂场景下，Transformer也能通过间接信号和多步预测来推断缺失信息。此外，一种被称为“硬决策层”的现象已被识别，在此层中Transformer模型在推理过程中稳定其预测，从而显著提高准确性。
-
SGD Provably Learns Spurious Features First in Neural Networks
一篇新发表在arXiv上的理论研究，探讨了随机梯度下降（SGD）在两层ReLU神经网络中学习虚假特征（spurious features）的机制。研究表明，SGD会优先并以指数级的速度学习这些虚假相关性，甚至在学习实际信号之前。该研究的分析揭示，优化动态可能会将虚假特征和信号特征耦合起来，从而可能阻碍真实信号的学习，尤其是在虚假相关性很强的情况下。
-
新研究揭示多数据孤岛差分隐私下的去匿名化相变
一篇新研究论文介绍了一个名为跨数据孤岛的个体级差分隐私（XSP-DP）的框架，用于分析当数据分布在多个由差分隐私保护的数据孤岛中时，去匿名化的风险。该研究确定了一个临界阈值，大约为 Theta(log n / epsilon^2)，随着数据孤岛数量的增加，去匿名化变得可行。研究结果表明，即使单个数据孤岛提供了隐私保护，在没有明确协调的情况下，合并来自多个数据孤岛的信息也可能导致不可避免的去匿名化。