Yonatan Sverdlov
PulseAugur coverage of Yonatan Sverdlov — every cluster mentioning Yonatan Sverdlov across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新理论解释AI模型规范化的泛化性
开发了一个新的理论框架来分析通过对非不变骨干网络应用群平均或规范化来实现不变性的方法的泛化特性。该框架建立了一个泛化层次结构，表明规范化模型的误差界最多等于结构不变和群平均模型的误差界，最差等于非不变基线的误差界。研究还表明，最优规范化可以实现最优误差界，而差的规范化可能导致非不变误差界，具体取决于规范化的正则性。特别是在点云处理中，字典序排序的覆盖数随维度呈指数增长，而希尔伯特曲线规范化保证了多项式增长，为希尔伯特曲线序列化在最先进…
-
新的MAS集函数保持顺序，提供稳定的模型
研究人员引入了单调可分离集函数（MAS），这是一类新的集到向量函数，旨在保持集合上的自然偏序，这意味着如果集合S是集合T的子集，那么函数对S的输出将小于或等于对T的输出。虽然MAS函数对于无限基集是不可能的，但一个名为“我们的”的提议模型实现了宽松的“弱MAS”属性并展示了稳定性。该研究还表明，MAS函数可以近似所有单调集函数，并提供了所提出模型在集合包含任务上的实验验证，其性能优于标准模型。
-
新方法简化神经网络层表征
本文介绍了一种利用不可约表示和Schur引理来表征神经网络中等变线性层的新方法。该方法为DeepSets和Deep Weight Space (DWS)网络等现有模型提供了更简单的推导。该研究扩展到未对齐的对称集，为花冠等变层提供了完整的表征，并识别出许多非Siamese层，这些层可以提高图异常检测和学习Wasserstein距离等任务的性能。
-
揭示新的KAN压缩和二值KAN恢复技术
研究人员开发了SparseKAN，一种通过减少基函数、神经元和数值精度来压缩Kolmogorov-Arnold网络（KANs）的方法。该方法旨在通过移除冗余参数而不牺牲准确性来提高KANs的效率，在软件和硬件性能方面均有显著改进。另外，另一篇研究论文介绍了BiKAN，该方法通过使用Walsh字符恢复二值KANs中的基函数来解决二值KANs的崩溃问题，从而在各种基准测试中提高了准确性和硬件效率。