transformer networks
PulseAugur coverage of transformer networks — every cluster mentioning transformer networks across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Few-Medoids 方法简化了知识蒸馏的共核选择
研究人员推出了一种新颖且简单的方法 Few-Medoids，用于少样本知识蒸馏中的共核选择。该技术通过选择最接近每个类别质心的样本来识别代表性数据子集。在各种图像分类任务和模型架构上的实验表明，Few-Medoids 的性能始终优于随机选择和其他共核选择策略。
-
研究人员将密码函数映射到 Transformer 网络
研究人员探索了 Transformer 网络在密码学上的能力，研究这些模型是否可以实现特定的密码函数。该研究将 Keccak 函数、Merkle--Damgard 构造和 Merkle 树等密码构造映射到 Transformer 架构，推导出电路宽度和深度的缩放定律。这项工作建立了一种评估 Transformer 计算能力的方法，并为给定大小的 Transformer 可以计算的内容提供了建设性的上限，有助于对 AI 系统的能力进行原则性评估。
-
综述回顾了3D医学场景补全的十年演变
一篇近期的综述论文详细介绍了过去十年3D医学场景补全的进展，追溯了其从几何建模到复杂生成范式的演变。该论文重点介绍了关键的表示技术，包括体素网格、点学习、隐式神经场和Transformer网络，最终发展到当前将扩散模型与高斯溅射实时渲染相结合的方法。研究人员开发了一个分类法来对这些贡献进行分类，并确定了下一代系统面临的持续挑战和未来的研究方向。
-
新算法改进AI驱动的投资组合优化
研究人员开发了一种新算法BAVAR-BLED，用于改进金融市场中的投资组合优化。该算法通过考虑市场数据中的重尾收益和状态变化，解决了当前深度强化学习模型的局限性。BAVAR-BLED将贝叶斯平均向量自回归（BAVAR）与使用椭圆分布（BLED）的黑利曼模型相结合，并采用Transformer网络和CNN以增强自适应配置决策。对过去十年数据的评估表明，BAVAR-BLED的业绩显著优于现有方法，产生了高夏普比率和索提诺比率以及可观的总回报。
-
Transformer学习理论通过Softmax近似解释
研究人员开发了一个新的理论框架来理解Transformer网络如何学习回归任务。他们的方法使用“Softmax单位分割”来组合局部函数近似，利用注意力机制进行空间定位。研究表明，仅有两个编码器块的Transformer可以对某些连续函数实现统一的近似误差，从而获得接近minimax最优的泛化误差界限。
-
准等变元网络推动权重空间学习
研究人员将准等变性引入元网络，这是一种用于操作预训练神经网络权重的新概念。这种新方法允许元网络在不牺牲严格等变性的前提下，尊重架构对称性，从而可能产生更具表现力和鲁棒性的模型。该框架已在各种神经网络架构（包括前馈、卷积和Transformer网络）中得到验证，在对称性保持和表示能力之间取得了平衡。