实体
BERT-Mini
BERT-Mini
PulseAugur coverage of BERT-Mini — every cluster mentioning BERT-Mini across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法 Joint Affine Spectral Shaping 改进神经网络优化
研究人员开发了一种名为 Joint Affine Spectral Shaping (JASS) 的新方法，该方法改进了现有的神经网络谱优化器。与之前分别处理权重和偏置更新的方法不同，JASS 将谱整形应用于组合的仿射层矩阵。在为 IMDb 情感分析训练的 BERT-mini 模型上进行的实验表明，与仅权重谱整形和标准 Adam 优化相比，JASS 始终提高了测试准确率并降低了损失。
-
研究人员通过注意力控制和算法捕获探索高效 Transformer
研究人员正在探索提高 Transformer 效率和理解力的方法。一篇论文引入了预算注意力分配（Budgeted Attention Allocation），这是一种允许成本-质量权衡的头门控机制。另一项研究定义了 Transformer 中的算法捕获（algorithmic capture），并分析了它们的计算复杂性，表明存在一种归纳偏见，反对更高复杂度的过程。此外，关于 Transformer 中局部注意力的工作证明了其表达能力以…