BPTT
PulseAugur coverage of BPTT — every cluster mentioning BPTT across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法通过可靠性加权梯度改进自回归预测
研究人员推出了一种名为内部双维纳路由（Internal-DW）的新方法，通过解决反向传播过程中（BPTT）远距离梯度不可靠的问题来改进自回归预测。该技术选择性地加权内部梯度路径，平衡了可预测学习信号的保留与不可预测噪声的抑制。在以历史为主的测试平台上进行的实验表明，与标准 BPTT 相比，Internal-DW 将预测误差降低了高达 13.8%，并且优于其他正则化方法。
-
新的CST方法提高了循环模型在长上下文上的性能
研究人员开发了一种名为“信用稳定随时间”（CST）的新方法，以提高循环模型的性能，尤其是在处理长上下文方面。通过时间反向传播（BPTT）训练的传统循环模型通常难以泛化到超出其训练数据长度的范围。CST通过稳定反向传播过程中的“状态信用”信号来解决这个问题，这有助于早期状态从未来损失中接收准确信息。该技术在合成数据和真实世界数据上都显示出显著的性能提升，可扩展到原始训练长度的128倍。
-
新的上下文就绪 Transformer 架构提高了速度和性能
研究人员推出了一种新颖的循环神经网络架构——上下文就绪的 Transformer，旨在提高 Transformer 的效率和性能。该新模型在每个 token 进入 D 层 Transformer 块之前对其进行预上下文化，从而有效地为顺序推理创建了一个循环神经网络。与标准 Transformer 相比，该架构在速度和性能上都有显著提升，在 A100 GPU 上，D=5 的模型在生成速度上比 12 层 Transformer 快 1.7 倍。
-
新研究推动脉冲神经网络在效率和验证方面的进展
研究人员开发了用于脉冲神经网络（SNN）的新方法，重点是提高其效率和验证能力。一项研究介绍了一种可学习的残差语音到脉冲编码器，该编码器在保持参数效率的同时提高了在 Google Speech Commands v2 基准测试上的准确性。另一项开发 VQ4SNN 利用矢量量化显著降低了在 FPGA 上部署 SNN 的内存需求，使其更适合边缘 AI 应用。此外，还创建了一个用于概率 SNN 的形式化验证工具，采用商抽象来管理状态空间爆炸并…