mean squared error
PulseAugur coverage of mean squared error — every cluster mentioning mean squared error across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的 TopoCast 框架评估时间序列预测中的结构保真度
研究人员推出 TopoCast，一个旨在评估由基于 Transformer 的模型生成的时间序列预测的结构保真度的新框架。与关注数值准确性的均方误差等传统指标不同，TopoCast 利用持久同调和 Takens 延迟嵌入来分析预测信号的潜在动态和结构特性。这种方法旨在识别传统评估方法常常忽略的过平滑、相位偏移和频率失真等问题。实验表明，TopoCast 可以揭示在标准误差指标上表现相似的模型之间在结构完整性方面的显著差异。
-
量化：高效部署大语言模型的关键技术
量化是将大语言模型（LLMs）的权重和激活值从浮点格式转换为低精度整数格式，从而实现高效部署的关键技术。此过程可减小内存占用和计算需求，使大语言模型适用于资源受限的设备。关键步骤包括权重和激活值的量化，采用均匀量化、非均匀量化和学习量化等方法会影响模型的准确性和效率。最小化量化误差（通过均方误差等指标衡量）对于保持模型性能至关重要。
-
权重范数在神经网络 Grokking 中的作用得到阐明
研究人员调查了神经网络中“Grokking”现象，即模型从记忆转向泛化。他们的发现表明，先前被认为是这种转变主要驱动因素的权重范数，主要充当 Logit 尺度的上游控制。通过直接操纵 Logit 尺度，研究人员可以控制 Grokking 延迟的整个范围，而权重范数仅产生微小的附加效应。发现这种关系取决于所使用的损失函数，均方误差显示出与交叉熵不同的机制。
-
新型自适应损失提升深度学习在噪声下的鲁棒性
研究人员开发了一种新型自适应对数相关熵损失（ALCL），旨在提高深度学习模型在非高斯噪声下训练时的鲁棒性。与均方误差（MSE）等对离群值敏感的传统方法不同，ALCL在训练过程中动态学习其鲁棒性参数。这种自适应方法在图像数据集上进行了演示，通过提高准确性和降低方差，在噪声较大的情况下，其性能始终优于MSE和静态对数相关熵损失。
-
Karpathy 重访 1989 年神经网络，用现代 AI 技术降低错误率
Andrej Karpathy 重建了一个 1989 年的神经网络，通过应用现代深度学习技术，错误率降低了 60%。他展示了使用交叉熵损失（而非均方误差）、AdamW 优化器以及数据增强（特别是图像移位）等创新方法，显著提高了模型的性能。Karpathy 还表明，即使使用原始的 1989 年方法，仅将数据集大小从 7,291 张图像增加到 50,000 张，也能大幅降低错误率。
-
新研究将神经崩溃与类别编码联系起来
研究人员探讨了标签编码如何影响神经崩溃，这是在神经网络分类模型中观察到的现象。他们的研究使用了具有均方误差训练的无约束特征模型，发现对于独热编码标签和平衡数据，随着偏置正则化的增加，类别特征从单纯形等角紧框架转变为正交框架。这种结构变化反映了独热编码标签的正交性质，表明编码与网络行为之间存在联系。
-
AI模型在血压估算可靠性方面表现出改进
研究人员调查了深度学习模型在光电容积脉搏波描记法（PPG）信号血压估算中不确定性量化的可靠性。研究发现，与蒙特卡洛丢弃法（MCD）相比，深度集成（DE）在领域迁移下提供了更大的鲁棒性。重新校准的高斯负对数似然（GNLL）方法，特别是结合DE和共形预测或温度缩放，为收缩压和舒张压提供了最佳的不确定性校准。
-
新方法增强稀疏自编码器的可解释性和稳定性
研究人员开发了新方法来解决稀疏自编码器（SAE）的局限性，SAE用于解释大型语言模型的内部表示。一篇论文介绍了自适应弹性网络SAE（AEN-SAE），这是一种可微分架构，可在不进行启发式重采样的情况下缓解特征饥饿和收缩偏差。另一项研究提出了一种用于分析SAE特征的成对矩阵协议，揭示了单特征检查可能会错误标记因果轴，并且相干性损失与方向模式有关。此外，另一篇论文提出，结合局部顺序辅助损失（如有限差分符号误差）可以提高自编码器重建精度，超…