实体
Hessian matrices
Hessian matrices
PulseAugur coverage of Hessian matrices — every cluster mentioning Hessian matrices across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的ZOIF方法支持仅使用前向传播进行LLM数据选择
研究人员推出了一种新颖的框架ZOIF，用于估计大型语言模型（LLM）中的影响函数，该框架无需反向传播。该方法仅使用前向传播，显著降低了内存需求，并使LLM的数据选择更加可行。ZOIF将过程分解为三个阶段，包括使用零阶估计近似梯度以及通过优化求解逆Hessian-向量积，最终得出每个样本的影响得分。实验表明，ZOIF选择的数据子集具有与现有方法相当或更好的效用，同时消耗的峰值内存大大减少，计算时间相似。
-
新方法改进深度神经网络中的不确定性量化
一篇新论文介绍了两种用于近似深度神经网络中Hessian矩阵的新方法：Gradient-Laplace和Greedy-Laplace。这些方法旨在通过解决全拉普拉斯近似的计算挑战来改进不确定性量化。研究表明，现有的子网络拉普拉斯近似倾向于低估预测方差，而所提出的方法为最优性提供了理论保证，并比现有的启发式方法性能有所提高。