实体
Negative log-likelihood (NLL)
Negative log-likelihood (NLL)
PulseAugur coverage of Negative log-likelihood (NLL) — every cluster mentioning Negative log-likelihood (NLL) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究人员量化语言模型中自注意力机制的令牌检索能力
研究人员调查了语言模型中自注意力机制的检索能力，旨在了解模型上下文中有多少令牌被实际使用。该研究提出了一种通过保留具有最高注意力权重的令牌并观察其对负对数似然（NLL）的影响来测量有效注意力集合大小的方法。结果表明，相对较小的选定令牌集合可以使NLL接近全注意力基线，并且性能远超随机选择。研究还探讨了扩展上下文、支持事实的存在以及权重重整化如何影响所需的集合大小和模型的整体性能。
-
新的神经点过程模型使用 B 样条提高效率
研究人员开发了一种新的神经点过程模型，该模型使用 B 样条基函数直接参数化条件强度函数 (CIF)。这种由神经网络预测的方法可以精确计算负对数似然 (NLL)，并在训练期间实现高效的并行化。与现有的神经 TPP 基线相比，该模型还自然支持 CIF 平滑正则化，并在合成和真实世界数据集上展示了更高的计算效率和预测准确性。