研究人员引入了一种名为相似性-距离-幅度（SDM）的新激活函数。该函数旨在通过引入对相似性的感知来纠正预测、与训练分布的距离以及现有输出幅度，从而改进标准的softmax。基于此激活函数的SDM估计器旨在提高可解释性，并增强对分布变化的鲁棒性，特别是在预训练语言模型的选择性分类任务中。 AI
影响 引入了一种新颖的激活函数，可以提高大型语言模型的可解释性和鲁棒性。
排序理由 这是一篇详细介绍机器学习模型新激活函数的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →