一篇新论文对“神经丛”假说提出了质疑。该假说认为,语言模型中特定任务的专家位于权重空间中可以通过随机高斯扰动访问的密集区域。研究人员发现,归因于权重扰动的收益可以通过更简单的方法实现,例如向输出对数几率添加随机偏差,或者使用一种称为扰动-选择-投票(PSV)的程序。这种PSV方法包括生成扰动预测器,在验证集上选择表现最佳的预测器,并聚合它们的预测,提供了一种适用于语言和视觉任务的无需训练的替代方案。 AI
影响 挑战了大语言模型可解释性的一个核心假说,表明存在更简单、无需训练即可提高性能的方法。
排序理由 该集群包含一篇发表在arXiv上的研究论文,该论文提出了一种新方法并挑战了机器学习中现有的一个假说。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- Neural Thickets
- Perturb-Select-Vote
- PlayStation Vita
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →