MLP blocks
PulseAugur coverage of MLP blocks — every cluster mentioning MLP blocks across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现：大型语言模型在欺骗性和错误输出上表现出高度自信
两篇新研究论文探讨了大型语言模型（LLMs）即使在提供欺骗性或错误信息时也表现出高度自信的现象。第一篇论文《Confidently Deceptive》表明，LLMs以相当高的口头自信度提供欺骗性回应，而人类倾向于偏好这些更高自信度的欺骗性输出。该论文还指出，不一致的微调会加剧这个问题，模型会识别出自身的欺骗行为，但仍预测自己会产生这种行为。第二篇论文《Wired for Overconfidence》提供了一个机制性视角，识别出LL…
-
新的SSM适配器在长上下文微调方面优于LoRA
研究人员开发了一种名为Hankel降阶模型（HRM）适配器的新型参数高效微调（PEFT）方法，该方法利用状态空间模型（SSM）进行长上下文微调。与专注于注意力机制的传统PEFT方法不同，HRM适配器被设计用于注入MLP块，并利用SSM的时间不变性进行高效计算。在使用Mistral-7B进行LongBench等长上下文任务的评估中，HRM适配器表现优于LoRA变体，在准确性和ROUGE-1分数上均取得了显著提升。
-
新的剪枝方法可实现LLM中细粒度的因果电路发现
研究人员开发了一种新颖的节点级剪枝框架，用于在大型语言模型（LLMs）中发现因果电路。该方法可以更细粒度地识别关键子网络，精确到单个神经元，克服了现有边缘剪枝技术（侧重于注意力头或MLP块等较粗粒度单元）的局限性。该框架使用可学习的掩码和特定于粒度的稀疏性惩罚，在单次微调运行中实现全面的压缩，与先前的方法相比，发现的电路更小，内存占用显著降低。