AxBench
PulseAugur coverage of AxBench — every cluster mentioning AxBench across labs, papers, and developer communities, ranked by signal.
-
新方法简化语言模型可解释性
研究人员推出了一种名为示例划分（Exemplar Partitioning, EP）的新方法，用于语言模型的机械可解释性。与现有的稀疏自编码器（sparse autoencoders）等字典学习技术相比，EP提供了一种更简化的方法。EP通过基于观察到的示例来划分激活空间，从而识别其中可解释的结构，避免了稀疏自编码器固有的重建和稀疏性损失。该方法在AxBench潜在概念检测基准等基准测试中取得了有竞争力的性能，并且计算成本显著低于稀疏自编码器。
-
新方法在不牺牲性能或推理能力的情况下增强了大型语言模型的控制能力
研究人员开发了新的方法，可以在推理时引导大型语言模型（LLM）的行为，而不会牺牲生成质量。一种方法是仅提示词转向向量（Prompt-only SV, PrOSV），它仅干预提示词标记，在AxBench等基准测试中表现优于传统的全序列转向向量。另一种方法是FLAS（基于流的激活转向），它学习一个条件概念的速度场来传输激活，在Gemma模型上始终优于提示词方法。第三种技术SKOP（通过关键正交投影进行转向）将注意力重新路由限制在保留推理和…
-
新方法“PSR”通过模仿提示干预来改进大型语言模型引导
研究人员开发了一个名为提示引导替换（PSR）的新框架，以改进大型语言模型在推理时的引导方式。该方法将提示引导构建为一种激活引导，旨在使激活干预更有效。实验表明，PSR模型在某些基准测试上的表现优于现有的激活引导技术，并与直接提示相当。
-
LLM 推理和推理技术随着新研究和硬件的进步而发展
研究人员正在探索新的方法来提高大型语言模型 (LLM) 的效率和推理能力。Google Research 正在开发训练 LLM 以贝叶斯方式进行推理的技术，从而提高它们更新概率估计和泛化到新任务的能力。同时，推理优化方面的进展包括“投机级联”，它将更小、更快的模型与更大的模型结合起来，以及“上下文回收”来管理长对话范围。此外，正在开发“级联多粒度剪枝”和“SharQ”等方法来压缩 LLM 以进行设备上推理，从而在保持准确性的同时降低延…