todotge

新方法使 Transformer LLM 隐藏轴可测量和可控

研究人员开发了一种“语言模型的规范基”（CBLL）方法，该方法转换了 Transformer LLM 的坐标系，使得每个隐藏轴都可以独立测量和控制。这项技术在 Zenodo 论文中进行了详细介绍，并附有 GitHub 存储库，可以分析模型行为，例如识别特定的功能轴及其对困惑度（perplexity）和 MMLU 等性能指标的影响。CBLL 被证明是无损且架构通用的，在不同类型的归一化和 Qwen 2.5 0.5B 和 SmolLM2 …