lm_head
PulseAugur coverage of lm_head — every cluster mentioning lm_head across labs, papers, and developer communities, ranked by signal.
-
研究解释了为什么训练后量化对大型语言模型有效
一篇新的研究论文探讨了大型语言模型（LLMs）中训练后量化（PTQ）的现象。PTQ通过降低模型权重的精度来压缩LLMs，这通常会在隐藏状态中引入错误。该论文确定了两个关键机制，解释了为什么预训练模型对这些量化误差具有鲁棒性。首先，一层引入的误差倾向于抵消前一层继承的误差，导致差异的缓慢增长。其次，语言模型头部的几何结构优先考虑高排名标记，保留了模型最自信的预测。这些因素共同解释了为什么PTQ在大幅降低权重的情况下仍能保持下游任务的性能。
-
新的推测解码方法提高了 LLM 推理速度和安全性
研究人员正在开发先进的推测解码技术，以加速大型语言模型推理。HyperDFlash 针对 DeepSeek-V4 的多超连接架构优化了解码，提高了草稿的准确性和速度。Dustin 通过识别关键标记并减少重新计算来专注于高效的长上下文生成。同时，TAIS 对推测解码的输出进行安全性不变性筛选，发现在温度为零时没有分歧。JetSpec 和 RLM-Cascade 通过结合草稿策略并在响应级别应用推测解码来实现高性价比的 API 服务，提供…
-
Google 的 Gemma 4 31B 模型通过最小化 VRAM 实现风格调整
Google 的 Gemma 4 31B 模型的一个新微调版本已发布，名为 Gryphe/Gemma-4-31B-StyleTune。此微调过程专注于仅改变控制 token 发射的 lm_head 张量，以显著减少陈词滥调并引入新的写作风格，同时保留模型的核心能力。开发者声称此方法极大地降低了 VRAM 需求，并允许在消费级硬件上进行通宵训练，基准测试显示陈词滥调减少了 60%，词汇量发生了明显变化。
-
LLM分析方法揭示训练数据秘密和伦理风险
研究人员开发了一种方法，通过对大型语言模型（LLM）的权重矩阵进行奇异值分解（SVD），来揭示可解释的语义子空间。该技术只需少量代码且无需模型推理，即可暴露模型训练数据的构成和策展情况。对GPT-OSS-120B、Gemma-2-2B和Qwen2.5-1.5B等模型的分析显示，它们学到的子空间存在系统性差异，其中Qwen模型表现出不符合伦理的词汇。该研究提出将SVD分析作为标准发布前安全审计步骤，并建议将其用于分词器优化和更可控的LLM设计。