lm_head
PulseAugur coverage of lm_head — every cluster mentioning lm_head across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的推测解码方法提高了 LLM 推理速度和安全性
研究人员正在开发先进的推测解码技术，以加速大型语言模型推理。HyperDFlash 针对 DeepSeek-V4 的多超连接架构优化了解码，提高了草稿的准确性和速度。Dustin 通过识别关键标记并减少重新计算来专注于高效的长上下文生成。同时，TAIS 对推测解码的输出进行安全性不变性筛选，发现在温度为零时没有分歧。JetSpec 和 RLM-Cascade 通过结合草稿策略并在响应级别应用推测解码来实现高性价比的 API 服务，提供…
-
Google 的 Gemma 4 31B 模型通过最小化 VRAM 实现风格调整
Google 的 Gemma 4 31B 模型的一个新微调版本已发布，名为 Gryphe/Gemma-4-31B-StyleTune。此微调过程专注于仅改变控制 token 发射的 lm_head 张量，以显著减少陈词滥调并引入新的写作风格，同时保留模型的核心能力。开发者声称此方法极大地降低了 VRAM 需求，并允许在消费级硬件上进行通宵训练，基准测试显示陈词滥调减少了 60%，词汇量发生了明显变化。
-
LLM分析方法揭示训练数据秘密和伦理风险
研究人员开发了一种方法，通过对大型语言模型（LLM）的权重矩阵进行奇异值分解（SVD），来揭示可解释的语义子空间。该技术只需少量代码且无需模型推理，即可暴露模型训练数据的构成和策展情况。对GPT-OSS-120B、Gemma-2-2B和Qwen2.5-1.5B等模型的分析显示，它们学到的子空间存在系统性差异，其中Qwen模型表现出不符合伦理的词汇。该研究提出将SVD分析作为标准发布前安全审计步骤，并建议将其用于分词器优化和更可控的LLM设计。