实体
Viacheslav Yusupov
Viacheslav Yusupov
PulseAugur coverage of Viacheslav Yusupov — every cluster mentioning Viacheslav Yusupov across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 Hessian 分析方法有助于压缩十亿参数模型
研究人员开发了一种新颖的可扩展 Kronecker-基近似方法，用于分析十亿参数语言模型的 Hessian。该方法能够有效地捕捉跨层交互，而无需存储完整的 Fisher 矩阵，并揭示了值投影层始终是最敏感的组件。该近似方法与性能下降和恢复情况高度相关，为大型模型的引导式压缩和优化策略提供了实用的工具。
-
研究发现几何LLM度量不可靠，但可用于故障检测
研究人员对用于评估大型语言模型（LLM）的几何度量进行了全面的压力测试。他们的分析显示，像Schatten Norm和MOM这样的度量主要反映输出长度，而不是真实的质量。虽然几何度量在生成器识别方面比单独的文本统计数据有所改进，但它们与词汇多样性的关联性很弱。该研究推荐了特定的用例，并确定故障检测是这些度量的一个有前途的应用。