实体
Marr
Marr
PulseAugur coverage of Marr — every cluster mentioning Marr across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
论文认为惊奇度理论并非与表征无关
一篇新论文认为，惊奇度理论（Surprisal Theory），通常被视为一种计算层面的解释，实际上并非与表征无关，尤其是在大型语言模型（LLMs）的背景下。作者认为，不加批判地使用 LLM 惊奇度指标会掩盖不同模型所做的底层表征和算法选择。通过三项分析，该论文表明算法和模型架构显著影响语言模型的概率，并敦促研究人员在测试惊奇度理论时重新考虑将 LLM 概率视为可互换的。
-
新的MARR技术提升了LLM和ViT的低比特量化性能
研究人员开发了一种名为模块自适应残差重构（MARR）的新技术，以改进大型语言模型和视觉变换器的低比特训练后量化。MARR通过自适应地平衡不同模型模块之间的误差校正和偏差来解决现有方法的局限性。该方法使用特定于模块的缩放系数和基于PID的更新策略来优化系数，从而在4位或更低的量化级别上带来显著的性能提升。