实体
Incompressible Knowledge Probes
Incompressible Knowledge Probes
PulseAugur coverage of Incompressible Knowledge Probes — every cluster mentioning Incompressible Knowledge Probes across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Qwen3.6-27B 模型量化显示知识损失呈非线性
对 Qwen3.6-27B 模型进行的案例研究表明，虽然量化显著减小了模型尺寸，但其对事实知识的影响是非线性的。最初，量化到 4 位时，在不可压缩知识探测 (IKP) 基准测试中的性能下降很小，有些甚至在效率方面优于更大、未经量化的模型。然而，进一步量化到 3 位，尤其是 2 位，会导致知识损失更严重，这表明量化是一种可行的压缩技术，但超过某个点后，质量下降的速度比从头开始训练更小的模型要快。
-
新研究通过探针分析黑盒LLM以估算参数数量
一篇新研究论文介绍了一种名为‘不可压缩知识探针’（Incompressible Knowledge Probes）的方法，用于估算黑盒大型语言模型（LLM）的事实容量。该技术允许在不直接访问模型内部结构的情况下估算模型的规模。研究提出使用知识探针来推断模型的容量。