研究人员开发了DecompressionLM,一个旨在从语言模型中提取概念图的新框架,无需依赖预定义的查询。该方法解决了现有知识探测技术的局限性,例如交叉序列耦合和竞争性解码,这些技术可能会抑制不太常见的概念。通过采用Van der Corput低差异序列和算术解码,DecompressionLM可以确定性地并行生成概念图。该框架还揭示了激活感知量化(AWQ-4bit)和均匀量化(GPTQ-Int4)之间概念覆盖率的显著差异,前者显示出大幅扩展,后者则显著收缩。 AI
影响 该框架通过提供对压缩语言模型所编码知识的更全面理解,有可能改进其评估。
排序理由 该集群包含一篇研究论文,详细介绍了一种从语言模型中提取概念图的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- AWQ-4bit
- DecompressionLM
- GPTQ-Int4
- Hugging Face
- MMLU-Pro Law
- Van der Corput low-discrepancy sequences
- Zhaochen Hong
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →