PulseAugur
中
实时 02:02:29
English(EN) Post-Hoc Understanding of Metaphor Processing in Decoder-Only Language Models via Conditional Scale Entropy

新指标揭示语言模型如何处理隐喻

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为条件尺度熵（CSE）的新指标，用于分析仅解码器语言模型如何处理隐喻。CSE 衡量了 Transformer 层内不同频率尺度上的计算参与广度。使用 CSE 进行的研究表明，在参数量从 1.24 亿到 200 亿不等的模型中，包括 GPT-2、LLaMA-2 和 GPT-oss 等架构，隐喻性词元相比字面性词元始终激活更广泛的计算尺度。 AI

影响 引入了一种理解大型语言模型中隐喻处理的新颖指标，可能有助于开发更细致的语言理解能力。

排序理由 该集群包含一篇详细介绍分析语言模型行为新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Boyu Zhang ·

    Post-Hoc Understanding of Metaphor Processing in Decoder-Only Language Models via Conditional Scale Entropy

    Metaphor requires a language model to resolve a token whose contextual meaning diverges from its basic literal sense. Understanding how transformer models organize this reinterpretation across depth remains an open problem in mechanistic interpretability. We introduce conditional…

相关实体

相关话题