实体
parametric knowledge
parametric knowledge
PulseAugur coverage of parametric knowledge — every cluster mentioning parametric knowledge across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新方法解耦大语言模型在多步分析中的知识交互
研究人员开发了一种新颖的方法来分析大语言模型（LLMs）如何与不同类型的知识进行交互，特别是外部上下文知识（CK）和内部参数知识（PK）。这种新方法利用了秩2投影子空间，与之前常常过度简化这些交互的秩1方法相比，它提供了更细致的理解。研究表明，这种秩2表述可以更好地区分互补和冲突的知识来源，揭示大语言模型生成中的幻觉往往与参数知识高度一致。
-
研究发现：长上下文训练可能损害大型语言模型的知识
一篇新研究论文提出了“信息丰富悖论”，挑战了大型语言模型中更长上下文窗口总是能提高性能的假设。研究表明，训练过程中过多的相关信息会降低模型进行参数化编码知识的动力，导致过度依赖上下文。这种现象在语言建模、自然语言理解和闭卷问答任务中，超过某个中间最优值后，会降低性能。研究表明，使用信息丰富的上下文进行训练会将梯度压力从与参数化知识相关的馈送网络转移到注意力模块，从而在推理过程中增加上下文依赖性。
-
新框架诊断用于网络安全问答的小型LLM
开发了一个名为FiT的新诊断框架，用于评估小型大型语言模型（LLM）在网络安全问答（QA）任务中的表现。该框架评估三个关键能力：词汇识别、参数知识和检索信息的语境化。一项使用五个70亿参数模型的实证研究表明，微调可能会对词汇和参数知识产生负面影响，不同的微调机制会导致性能上的权衡。研究结果表明，预微调诊断有助于选择合适的模型，并提高LLM在网络安全领域的安全部署。