实体
Long Cottage
Long Cottage
PulseAugur coverage of Long Cottage — every cluster mentioning Long Cottage across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
研究发现：大型语言模型中的思维链压缩会损害可信度
一篇新发表在arXiv上的研究调查了压缩长思维链（Long-CoT）推理对语言模型的影响。研究人员发现，虽然压缩方法可以降低推理成本和代币使用量，但它们常常导致可信度下降，影响安全性、幻觉抵抗能力和多语言能力。该研究提出了一个标准化的效率得分来更好地评估这些权衡，并引入了一种与对齐相关的直接偏好优化（DPO）变体，该变体在可信度损失极小的情况下实现了显著的长度缩减。
-
QA-Merging框架实现LLM的查询自适应推理
研究人员开发了QA-Merging，一个用于大型语言模型查询自适应推理的新框架。该方法选择性地合并为长短推理链训练的模型层，从而无需重新训练即可高效适应查询复杂性。QA-Merging识别并校准推理模式分歧最大的层，降低计算成本，同时保持在各种基准测试中的性能。
-
新研究发现大型语言模型训练数据中存在“有害延续”
研究人员在用于长链式思考（CoT）痕迹的语言模型（LLM）训练数据中发现了一种称为“有害延续”的现象。当推理过程超出了支持答案的必要范围，并且这种不相关的推理被包含在监督目标中时，就会发生这种情况。实验表明，移除这种结论后的延续可以改善LLM的微调结果，这表明它会对训练产生负面影响。该研究还通过观察持续的局部不确定性和减弱的方向性进展来表征这种有害延续，从而开发了一种称为“有害延续裁剪”（HCC）的代理方法来近似其边界。