Caid

新研究强调了大型语言模型和视觉语言模型中思维链的低效和过度自信

研究人员发现，大型语言模型（LLMs）的思维链（CoT）提示存在低效问题，其中有效但冗余的推理步骤会增加计算成本，但不会提高准确性。新开发的诊断基准 RIV-GSM8K 和一个名为 CAID 的指标，用于识别和惩罚这些“信息泡沫”步骤。一种事后压缩策略 PACE，利用 CAID，在保持准确性的同时，在各种基准测试中显著减少了 token（31-53%）。另外，值得注意的是，视觉语言模型（VLMs）中的 CoT 提示可能导致过度自信，这…