The night is long

LLM一致性实验揭示了掩盖真实信号的错误基线

一项实验探讨了大型语言模型（LLM）是否仅凭词长就能从编码消息中准确恢复含义。初步结果表明，模型可以就高于随机水平的一致性达成一致，这与LLM仅投射结构的假设相矛盾。然而，随后的测试逆转了这一发现，突显了实验设计中的一个关键缺陷：使用源自模型自身输出来派生的有限词汇进行对照阅读，人为地提高了同意率指标。这个被抬高的基线掩盖了真实的信号，导致了无效的错误结论。