Sinan Aksoy

研究发现：LLM相似度评分对文档位置和上下文敏感

一篇题为“文档中的语义针”的新研究论文探讨了大型语言模型（LLM）作为文档相似度裁判时的敏感性。由Sinan Aksoy进行的研究表明，LLM存在位置偏差，当语义差异出现在文档的早期时，会更严厉地惩罚它们。此外，主题不相关的上下文的存在会提高相似度得分，并且虽然所有受测LLM在扰动类型中对否定词的惩罚最严重，但它们的尺度差异很大。该研究提出了一个框架，用于审计和比较不同模型和提示变体下的LLM评分行为。