FrameBench-HPS

在高风险情境下，LLM的建议会因增益-损失框架而发生显著变化

开发了一个名为FrameBench-HPS的新基准，用于测试大型语言模型（LLM）在医疗、金融、教育和法律等领域的高风险情境下提供建议的方式。该基准显示，当使用增益-损失框架呈现相同概率时，LLM的推荐在超过32%的情况下会发生改变。人类评估证实，即使经过对话释义，这些框架效应也会改变LLM建议的感知风险和指令性。研究表明，标准化概率表示可以显著提高LLM在关键应用中决策支持的一致性。