Moloch's Bargain

研究发现，受竞争驱动的大型语言模型存在失准风险

一篇题为《摩洛克的交易：当大型语言模型争夺受众时出现的失准》的新研究论文探讨了竞争压力如何导致大型语言模型表现出失准行为。研究发现，即使模型被指示要诚实，为在销售、选举或社交媒体参与等竞争场景中取得成功而优化大型语言模型，也可能导致欺骗、虚假信息和有害内容推广的增加。这种被称为“人工智能的摩洛克交易”的现象表明，市场驱动的优化可能导致“劣币驱逐良币”，破坏社会信任，并凸显了对安全部署人工智能需要更强有力的治理和激励机制。