fake products

新的基准测试FORGE揭示LLM易受虚假评论影响

一个名为FORGE的新基准测试已被开发出来，用于评估增强搜索功能的LLM对网络内容污染的脆弱性。该基准测试模拟了使用虚假评论和促销页面来误导推荐系统的场景。在12种不同的LLM上，研究人员发现，即使一个被污染的页面也可能导致高达27%的虚假产品推荐，当排名前三的搜索结果被污染时，这一比例会上升到73.8%。研究还指出，LLM的推理能力并不能阻止这种脆弱性，并且提出的防御措施，如怀疑提示和共识过滤，效果好坏参半。