FraudSMSWalker

新基准测试大语言模型在短信到网页欺诈检测方面的能力

研究人员推出 FraudSMSWalker，这是一个新的基准，旨在评估代理式大语言模型在检测将用户引导至恶意网页的短信欺诈方面的能力。该基准会隐藏 URL 和其他信誉快捷方式，迫使模型仅依靠短信内容和经过净化的网页证据来做出欺诈判断。初步评估显示，尽管当前的代理模型可以识别一些可疑线索，但它们在保持良性案例的准确性方面存在困难，并且经常基于薄弱的证据做出预测。