Banking Conduct Rules

研究发现：Agent框架显著改变LLM对银行规则的遵守情况

一项新的研究论文探讨了固定的大型语言模型（LLM）周围的“框架”如何显著影响其对银行行为规则的遵守情况。研究人员在五种不同的框架配置中测试了四种开源模型，模拟零售银行环境，并评估了对156条银行规则的遵守情况。虽然框架仅略微提高了整体正确案例率，但其对不同模型的影响差异很大，其中一个模型的表现根据所使用的框架从最佳变为最差。研究表明，对于模型风险管理，验证应侧重于模型-框架对，并分析操作日志，而不仅仅是对话记录。