Streams

新框架通过模拟客户阻抗来评估咨询中的LLM

研究人员开发了一个新框架，用于评估大型语言模型（LLM）在心理咨询环境中的应用。目前的基准测试通常使用很快就会变得顺从的模拟客户，这给人一种虚假的治疗进展印象。提出的基于认知行为疗法（CBT）的方法引入了CARS，一个使用认知概念图（CCDs）模拟动态阻抗的客户模拟器，以及STREAMS，一个通过强化学习优化的用于战略推理和响应生成的双模块框架。还引入了一个熵加权指标EWTS-MI，用于评估在挑战性互动中的响应能力。