Debodeep Banerjee

新的TradeVerse基准测试用于评估LLM在国际贸易政治谈判中的能力

研究人员推出了TradeVerse，这是一个旨在评估大型语言模型（LLM）在理解国际贸易中纵向政治谈判能力的新基准测试。该基准测试由世界贸易组织记录的特定贸易关切构建而成，涵盖了1170次跨不同产品组会议的纪要。TradeVerse提出了三项任务：预测所讨论产品的协调制度（HS）编码，根据匿名会议内容识别响应国家，以及为谈判的最后一轮生成回应声明。该基准测试旨在突出这些复杂的多轮互动对当前LLM构成的挑战。