National Security and Public Safety

新的ROK-FORTRESS基准衡量跨语言和地缘政治的LLM安全

一个名为ROK-FORTRESS的新基准已被开发出来，用于评估大型语言模型（LLMs）在高风险国家安全和公共安全环境中的安全性，特别关注语言与地缘政治细微差别之间的相互作用。该基准使用英语-韩语语言对和美国-韩国地缘政治轴作为案例研究，采用再创作矩阵来独立控制语言和地缘政治基础。初步研究结果表明，韩语版本的模型显示出较低的安全性能，而在某些情况下，地缘政治基础可以进一步缓解这种抑制，这表明仅基于翻译的评估会遗漏关键的安全对齐因素。