perturber

新的“perturber”工具支持可复现的 LLM 鲁棒性测试

研究人员开发了“perturber”，这是一个无状态服务和 Python 库，旨在应用语义保留文本扰动来评估大型语言模型。该工具允许在 11 个类别中系统地应用 68 种不同的扰动，无论执行环境如何，都能实现可复现且相同的输出。该项目包括一个实时演示平台、一个用于基准选择的可内省目录以及一个一键式评估功能，重点关注工具的正确性和可复现性，而不仅仅是模型鲁棒性。