IWIBench

新的基准 IWIBench 测试 LLM 直接编辑模型权重的能力

引入了一个名为 IWIBench 的新基准，用于评估大型语言模型在不使用梯度的情况下直接编辑较小模型权重的能力。这种称为内部权重注入的方法可以修改模型的行为，例如改变事实知识或强制输出格式。早期结果表明，Astra 和 GPT-6.1 Sol 等领先模型在性能上存在显著差异，它们表现优于其他模型，而结构化响应等任务仍然具有挑战性。