foreword

新框架“Foreword”利用雅可比透镜预测LLM测试失败

研究人员开发了一个名为Foreword的新框架，以更有效地预测和表征大型语言模型（LLM）的测试失败。该框架利用“雅可比透镜”（J-lens）根据模型的内部状态来表示输入，并从成功的和失败的测试用例中学习。Foreword与逻辑回归或高斯混合模型等估计器配对时，在预测失败和优先排序各种任务和开源LLM的测试用例方面，其性能显著优于Clotho等现有方法。该方法还提供了对失败原因的语义洞察，例如任务规范中的歧义。