JUDGE.md

作者通过严格的评估练习批评自己的LLM裁判

作者详细介绍了他们评估自己开发的两个定制大型语言模型（LLM）裁判有效性的过程。他们采用了一种受Dan Luu启发的​​方法，该方法涉及在看到解释之前识别基准测试中的缺陷。作者根据其LLM裁判的性能数据提出了五个练习，突出了准确性和精确性方面的不一致和需要改进的领域。这些练习揭示了裁判的可靠性问题以及提示更改的影响，即使在使用Haiku 4.5或Sonnet 5等相同底层模型时也是如此。