Irene Solaiman

Hugging Face首席政策官：AI评估器面临可复现性和标准化挑战

Hugging Face首席政策官Irene Solaiman表示，嵌入式AI评估器并非评估AI模型性能的简单解决方案。她强调了可复现性方面的挑战以及评估方法缺乏标准化的问题，并指出当前系统是一门“不断发展的科学”。Solaiman还提到，评估器的有效性，特别是像Anthropic聘请的Accenture这样的第三方评估器，值得怀疑，并且评估需要考虑模型周围的整个系统，包括工具链和代理，而不仅仅是模型本身。