Fish and Game Wardens

新的ORQA框架测试LLM职业知识；Claude和GPT领先

研究人员开发了ORQA，一个旨在评估大型语言模型职业特定知识的新框架。该方法将O*NET职业与权威网站连接起来，生成可追溯来源的问答对。该框架涵盖116种职业，包含来自187个网站的480个问题，重点关注现实世界的技能相关性。在测试中，Claude Opus 4.6、GPT-5.4和Claude Sonnet 4.6表现最佳，准确率约为58-62%，而较小的开源模型表现为33-41%。