Item Response Scaling Laws

新框架简化了AI模型扩展定律的估算

研究人员开发了一个名为项目反应扩展定律（IRSL）的新框架，该框架将项目反应理论与语言模型扩展定律相结合。这种方法旨在通过将模型能力与问题特征解耦，将估算扩展定律的复杂性从O(M x N)降低到O(M + N)，从而提高效率和通用性。IRSL利用来自LMs的经验反应概率（如token概率或通过率）来推导出更可靠的扩展估算，所需的样本量大大减少，从而能够跨不同基准进行准确的性能预测。