UltraFeedback-Extended

新的PP-Rank框架利用人类和AI反馈改进LLM评估

研究人员开发了一个名为预测驱动排名（PP-Rank）的新框架，以提高大型语言模型（LLM）排名的效率和准确性。该方法结合了人类反馈和LLM裁判的预测，后者获取成本较低。PP-Rank旨在处理LLM裁判的偏见和自适应数据收集的挑战，即使在人类输入有限的情况下也能提供有效的推理和更精确的排名。在UltraFeedback-Extended数据集上的实验表明，PP-Rank可以在不影响精度的情况下显著降低评估成本。