TeleTables

新的TeleTables基准测试揭示大语言模型在电信表格解读方面存在困难

一项名为TeleTables的新基准测试已被开发出来，用于评估大语言模型（LLMs）在解读电信工程规范中复杂表格方面的性能。该基准测试包含来自3GPP标准的2,220个表格和500个选择题，结果显示，在不提供外部信息的情况下，当前的大语言模型在领域特定知识方面存在困难，没有通用模型能达到超过41%的准确率。当表格作为上下文提供时，性能会显著提高，但随着推理深度和结构复杂性的增加，准确率会下降，这凸显了大语言模型在技术表格解读方面需要增强推理能力。