PulseAugur
中
实时 22:42:27
English(EN) Our few-shot examples came from the eval set. The 0.94 was fiction.

LLM工单路由准确性因数据污染而膨胀

作者 PulseAugur 编辑部 · [1 个来源] ·

一位开发者发现，由于数据污染问题，他们基于LLM的工单路由系统的报告准确率0.94是虚假的。该系统使用了一个动态少样本选择器，该选择器从用于评估的同一数据集中提取示例。这意味着模型基本上是从评估集中复制正确答案，这些答案作为最近邻包含在提示中。当针对原始数据集中不存在的数据进行测试时，该系统的真实准确率接近0.79。 AI

影响 强调了在LLM开发中进行严格评估实践和数据卫生的关键需求，以防止性能指标膨胀。

排序理由 该条目描述了LLM系统评估方法中的一个缺陷，而不是新的模型发布或重大的行业事件。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM工单路由准确性因数据污染而膨胀

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Ethan Walker ·

    Our few-shot examples came from the eval set. The 0.94 was fiction.

    <p>TL;DR. Our ticket-routing eval scored 0.94 for five weeks. The number was manufactured. We had built a dynamic few-shot selector that retrieved the eight nearest labeled examples for each input, and we built its index out of the same labeled_tickets.jsonl the eval set was samp…

相关话题