实体
Ashwin Ugale
Ashwin Ugale
PulseAugur coverage of Ashwin Ugale — every cluster mentioning Ashwin Ugale across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM评估工具拒绝为损坏的测试评分，优先考虑诚实性
Ashwin Ugale 开发了一个名为 muteval 的新评估工具，旨在为 LLM 测试提供更可靠的评分。与总是输出数值分数的传统工具不同，当底层测试套件损坏、未生成可测试的变异体或错误阻止了完整评估时，muteval 会拒绝提供分数。这种“故障关闭”方法优先考虑诚实性，确保仅在统计上有意义时才给出分数，通常伴随威尔逊95%置信区间以提高精度。
-
新工具'muteval'测试LLM评估的鲁棒性
Ashwin Ugale开发了一个名为muteval的新工具，该工具借鉴了软件工程中的变异测试，用于评估大型语言模型（LLM）评估套件的鲁棒性。Muteval通过修改提示、删除文档或替换模型来故意降低系统性能，然后重新运行现有的评估指标，以识别覆盖范围的不足。对open-rag-eval的早期测试表明，引用检查未能发现一个关键的失败案例，即在缺乏上下文的情况下，模型被允许编造答案，这凸显了对更全面的评估策略的需求。