实体 Shankar et al.

Shankar et al.

PulseAugur coverage of Shankar et al. — every cluster mentioning Shankar et al. across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_341399 · Nov 4 · 18:45

LLM 评估必须由实际故障驱动，而非预先编写的评分标准

为检索增强生成 (RAG) 系统构建有效的评估需要一种基于故障的方法，而不是预定义的评分标准。该过程包括收集和分组在系统运行期间观察到的实际故障，指派领域专家来定义标准，然后根据这些已识别的问题创建测试用例。这种方法确保评估基于实际性能，并提供可操作的改进见解，因为传统的静态测试对于动态 LLM 应用来说是不够的。