voiceeval

LLM 评估工具：为准确性和细微差别选择合适的评分器

评估大型语言模型（LLM）应用需要一种细致入微的方法，超越像 BLEU 和 ROUGE 这样的简单指标，或仅仅依赖 LLM 判断。关键在于为每种特定类型的错误选择最合适且最具成本效益的评分方法，从规范答案的精确字符串匹配，到更复杂的嵌入相似性或针对细微响应的 LLM 判断。对于语音应用，专门的评分器对于处理诸如听错数字或时序等简单转录分析会丢失的问题至关重要。