实体
llm_eval
llm_eval
PulseAugur coverage of llm_eval — every cluster mentioning llm_eval across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM 测试包修复了带 Markdown 围栏的 JSON 验证错误
The `llm_eval` Dart 包已发布 0.3.1 版本，以解决其 `Check.isValidJson` 函数中的一个关键错误。以前，该函数在 JSON 被包含在 Markdown 代码围栏（许多 LLM 的常见输出格式）内时，无法识别有效的 JSON。这导致持续集成测试中出现虚假失败，将正确的模型输出误报为错误。此修复程序通过修改 `Check.isValidJson` 函数来实现：首先尝试解码原始输出，如果因 `For…
-
LLM 评估缓存缺陷揭示：嵌套评判模型调用绕过了缓存
一位开发者发现其 LLM 评估缓存系统中存在一个缺陷，其中嵌套的“评判”模型调用未被缓存，导致持续集成 (CI) 运行中出现意外成本和非确定性结果。问题源于缓存仅跟踪主要的测试模型，而未跟踪用于评分的次要评判模型。解决方案是将评判模型调用包装在缓存机制内，确保主模型和评判模型的响应都存储在缓存中并从中检索，从而使 CI 运行真正免费且确定。