实体
exact match
exact match
PulseAugur coverage of exact match — every cluster mentioning exact match across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新西兰发布信息公开流程建模本体
研究人员开发了FOI-O，一个旨在对信息公开（FOI）请求相关流程进行建模和分析的新本体和验证框架。该系统专门针对新西兰的《官方信息法》，旨在梳理和阐明FOI请求记录中复杂的、常常混合了通信、系统状态和法律结果的数据。FOI-O提供了一种标准化方法来表示请求档案、事件和元数据，并支持JSON、Python、SKOS、OWL、RDF和SHACL等格式的配套资产，以及流程模型和导出示例。
-
LLM judges outperform traditional metrics in extractive QA evaluations
研究人员评估了使用大型语言模型（LLM）作为抽取式问答任务的 judge 的有效性。他们的研究发现，LLM-as-a-judge 方法与人类评估的相关性远高于精确匹配和 F1 分数等传统指标，与开源模型的相关性高达 0.85。LLM judge 在数值答案方面表现良好，但在处理职位名称等复杂类型时遇到困难，并且值得注意的是，即使是同一个模型回答和 judge，也没有观察到自我偏好偏差。提示措辞影响很小，零样本、无上下文的 judge …