Cohen's kappa
PulseAugur coverage of Cohen's kappa — every cluster mentioning Cohen's kappa across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
SynthAVE使用LLM竞技场进行可扩展的电子商务数据标注 · 跟踪2个来源
研究人员开发了SynthAVE，一种用于在工业规模上为电子商务属性提取生成和验证合成标签的新颖系统。这种方法解决了对大量产品类型、属性和所需语言进行人工标注的成本过高问题。SynthAVE利用多LLM竞技场框架，其中21种不同的评判配置评估样本，最终标签由多数投票决定。这种集成方法与人类专家达成高度一致（Cohen's \u03kappa = 0.92），证明了其在成本效益高、高质量数据验证方面的有效性。
-
研究发现 LLM-as-judge 工具未能优先考虑人类验证
最近对六种 LLM-as-judge 工具的评估显示，大多数工具优先生成分数，而不是确保分数的可靠性。作者认为，法官根据人类标签进行的验证，通过 Cohen's kappa 等指标衡量，比原始评分性能更关键。DeepEval、Confident AI、Evidently、Braintrust、Promptfoo 和 Future AGI 等工具被审查，发现没有一个默认将法官-人类一致性计算作为其主要功能，将这一关键验证步骤留给了用户。
-
LLM被分析用于药物使用社区中的自我污名支持 · 跟踪2个来源
研究人员开发了分析在线社区（特别是Reddit）中使用药物的个体所表达的自我污名的方法。一项研究创建了一个代码簿，将自我污名分为认知、情感和行为领域，发现行为指标通常先于内化指标出现，并且自我污名是一种综合现象。第二项研究探讨了使用感知个性的LLM提供定制化支持，识别出四种不同的自我污名表达个性。虽然与个性匹配的LLM响应在实现目标行为转变方面显示出潜力，但专家评估者更喜欢非感知个性的基线模型的通用共情，这突显了LLM支持设计中临床对…
-
新框架衡量大学计算机科学课程与全球标准的对齐程度
开发了一个新框架，用于衡量大学计算机科学项目与国际课程指南（特别是 CS2013 和 CS2023）的对齐程度。这个人工干预的流水线将项目和指南表示为结构化语料库，使用语义检索来识别课程与知识单元的匹配项，然后由人工判断进行确认。该研究纵向应用于一个获得认证的理学学士项目，发现该项目覆盖了 CS2013 和 CS2023 大约 50% 的知识单元，并且在过去十年中覆盖率保持一致。虽然能力阐述保持较高水平，但与 CS2013 相比，该项…
-
研究发现，LLM作为评委模型存在显著的可靠性和偏差问题
一项对LLM作为评委模型进行评估的新研究揭示了其在可靠性和有效性方面存在的显著问题。该研究分析了21个评委模型在多个基准测试和超过541,000个判断中的表现，发现像精确匹配一致性这样的常用评估指标系统性地夸大了模型的区分能力。主要发现包括：使用Cohen's kappa与精确匹配相比，分数普遍下降；评委排名在不同基准测试中发生显著变化；以及一种悖论，即某些已部署的评委模型在具有高重测信度的情况下，却存在严重的定位偏差。
-
大型语言模型在识别失语症评估的话语单元方面显示出潜力
一篇新的研究论文探讨了使用指令微调的大型语言模型（LLMs）对失语症话语中的正确信息单元（CIUs）进行分类。研究发现，虽然零样本提示不足，但少样本提示显著提高了 Llama 3.1:8b、qwen2.5:7b 和 mistral:7b 等模型的性能，取得了与人类标注者相当的结果。然而，大型语言模型显示出高召回率但较低的精确率，表明它们倾向于过度分类代币为 CIUs，并且性能随失语症的严重程度而变化。
-
LLM 裁判评估需要数百个标签才能获得可靠结果
最近一篇文章强调了在使用 LLM 作为 AI 模型评估裁判时，需要更大的评估数据集。作者解释说，使用小型临时数据集的常见做法不足以实现可靠的校准。为了使具有中等一致性（Cohen's kappa 为 0.4-0.6）的 LLM 裁判达到 0.10 的 95% 置信区间，大约需要 200-400 个配对标签，这远多于许多团队通常使用的 50 个标签。文章提供了计算这些需求和执行裁判之间统计比较的数学推理和代码示例。
-
LLM系统助力激光粉末床熔融中的可解释缺陷分析
研究人员开发了一种新的决策支持系统，该系统结合了关于缺陷的结构化知识和大型语言模型（LLM），用于分析和指导激光粉末床熔融（LPBF）制造中的缓解策略。该系统利用了集成本体的LLM，其中包含一个包含27种缺陷类型及其因果关系的知识库。它支持自然语言查询以获取缺陷解释和缓解建议，并包括一个多模态图像评估模块，用于解释缺陷图像。评估显示，集成系统取得了0.808的宏平均F1分数，展示了改进的一致性和可解释性。