PulseAugur
中
实时 08:16:19
实体 Irt

Irt

PulseAugur coverage of Irt — every cluster mentioning Irt across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 7
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 6
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 8 条
  1. TOOL · CL_317352 ·

    知识追踪模型:预测准确性与参数恢复的探索

    一篇新发表在arXiv上的研究论文探讨了知识追踪模型的细微差别,特别关注预测准确性是否等同于项目参数的准确恢复。该研究调查了包括LSTM、Transformer和DKVMN在内的各种解码器和编码器架构,发现虽然难度和截距参数恢复良好,但区分度和选项斜率恢复对表征宽度更敏感。研究表明,将项目参数键与序列表征分离可以提高恢复和一致性,而不会牺牲预测准确性。

  2. TOOL · CL_315550 ·

    LLM评分方法分歧,影响模型排名

    创建复合LLM评分的不同方法可能导致排名差异巨大,即使在比较同一组模型时也是如此。平均基准测试提供了一个受控但有限的视角,而像LMArena这样的用户投票系统可以捕捉偏好,但不一定能捕捉能力。通过项目反应理论(IRT)等方法推断隐藏能力可以处理稀疏数据并跟踪进度,但准确性取决于底层基准测试。在解释分数时,重要的是要考虑置信区间和正在测量的特定技能,而不是仅仅依赖于总体排名。

  3. TOOL · CL_300979 ·

    新框架模拟AI辅导对话中的学生知识

    研究人员开发了一个统一框架,用于分析教育对话中的学生互动,超越了仅仅对问题的回答。该框架在一个共享的项目反应理论(IRT)量表上,对学生对直接问题的回答以及他们对导师提出的子任务的参与度进行建模。通过识别并将数学子任务转换为独立的问答,该系统可以更精细地评估学生知识,并跟踪不同互动类型中不断发展的能力。该方法在两个真实的数学教育数据集上进行了评估,与现有方法相比,在预测问题难度和回答正确性方面表现出优越的性能。

  4. TOOL · CL_196095 ·

    新的IRT模型以85%的成本降低高效预测LLM能力

    研究人员开发了一种评估大型语言模型(LLM)的高效成本方法,通过预测它们在未见过任务上的表现。该方法利用了改进的多维度项目反应理论(IRT)模型结合自适应项目选择。该方法在65个模型和超过100,000个项目的数据集上进行了测试,在仅观察到16个项目后,即可预测在保留基准上的表现,平均绝对误差小于7%。此外,通过纳入成本感知因素,评估成本可降低高达85%。

  5. TOOL · CL_174094 ·

    研究发现 HLE 基准衡量的是一般推理能力,而非区分性的 LLM 能力

    一项对 Humanity's Last Exam (HLE) 基准进行的分析新研究发现,其包含 428 道题的多选题子集主要衡量一个单一的一般推理因素,而非区分性的学科领域能力。研究人员应用了心理测量学方法,包括一个 IRT 模型,来评估 29 个大型语言模型。研究结果表明,领域标签仅解释了极少量的方差,并且领域特定的能力估计与总分高度冗余。此外,该基准的测量精度集中在中等能力水平,限制了其有效区分最先进模型的能力。

  6. TOOL · CL_142786 ·

    研究人员使用IRT探索LLM基准规模的收益递减

    研究人员使用项目反应理论(IRT)探索了大型语言模型(LLM)基准规模增加的收益递减问题。他们发现,虽然IRT为衡量每个基准项目所获得的信息提供了理论框架,但由于项目间的相互依赖性,实际数据带来了挑战。该研究表明,未来可能由LLM辅助的基准可以显著扩大,从而使收益递减的计算更加可行。

  7. RESEARCH · CL_79913 ·

    通过问题粒度评估RAG系统的新框架

    研究人员引入了HieraRAG,一个通过分析问题粒度来评估检索增强生成(RAG)系统的分层框架。该框架旨在帮助实践者确定RAG基准测试的最佳详细程度,以最大化其区分能力。一项案例研究生成了超过5000个合成问答对,揭示了最佳粒度因维度而异,复杂性受益于细粒度区分,而其他方面在中间粒度达到峰值。此外,还开发了一种新指标——连贯性比率(Coherence Ratio),用于评估细粒度分割如何很好地细分父类别。

  8. RESEARCH · CL_08621 ·

    研究人员量化并减轻大型语言模型中的社会期望反应

    研究人员开发了一个新框架,用于识别和减少大型语言模型(LLMs)在使用自我报告问卷进行评估时出现的社会期望反应(SDR)。这种SDR是指模型提供符合期望的答案而非诚实答案,这会影响对角色一致性、安全性和偏见的评估结果。所提出的方法通过比较诚实指令和虚假良好指令下的响应来量化SDR,并使用等级强制选择清单来减轻它,结果显示在保留角色恢复能力的同时,SDR显著降低。