实体
Irt
Irt
PulseAugur coverage of Irt — every cluster mentioning Irt across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
研究人员使用IRT探索LLM基准规模的收益递减
研究人员使用项目反应理论（IRT）探索了大型语言模型（LLM）基准规模增加的收益递减问题。他们发现，虽然IRT为衡量每个基准项目所获得的信息提供了理论框架，但由于项目间的相互依赖性，实际数据带来了挑战。该研究表明，未来可能由LLM辅助的基准可以显著扩大，从而使收益递减的计算更加可行。
-
通过问题粒度评估RAG系统的新框架
研究人员引入了HieraRAG，一个通过分析问题粒度来评估检索增强生成（RAG）系统的分层框架。该框架旨在帮助实践者确定RAG基准测试的最佳详细程度，以最大化其区分能力。一项案例研究生成了超过5000个合成问答对，揭示了最佳粒度因维度而异，复杂性受益于细粒度区分，而其他方面在中间粒度达到峰值。此外，还开发了一种新指标——连贯性比率（Coherence Ratio），用于评估细粒度分割如何很好地细分父类别。
-
研究人员量化并减轻大型语言模型中的社会期望反应
研究人员开发了一个新框架，用于识别和减少大型语言模型（LLMs）在使用自我报告问卷进行评估时出现的社会期望反应（SDR）。这种SDR是指模型提供符合期望的答案而非诚实答案，这会影响对角色一致性、安全性和偏见的评估结果。所提出的方法通过比较诚实指令和虚假良好指令下的响应来量化SDR，并使用等级强制选择清单来减轻它，结果显示在保留角色恢复能力的同时，SDR显著降低。