item response theory
PulseAugur coverage of item response theory — every cluster mentioning item response theory across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的基准测试评估葡萄牙语文本嵌入模型，揭示性能差距
发布了两个新的基准测试 MTEB-PT 和 MTEB-PT（巴西葡萄牙语），专门用于评估葡萄牙语的文本嵌入模型。这些基准测试解决了现有评估中葡萄牙语代表性不足的问题，而现有评估通常依赖于翻译的数据集或多语言平均值。新的基准测试包含大量葡萄牙语原生任务，涵盖语义文本相似性、分类、检索和重新排序等多个类别。初步评估表明，模型性能高度依赖于任务，并且在多语言基准测试上的排名并不能可靠地预测葡萄牙语特定性能，这凸显了进行原生语言评估的必要性。
-
新的BRIDGE框架根据模型性能预测AI任务完成时间
研究人员开发了一个名为BRIDGE 的新框架，该框架使用项目反应理论根据 AI 模型性能来预测人类任务的完成时间。该方法根据各种基准的性能数据估算潜在的任务难度和模型能力。该框架表明，潜在的任务难度与人类完成时间的对数呈线性相关，从而仅凭模型性能即可推断新基准的完成时间。这种方法可以预测未来的模型能力，并重现现有的指数级扩展结果，表明可解决任务的范围大约每六个月翻一番。
-
新的多语言IRT框架提高了LLM评估效率
研究人员开发了多语言IRT，这是一个新的统计框架，扩展了项目反应理论，以应对评估多种语言大型语言模型的挑战。该方法旨在提高效率，减少翻译错误，并更好地区分通用知识和特定文化知识。通过在29种语言的25个LLM上使用MMLU-Pro-X基准测试拟合多语言IRT，该框架证明了其在预测未观察到的实例、更有效地识别翻译错误以及比传统的基于准确率的基线更好地恢复特定文化项目方面的改进。
-
新框架简化了AI模型扩展定律的估算
研究人员开发了一个名为项目反应扩展定律（IRSL）的新框架，该框架将项目反应理论与语言模型扩展定律相结合。这种方法旨在通过将模型能力与问题特征解耦，将估算扩展定律的复杂性从O(M x N)降低到O(M + N)，从而提高效率和通用性。IRSL利用来自LMs的经验反应概率（如token概率或通过率）来推导出更可靠的扩展估算，所需的样本量大大减少，从而能够跨不同基准进行准确的性能预测。
-
AI导师使用可解释的面向难度的知识追踪实现个性化学习
研究人员开发了一个新的框架，用于在利用对话的AI驱动辅导系统中进行可解释的面向难度的知识追踪。该框架在每次交互点显式地建模了学生的能力以及导师呈现的任务难度。通过将项目反应理论与大型语言模型相结合，该系统可以将输出映射到学生能力和问题难度参数，从而提供基于学习理论的学生表现的可解释预测。
-
研究人员探索模型合并技术以结合人工智能能力
两篇新的arXiv论文探讨了新兴的模型合并领域，该领域可以在无需访问原始训练数据的情况下组合独立训练的神经网络。第一篇论文介绍了用于单任务和多任务设置的C$^2$M$^3$和MERGE$^3$等算法，为组合学习能力提供了理论基础。第二篇论文研究了影响合并成功的因素，确定梯度对齐指标是兼容性的关键指标，并提出了面向合并的微调策略。
-
研究人员为知识追踪模型开发选择性预测
研究人员开发了一种方法，通过使知识追踪（KT）模型能够识别不确定的预测来提高其负责任的部署。通过集成使用蒙特卡洛 Dropout 的选择性预测层，模型可以推迟可能不正确的预测。这种方法在不重新训练的情况下显著提高了准确性和 AUC，同时还确保了不同学生能力和问题难度的公平性。研究发现，模型得出的不确定性信号比传统的心理测量方法更有效地用于推迟。
-
AI草稿提升音频描述质量，但质量阈值是关键
研究人员开发了改进音频描述（AD）生成和评估的质量与可扩展性的方法。一项研究介绍了GenAD和RefineAD，这是一个利用AI生成的草稿来显著缩短AD创作时间的流程和界面，前提是草稿达到一定的质量阈值。另一篇论文提出了一种使用项目反应理论来评估人类和视觉语言模型（VLM）评分者在AD质量控制方面的熟练程度的工作流程，发现顶级的VLM可以接近人类评分水平，但缺乏类似人类的推理能力。第三项研究强调了零样本VLM安全分类器由于提示引起的得…
-
LLM 推理和推理技术随着新研究和硬件的进步而发展
研究人员正在探索新的方法来提高大型语言模型 (LLM) 的效率和推理能力。Google Research 正在开发训练 LLM 以贝叶斯方式进行推理的技术，从而提高它们更新概率估计和泛化到新任务的能力。同时，推理优化方面的进展包括“投机级联”，它将更小、更快的模型与更大的模型结合起来，以及“上下文回收”来管理长对话范围。此外，正在开发“级联多粒度剪枝”和“SharQ”等方法来压缩 LLM 以进行设备上推理，从而在保持准确性的同时降低延…