实体
CMMLU
CMMLU
PulseAugur coverage of CMMLU — every cluster mentioning CMMLU across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新框架指导LLM层更新以实现高效的预训练
研究人员开发了LayerTracer，一个用于指导大型语言模型层在持续预训练过程中选择性更新的新框架。该方法分析层的表示演变和敏感性，以识别哪些层对于任务执行和稳定性至关重要。实验表明，与全参数微调或反向策略相比，冻结深层而训练浅层在C-Eval和CMMLU等基准测试上能带来更好的性能。
-
新的K-12知识图谱基准测试大型语言模型课程认知
研究人员开发了K12-KGraph，一个新颖的知识图谱，旨在专门评估和训练K-12教育领域的大型语言模型（LLMs）。该图谱源自官方教材，捕捉了课程结构，包括先决条件和概念关系，超越了简单的事实回忆。为了支持这一点，他们创建了K12-Bench（一个包含23,640个问题的基准测试集）和K12-Train（一个微调数据集）。实验表明，当前的大型语言模型在课程认知方面存在困难，而K12-Train数据集在教育基准测试上显著提高了性能，且样本效率高。