Enem
PulseAugur coverage of Enem — every cluster mentioning Enem across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
使用 ENEM 考题的 LLM 基准测试显示统计学上的平局，而非明确的赢家
一项旨在利用 ENEM 2024 考试题目评估巴西葡萄牙语大型语言模型 (LLM) 的基准测试显示，一个参数量为 270 亿的模型优于一个参数量为 1200 亿的模型。然而，作者强调，排名前三的测试模型之间的统计学平局意味着排名并不能说明全部情况。该项目旨在通过使用 ENEM 考试的直接考题并考虑文化细微差别，而不是依赖翻译的英文基准测试，为葡萄牙语使用者创建更具情境相关性的评估。
-
新的Distill-SFT方法通过受控的推理迁移提高了医学LLM的准确性
研究人员开发了一种名为Distill-SFT的受控工作流程，通过仔细选择教师推理来提高紧凑型医学语言模型的准确性。研究发现，正确的教师推理将学生模型选择正确答案的概率提高了21个百分点，而不正确的推理则降低了14个百分点。Distill-SFT通过将答案和推理合并为单个目标，在步进式蒸馏方面显示出微弱优势，并且还减轻了在域外数据集上的灾难性遗忘。
-
Google Gemini 为学生推出个性化学习笔记本
Google 在其 Gemini 应用中推出了一项名为学习笔记本的新功能，旨在为学生提供个性化的学习体验。用户可以上传学习材料，如笔记和教学大纲，然后 Gemini 会对其进行分析，生成诊断性测验和定制化课程。该功能包括一个用于跟踪学习进度的仪表板，并正在扩展以支持 SAT、JEE 和 GRE 等各种标准化考试，同时还与 NotebookLM 集成以提供复习资源。
-
研究发现：大型语言模型线性编码作文质量表征
研究人员调查了大型语言模型（LLMs）如何在内部表征作文质量，发现这些信息以一种线性可访问的形式编码在模型的表征中。这些信息在不同层级中逐步涌现，并且在不同的提示策略下保持稳健，甚至在不同的作文提示和评分标准之间部分转移。该研究还识别出与作文分数强相关的特定神经元，并且其行为对干预敏感，从而为理解基于LLM的自动作文评分系统的可解释性提供了新见解。