研究人员开发了一个用于优化大型语言模型数据选择的新框架，使用高效代理将数据加权适应特定任务和模型。另一项研究调查了大型语言模型隐藏状态中的范畴知觉，发现在各种模型家族的数字计数边界处存在几何扭曲。这种被称为“结构化范畴知觉”的扭曲效应似乎是一种独立于显式语义知识的架构属性。 AI
影响 这些研究为提高大型语言模型的训练效率和理解其内部表征提供了见解，可能带来更强大、更鲁棒的模型。
排序理由 该集群包含两篇学术论文，详细介绍了大型语言模型行为和优化的新研究发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Data selection is a key component of efficient instruction tuning for large language models, as recent work has shown that data quality often matters more than data quantity. Accordingly, prior studies have introduced various multi-dimensional heuristics to evaluate and filter in…
arXiv:2603.28258v2 Announce Type: replace Abstract: Categorical perception (CP) -- enhanced discriminability at category boundaries -- is among the most studied phenomena in perceptual psychology. This paper reports that analogous geometric warping occurs in the hidden-state repr…