研究人员开发了一种使用稀疏交叉编码器的新方法，用于跟踪大型语言模型在预训练过程中语言特征的出现和巩固。该技术包括一个名为相对间接效应（RelIE）的新指标，有助于识别特定能力何时对任务性能产生因果重要性。该方法不依赖于特定架构且可扩展，为分析大型语言模型中的表征学习提供了一种更具可解释性的方式。另外，另一项研究探讨了使用大型语言模型检测卢森堡语新闻评论中的语言意识形态，这是一种在训练数据中代表性有限的小语种。研究调查了机器翻译成高资源语言是否能提高大型语言模型在此任务上的性能，表明尽管存在当前的优化限制，大型语言模型可以成为识别意识形态内容的实用工具。 AI
影响 提供了理解大型语言模型内部表征的新方法，并探讨了大型语言模型在社会语言学分析中的效用。
排序理由 该集群包含两篇在arXiv上发表的学术论文，一篇详细介绍了一种分析大型语言模型预训练的新方法，另一篇探讨了大型语言模型在社会语言学中的应用。
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →
arXiv:2509.05291v2 Announce Type: replace-cross Abstract: Large language models (LLMs) learn non-trivial abstractions during pretraining, such as detecting irregular plural noun subjects. However, because traditional evaluation methods (e.g., benchmarking) fail to reveal how mode…
arXiv:2604.27661v1 Announce Type: new Abstract: Detecting language ideologies is a valuable yet complex task for understanding how identities are constructed through discourse. In Luxembourg's multicultural and multilingual society, language ideologies reflect more than simple pr…
Detecting language ideologies is a valuable yet complex task for understanding how identities are constructed through discourse. In Luxembourg's multicultural and multilingual society, language ideologies reflect more than simple preferences: they carry deep cultural and social m…
Detecting language ideologies is a valuable yet complex task for understanding how identities are constructed through discourse. In Luxembourg's multicultural and multilingual society, language ideologies reflect more than simple preferences: they carry deep cultural and social m…