Transformer Based Language Models
PulseAugur coverage of Transformer Based Language Models — every cluster mentioning Transformer Based Language Models across labs, papers, and developer communities, ranked by signal.
-
新框架提升临床神经科学 AI 可解释性
研究人员开发了一个新框架，以提高 Transformer 语言模型的可解释性，特别是在阿尔茨海默病诊断等临床神经科学应用中。该方法通过提取单义特征，整合了归因和机制可解释性，旨在减少现有方法中出现的变异性。该框架产生稳定的输入级重要性分数和解压缩表示，这对于在认知健康领域安全可靠地部署语言模型至关重要。
-
综述发现 Transformer 编码了重要的句法知识
对 337 篇文章的系统性综述表明，基于 Transformer 的语言模型 (TLMs) 拥有大量的句法知识。虽然这些模型在形式句法任务上表现良好，但在句法-语义接口和对数字支持较少的语言上的表现较弱。尽管有句法知识的证据，但当前的研究方法过于多样化和观察性，无法完全理解其底层的计算机制，并且研究高度集中在英语和类 BERT 模型上。
-
研究人员通过微调诱导语言模型产生类病理行为
研究人员开发了一个新的框架来微调语言模型，诱导出抑郁和偏执等特定的行为模式。该过程会修改模型的策略，导致其生成分布发生稳定、与上下文无关的转变，例如为负面和与威胁相关的解释分配更高的概率。研究表明，这些诱导的行为特征具有部分特异性，不同的训练目标会导致不同的响应倾向，这表明结构化的行为训练可以塑造大型语言模型中出现的表征结构。
-
循环Transformer：增强语言模型的新架构
本文介绍了循环Transformer的概念，这是一种新颖的语言模型架构，旨在提高上下文理解和动态表示能力。文章解释了传统Transformer模型如何通过注意力机制和层内学习到的变换来更新token表示。文章还触及了人工智能领域关于模型能力是更多源于规模还是数据质量的长期争论。