Function vectors
PulseAugur coverage of Function vectors — every cluster mentioning Function vectors across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
语言结构影响大型语言模型的上下文学习效果
一篇新的研究论文探讨了语言结构如何影响大型语言模型（LLM）的上下文学习（ICL）的有效性。研究发现，某些语言操作，如前向屈折，可以有效地分摊到潜在的任务表征中，从而实现超越传统ICL的零样本推理。然而，其他操作，如反义词等任意配对，则无法从这种摊销中受益，表现不佳。研究强调，生成性规则比记忆性配对更能有效地编码到潜在表征中，这表明对语言属性的更深入理解是优化LLM性能的关键。
-
新研究探索LLM在不同层级和语言中的情感检测
研究人员正在探索新的方法来增强大型语言模型（LLM）的情感检测能力，方法是研究情感在不同层级和语言中的表示方式。一项研究考察了LLM在社交媒体帖子和叙事等各种文本类型中的情感表达，发现情感的可访问深度因语料库而异，并且对特定模型层级的干预可以显著提高准确性。另一种方法将LLM与答案集编程相结合，以提高情感识别的一致性并降低计算成本，即使在未经微调的情况下也能显示出收益。第三篇论文表明，源自上下文演示的功能向量可以有效地引导LLM在多语…
-
研究发现大型语言模型中的函数向量在翻译方面基本不依赖语言
研究人员调查了函数向量（FVs），即在上下文学习过程中从模型激活中提取的任务表示，是否具有语言无关性。他们以机器翻译为案例，在三种多语言大型语言模型上进行了研究，发现从英语到其他语言的翻译函数向量提高了多种未见过语言的翻译准确性。研究还表明，这些函数向量编码的是一种基本不依赖语言的翻译信号，而不是特定语言对的映射，因为表现最佳的标记和排名靠前的注意力头在各种语言之间是共享的。
-
新理论解释深度Transformer推理机制
研究人员开发了一种新理论，解释了深度Transformer的内部工作原理，将其视为执行分布式推理的均场相互作用系统。该理论引入了“函数向量”作为内部状态表示，使Transformer能够通过其层以渐进精细的尺度推断潜在上下文变量。研究表明，Transformer的深度和前馈块能够实现比以往更复杂的上下文学习算法。
-
新方法通过函数向量改进LLM引导
研究人员开发了一种新的函数向量（FVs）创建方法，用于在上下文学习期间引导大型语言模型（LLMs）。该研究探讨了FV定义的变体，重点关注注意力头选择和引导技术。通过采用基于梯度的归因方法，并结合层级相关性传播（LRP）进行头选择，以及使用分布式方法进行引导，该方法显著提高了引导LLMs的效率和准确性。