实体
Function vectors
Function vectors
PulseAugur coverage of Function vectors — every cluster mentioning Function vectors across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
研究发现大型语言模型中的函数向量在翻译方面基本不依赖语言
研究人员调查了函数向量（FVs），即在上下文学习过程中从模型激活中提取的任务表示，是否具有语言无关性。他们以机器翻译为案例，在三种多语言大型语言模型上进行了研究，发现从英语到其他语言的翻译函数向量提高了多种未见过语言的翻译准确性。研究还表明，这些函数向量编码的是一种基本不依赖语言的翻译信号，而不是特定语言对的映射，因为表现最佳的标记和排名靠前的注意力头在各种语言之间是共享的。
-
新理论解释深度Transformer推理机制
研究人员开发了一种新理论，解释了深度Transformer的内部工作原理，将其视为执行分布式推理的均场相互作用系统。该理论引入了“函数向量”作为内部状态表示，使Transformer能够通过其层以渐进精细的尺度推断潜在上下文变量。研究表明，Transformer的深度和前馈块能够实现比以往更复杂的上下文学习算法。
-
新方法通过函数向量改进LLM引导
研究人员开发了一种新的函数向量（FVs）创建方法，用于在上下文学习期间引导大型语言模型（LLMs）。该研究探讨了FV定义的变体，重点关注注意力头选择和引导技术。通过采用基于梯度的归因方法，并结合层级相关性传播（LRP）进行头选择，以及使用分布式方法进行引导，该方法显著提高了引导LLMs的效率和准确性。