实体
Function vectors
Function vectors
PulseAugur coverage of Function vectors — every cluster mentioning Function vectors across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论解释深度Transformer推理机制
研究人员开发了一种新理论，解释了深度Transformer的内部工作原理，将其视为执行分布式推理的均场相互作用系统。该理论引入了“函数向量”作为内部状态表示，使Transformer能够通过其层以渐进精细的尺度推断潜在上下文变量。研究表明，Transformer的深度和前馈块能够实现比以往更复杂的上下文学习算法。
-
新方法通过函数向量改进LLM引导
研究人员开发了一种新的函数向量（FVs）创建方法，用于在上下文学习期间引导大型语言模型（LLMs）。该研究探讨了FV定义的变体，重点关注注意力头选择和引导技术。通过采用基于梯度的归因方法，并结合层级相关性传播（LRP）进行头选择，以及使用分布式方法进行引导，该方法显著提高了引导LLMs的效率和准确性。