token embeddings
PulseAugur coverage of token embeddings — every cluster mentioning token embeddings across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法使用自适应提示来增强时间序列基础模型
研究人员开发了 PaCTS，一种新颖的方法，通过使用学习到的 token 嵌入作为紧凑的上下文代理来增强时间序列基础模型 (TSFM)。该方法生成实例自适应的潜在提示，以可见上下文为条件，捕获全局统计信息和局部时间变化。PaCTS 在各种上下文长度和模型架构上显著提高了预测精度，在需要更少计算能力的情况下优于具有更长输入上下文的模型。与现有的权重空间适应方法相比，它还展示了更优越的改进和分布外泛化能力。
-
新研究揭示了 token 嵌入中的几何偏差及其对语言模型训练的影响
三篇新的 arXiv 论文探讨了语言模型中 token 嵌入的几何和统计特性。第一篇论文在 token 嵌入表的原点附近发现了一个“短行中心”，它会夸大内在维度估计值，并表明移除该中心可以使 GPT-2、K3 和 GLM-4.7 等模型的维度读数更加一致。第二篇论文引入了“上下文阶梯”概念，描述了嵌入如何随着训练的进展逐步学习更复杂、依赖于上下文的统计特征。第三篇论文开发了一个将 token 预测与表示几何联系起来的统计框架，展示了预…
-
新的DEW技术为LLM提供鲁棒文本水印
研究人员开发了一种名为双嵌入水印（DEW）的新型文本水印技术，专为大型语言模型（LLM）设计。该方法结合使用token级和上下文级嵌入，并辅以信号处理技术和伪随机矩阵，以嵌入一种能够抵抗释义和翻译的水印。实验表明，即使在发生显著语义变化后，DEW仍能保持文本质量和可检测性，为保护LLM生成的内容和促进负责任的AI部署提供了一种实用的解决方案。
-
新论文表明大型语言模型通过差异制造逻辑学习因果关系
一篇新论文提出，大型语言模型（LLMs）通过一种称为变分归纳的过程学习因果结构，该过程依赖于识别文本数据中的差异制造者。研究认为，LLMs采用一种与实验方法平行的逻辑，即改变环境可以揭示因果关系。这种归纳方法在训练过程中通过处理大量文本来识别有影响力的词语和短语来实现，其中令牌嵌入和自注意力等架构特征起着关键作用。
-
Spectral Retrieval 增强 LLM 代理本地化搜索准确性
研究人员推出 Spectral Retrieval，一种用于大型语言模型 (LLM) 多代理系统的新型即插即用重排阶段。该方法利用跨 token 嵌入的多尺度 sinc 卷积来提高本地化检索准确性，在 per-token MaxSim 和 mean-pool 检索技术之间进行插值。Spectral Retrieval 在基准测试中展示了显著的性能提升，在不要求模型重新训练的情况下提高了召回率和平均倒数排名，使其适用于需要在共享语料库上…