Positional embeddings for document processing
PulseAugur coverage of Positional embeddings for document processing — every cluster mentioning Positional embeddings for document processing across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
SemiAnalysis 探讨语言模型的先进位置嵌入技术
SemiAnalysis 正在探索语言模型的先进位置嵌入技术，超越像 RoPE（旋转位置嵌入）这样的标准方法。该分析深入研究了包括群论在内的数学框架，以理解和潜在地改进模型处理序列数据的方式。虽然 RoPE 被 DeepSeek 和 Qwen 等模型广泛使用，但研究表明，替代的、更复杂的嵌入可能会带来好处，尽管它们伴随着计算上的权衡。
-
新的 SARA 攻击绕过了 Vision Transformer 的隐私防御
一篇新的研究论文详细介绍了一种名为 SARA 的特征反演攻击，该攻击可以从分割推理系统中传输的 Vision Transformer (ViT) 嵌入中重建输入图像。该攻击表明，Token 打乱提供的隐私保护很小，而 Token 缩减提供了一些保护，但仍然允许大量信息泄露。研究人员还提出了一种涉及移除位置嵌入和知识蒸馏的边缘端防御机制来缓解这些攻击。
-
新研究增强 Transformer 位置编码以更好地理解语言
两篇新研究论文探讨了 Transformer 模型位置编码的进展，旨在提高它们对 token 顺序和句法结构的理解。第一篇论文全面 survey 了现有方法，从绝对和相对嵌入到旋转位置嵌入 (RoPE) 及其长上下文扩展，强调了通过各种任务评估上下文扩展的重要性。第二篇论文引入了语法感知位置嵌入 (SiPE)，它将依赖解析的句法信息集成到位置嵌入中，在不增加推理成本的情况下，在 SyntaxGym 和 GLUE 等基准测试中显著提高了…