实体
SNLPS Irinjalakuda
SNLPS Irinjalakuda
PulseAugur coverage of SNLPS Irinjalakuda — every cluster mentioning SNLPS Irinjalakuda across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的SNLP方法提高了FHE Transformer推理效率
研究人员开发了一种名为层并行推理（SNLP）的新方法，以提高Transformer模型在使用全同态加密（FHE）对加密数据执行计算时的效率。Transformer的传统FHE推理受到非线性运算顺序性的阻碍。SNLP减少了所需的顺序非线性阶段数量，从而显著减少了计算步骤并降低了误差放大。虽然SNLP是对现有FHE友好算子设计的补充，但它并不能取代它们，因为像softmax这样的运算的近似仍然是误差预算中的主要因素。
-
新的SNLP框架加速Transformer推理速度
研究人员开发了一个名为结构化牛顿层并行（SNLP）的新框架，以加速自回归语言模型的推理速度。SNLP通过将隐藏状态轨迹视为一个可解的非线性残差方程，并采用并行牛顿风格的更新来解决Transformer层顺序执行的问题。通过使用架构引起的替代动力学而非精确雅可比矩阵，SNLP可以在不损害困惑度的情况下实现显著的加速，在0.5B模型上最高可达2.58倍。该方法在保持下游任务准确性方面也显示出潜力，并且可以与自推测解码等技术集成。