English(EN) Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks

新方法利用 FFN 曲率恢复隐藏的 Transformer 结构

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-01 04:00

研究人员开发了一种新颖的方法，通过检查其曲率来对 Transformer 前馈网络 (FFN) 进行密码分析。该技术利用二阶泄露通道，特别是投影输入 Hessian，来揭示 FFN 内部隐藏的结构信息。即使在无法直接访问模型参数或梯度的情况下，该方法也能高精度地恢复隐藏的 FFN 方向。然后，这种结构恢复可用于创建能够精确模仿原始模型性能的高保真替代模型。 AI

影响这项研究可能通过揭示隐藏的结构属性，为理解和潜在地保护 Transformer 模型带来新方法。

排序理由学术论文，详细介绍了一种分析神经网络架构的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 22 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了一种分析神经网络架构的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Munawar Hasan, Apostol Vassilev · 2026-09-01 04:00

平滑Transformer前馈网络的曲率密码分析

arXiv:2608.28843v1 Announce Type: cross Abstract: We show that smooth two-layer feed-forward networks (FFNs) expose an additional structural model extraction channel under a chosen-input raw-output oracle at the FFN branch; consider transformer FFN branches with GELU or SiLU acti…

本文如何被排名

报道来源 [1]

平滑Transformer前馈网络的曲率密码分析

相关实体

相关话题