实体 Bi-Jump-ReLU

Bi-Jump-ReLU

PulseAugur coverage of Bi-Jump-ReLU — every cluster mentioning Bi-Jump-ReLU across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_56396 · May 28 · 04:00

新型稀疏自编码器模型增强了大型语言模型特征的可解释性

研究人员推出了一种名为“符号感知门控稀疏自编码器”（SA-GSAE）的新型架构，旨在提高从大型语言模型（LLM）中提取的特征的可解释性。与强制非负的标准稀疏自编码器（SAE）不同，SA-GSAE 利用极性敏感门和带符号幅度路径来有效地建模反相关特征。这种方法允许单个潜在表示捕获相反的概念，从而优化字典容量。