实体
Farhad Pashakhanloo
Farhad Pashakhanloo
PulseAugur coverage of Farhad Pashakhanloo — every cluster mentioning Farhad Pashakhanloo across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
随机梯度下降破坏线性自编码器中的尺度对称性，偏好大的解码器权重
研究人员在欠完备线性自编码器中发现了一种现象，其中有限步长的随机梯度下降（SGD）会破坏尺度对称性。此过程偏好主成分分析（PCA）解流形上的大解码器权重，导致定向尺度漂移。虽然这种漂移在解析上是可处理的，但它最终会遇到稳定性边界，导致根据某些度量标准，解具有更尖锐的特征，尽管其他尖锐度度量可能会朝相反方向移动。
-
研究论文警告刺激对称性会混淆神经编码分析
一项新的研究论文强调，网络输入中的对称性会误导表征相似性分析（RSMs）。这些对称性可能导致不同的网络配置在功能上显得等效，但却产生不同的 RSMs，反映了不同的表征几何形状。该研究在训练于图像数据的网络中展示了这个问题，其中潜在的对称性可能导致稀疏、漂移的代码，进而导致 RSMs 的漂移。研究结果强调了在比较非线性神经代码时存在的困难，因为功能等效的表征并非仅仅是旋转的。