实体
Amirhossein Mohammadi
Amirhossein Mohammadi
PulseAugur coverage of Amirhossein Mohammadi — every cluster mentioning Amirhossein Mohammadi across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
GPT-2 模型在重构任务中表现出对信息局部性的架构偏见
研究人员调查了语言模型如何从扰动输入中重构自然英语，重点关注信息局部性。他们对在不可能的语言上预训练的 GPT-2 模型进行了微调，以恢复经受三种扰动类型的英语文本。研究发现，恢复的结构表现出较短的依赖长度，表明存在对局部性的架构偏见，并且随着局部性扰乱程度的增加，恢复难度也随之增加。研究结果表明，信息局部性是语言模型学习和重构的关键约束。
-
新方法可训练非常深层的预测编码网络
研究人员提出了一种名为高速公路误差传播（HEP）的新方法，以应对训练非常深层的预测编码网络（PCN）的挑战。传统的PCN在深层架构中学习信号衰减迅速的问题，阻碍了它们在浅层网络之外的有效性。HEP通过直接将隐藏状态与输出误差耦合的反馈矩阵修改PCN的结构，确保无论网络深度如何，都能获得一致的校正信号。该方法在MNIST和Fashion-MNIST等基准测试中成功训练了多达128层的多层感知机，展示了强大的准确性。
-
新的AMAR框架使用Wi-Fi CSI进行多用户活动识别
研究人员开发了AMAR，一个新颖的、基于注意力的框架，用于使用Wi-Fi信道状态信息（CSI）同时识别多种人类活动。该系统通过将活动识别构建为集合预测问题，解决了多用户环境中CSI模式重叠的挑战。AMAR采用基于Transformer的架构，具有用于活动检测的专用查询嵌入，并采用边缘-云分离设计以减少带宽需求，与现有方法相比，在预测准确性和占用率估计误差方面取得了显著改进。