实体
Alexander Kozachinskiy
Alexander Kozachinskiy
PulseAugur coverage of Alexander Kozachinskiy — every cluster mentioning Alexander Kozachinskiy across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新研究使用索引原语分析深度学习瓶颈
一篇新的研究论文引入了“因果复杂度”的概念，用于分析各种深度学习架构（包括RNN、Transformer和状态空间模型）中的信息瓶颈。该研究侧重于“索引原语”，即模型必须根据索引输出输入序列中特定比特的值。研究结果表明，因果复杂度低的架构在执行此任务时会遇到困难，尤其是在索引出现在序列的后期时，而某些Transformer变体则表现出卓越的性能。
-
新的MBLG框架实现了多项式时间生成
研究人员开发了一个错误有界语言生成（MBLG）框架的多项式时间版本。这个新框架表明，奇偶校验和文字合取族可以在多项式时间内生成。一个关键发现是，具有多项式数量最大项的单调布尔函数是多项式时间MBLG，这一类别包含了所有可由多项式大小决策树计算的单调布尔函数。所采用的技术涉及一种新颖的组合游戏。
-
AI理论论文表明Transformer在奇偶性任务上至少需要两层
研究人员证明，两层Transformer模型是计算PARITY任务（确定二进制序列中1的数量是偶数还是奇数）所需的最低层数。他们证明，单层Transformer由于其平均敏感性增长慢于PARITY，因此无法解决该问题。此外，一种新的构造表明，PARITY可以通过四层Transformer计算，而无需长度依赖的位置编码或hardmax等不切实际的假设，并且与因果掩码兼容。