Dual Chunk Attention

AI研究框架GAL通过发现和修复弱点来自动化自我改进

研究人员引入了生成对抗循环（GAL），这是一个新颖的框架，旨在通过使系统能够发现自身的弱点并开发解决方案来自动化AI研究的进展。GAL采用生成器-判别器设置，其中判别器代理识别当前AI技术的缺陷，生成器代理发现克服这些已识别弱点的算法。这种方法在改进KV压缩、稀疏视频生成、稀疏注意力以及上下文扩展等任务的性能方面取得了成功，在对抗性和已建立的基准测试中均优于现有的最先进方法。