Lion optimiser

全晶体管物理学习Transformer实现上下文学习

研究人员开发了一种新颖的全晶体管物理学习Transformer，能够执行上下文学习。这种新设计解决了现有平衡传播系统在处理乘法等复杂非线性运算（注意力机制所需）时的局限性。通过整合额外的电路元件并利用亚阈值MOSFET器件的特性，模拟的Transformer成功学习了上下文任务，即使在梯度信息近似的情况下也是如此。训练过程使用了交叉熵损失和Lion优化器，该优化器每个参数所需的内存极少。