PulseAugur
中
实时 08:45:50
English(EN) Otters++: A Time-to-first-spike Based Energy Efficient Optical Spiking Transformer

新型光学脉冲式Transformer实现节能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了Otters++，这是一种新颖的光学脉冲式Transformer，它利用光电器件中的自然信号衰减来实现节能推理。该方法直接利用定制In$_2$O$_3$光电突触的衰减进行首次触发时间计算，无需显式的数字衰减计算。Otters++采用了一种混合训练方法，结合了设备忠实的SNN前向传播、QNN直通梯度和模型蒸馏，以实现训练并提高对硬件噪声的鲁棒性。该系统在GLUE数据集上取得了84.17%的平均得分，同时与现有的脉冲式Transformer基线相比，显示出显著的节能效果。 AI

影响 这项研究可能为推理带来更节能的人工智能硬件，特别是对于Transformer模型。

排序理由 这是一篇描述新颖人工智能模型架构和训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Zhanglu Yan, Jiayi Mao, Kaiwen Tang, Fanfan Li, Gang Pan, Tao Luo, Bowen Zhu, Qianhui Liu, Weng-Fai Wong ·

    Otters++: A Time-to-first-spike Based Energy Efficient Optical Spiking Transformer

    arXiv:2606.13016v1 Announce Type: new Abstract: Spiking neural networks (SNNs) are promising for energy-efficient inference, and time-to-first-spike (TTFS) coding is especially attractive because each neuron fires at most once. In practice, however, this benefit is often reduced …

相关话题