ARM dotprod/SDOT

INT8 量化可移植性研究揭示硬件间的不一致性

一项新研究挑战了 INT8 量化在不同硬件平台之间可普遍用于人工智能推理的假设。研究人员发现，INT8 的加速效果在很大程度上取决于特定的 CPU 指令集，某些硬件甚至出现了性能下降而非加速。此外，INT8 的输出在不同平台之间并不一致，当量化比例不是硬件原生支持时，会导致准确性下降。研究得出结论，对于确定性和准确性至关重要的嵌入式和汽车应用而言，“一次量化，随处部署”的方法并不可靠。