KD-Lite

新的TGL-NSGA-II框架增强了TinyML神经网络架构搜索

研究人员开发了一个名为教师引导学习NSGA-II（TGL-NSGA-II）的新框架，以提高进化优化在Tiny Machine Learning（TinyML）神经网络架构搜索中的效率。该方法使用预训练的教师模型按难度和类别对候选样本进行分层，从而实现更专注、更高效的评估过程。通过采用上限知识蒸馏程序和高斯过程代理，TGL-NSGA-II显著降低了评估方差，并与传统方法相比实现了更快的搜索时间，在关键词识别和鸟叫分类任务上表现出改进的性能。