GPUAlert

新工具 GPUAlert 高精度诊断 GPU 训练作业失败

研究人员开发了 GPUAlert，一个新设计的命令行工具，用于诊断 GPU 训练作业中的失败。该工具无需修改训练脚本，通过监视进程边界，在作业完成或失败时发送详细的电子邮件通知。GPUAlert 对失败原因进行分类，包含日志和输出工件，并围绕可靠性原语进行组织，以确保即使电子邮件服务不可用也能可靠地传递通知。该系统在一个包含 15 个失败类别的 474 个 GPU 训练日志的标记语料库上实现了 0.997 的宏 F1 分数，显著优于更简单的方法。