J-Miner

新方法从语言模型中提取可执行决策知识

研究人员开发了J-Miner，一种从微调的语言模型分类器中提取可执行决策知识的新方法。该技术通过聚合模型层和位置的内部信号来挖掘文本级别的命名概念。提取的知识以可检查和可验证的可执行格式表示，能够实现源分类器高达98.3%的决策，并且比仅从输入词中学习到的规则具有更高的行为保真度。此外，这种显式的决策知识可以转移到更小的学生模型中，这些模型保留了原始分类器99.8%的准确性。