BatchInferenceDialog.tsx

本地LLM在文本标注方面存在一致性问题，尽管准确率很高

一项近期实验探讨了本地大型语言模型（LLM）在文本标注方面的有效性，特别是使用了Qwen2.5 3B Instruct模型。当任务是将312条客户评论分类为“表扬”、“投诉”或“问题”时，模型取得了很高的准确率，在响应转换为小写后，正确标注了312条评论中的311条。然而，模型在输出方面表现出不一致性，生成了六种不同的英文标签变体，以及由于分词问题导致无法分类的日语“不溝”。这凸显了即使LLM理解核心任务，在确保其输出一致且可预测方面仍存在挑战。