Banking77
PulseAugur coverage of Banking77 — every cluster mentioning Banking77 across labs, papers, and developer communities, ranked by signal.
-
新方法利用MiniLM嵌入改进范围外意图检测
研究人员开发了一种新颖的多簇边界学习方法，用于范围外（OOS）意图检测，并利用了MiniLM嵌入。该方法解决了传统OOS检测中的挑战，例如已知意图越多准确性越低以及LLM嵌入方法的高参数要求。所提出的技术从MiniLM生成的多簇嵌入中学习边界，有效拒绝了域外语句。在CLINC150、StackOverflow和Banking77数据集上的实验证明了其最先进的性能。
-
开发者发现小型模型通常足以应对AI任务
一位开发者探索了针对银行意图任务微调不同大小语言模型的可能性，发现使用LoRA和QLoRA等技术，一个参数量为2.7亿的小型模型达到了与参数量为15亿和70亿的大型模型相似的准确率。实验表明，对于更简单的任务，小型模型更高效且成本效益更高；而对于复杂的推理、处理有限数据、支持可切换适配器的多任务处理，或在规模化应用中边际精度提升至关重要时，则需要更大的模型。最终，开发者得出结论，将模型大小与特定需求相匹配比仅仅选择可用模型中最大的更重…
-
小型模型 vs. 大型模型：银行意图的微调效率
一位开发者探索了针对银行意图分类任务微调各种语言模型，发现一个参数量为2.7亿的小型模型，在使用LoRA和QLoRA等不同微调技术的情况下，取得了与参数量为15亿和70亿的大型模型相当的准确率。实验表明，对于更简单的任务，小型模型更高效且成本效益更高，而当需要更复杂的推理、多任务处理或处理非常有限的数据时，大型模型则变得有必要。在所有模型规模中持续存在的“卡片到达”（card_arrival）和“卡片交付估算”（card_delive…
-
新的OCRR基准衡量AI模型通过纠正从分布变化中恢复的能力
研究人员推出OCRR，这是一个新的基准，旨在评估机器学习系统通过在线纠正从分布变化中恢复的程度。与静态基准不同，OCRR模拟了模型遇到新数据类别并必须适应的现实世界场景。该基准衡量了在应用纠正时，新类别上的准确性以及原始数据上准确性的保留情况。