SpeakPay

Whisper针对尼泊尔金融语音指令进行微调，提升可访问性

研究人员开发了SpeakPay，这是一款语音优先的数字钱包，旨在帮助尼泊尔的视障用户。核心技术贡献是使用LoRA在Whisper large-v2模型上进行域自适应微调。这种微调应用于一个包含403个尼泊尔金融指令的新数据集NepFinSpeech-403，将词错误率从129.95%显著降低到42.58%，并将交易成功率提高了约20倍。研究还发现，仅需100条特定领域的话语就能使错误率减半，而性能在大约300个样本后趋于稳定。