Swallow-8B

提示使用日语时，大型语言模型编造日本法律条文的频率更高

开发了一个新的基准测试，用于检验大型语言模型（LLMs）在多大程度上能依据实际的日本法律条文来回答问题。该基准测试使用了包含超过6900条法律条文的官方e-Gov法律API v2，来验证LLMs引用的准确性。测试结果显示，当使用日语提示时，三分之二的本地LLMs编造法律条文的频率高于使用英语提示时，这表明存在与语言相关的 grounding 问题。