Zipf's law

新的WavePhaseNet方法从理论上将LLM幻觉与结构限制联系起来

研究人员开发了WavePhaseNet，一种用于构建大型语言模型（LLM）中语义概念层级结构（SCHS）的新方法。该方法使用测度论和频率分析重新构建注意力机制，从理论上证明幻觉是固有的结构限制。该方法利用离散傅里叶变换（DFT）将语义信息分解为频带，从而能够精确地操作和减小嵌入空间。通过将GPT-4的嵌入空间从24,576维减小到约3,000维，作者声称在保留含义和意图的同时，能够通过同调正则化实现严谨推理并抑制幻觉。