一款名为EntropyBeam的新语言模型在nanoGPT莎士比亚基准测试中表现出卓越的性能，其交叉熵低于nanoGPT模型。EntropyBeam在没有可训练参数的情况下运行，通过计算将字符上下文映射到下一个字符频率的计数表，在单通道中完成学习。虽然它比nanoGPT的学习参数（60,192个）存储更多的数据（270万个上下文-转换条目），但它通过加权几何平均值组合多个加权顺序的独特方法实现了更高的准确性。 AI
影响 引入了一种新颖的、无参数的语言建模方法，在字符级任务上取得了有竞争力的结果。
排序理由 该条目描述了一个新的语言模型及其在特定基准测试上的性能，符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
