数学家 Terence Tao 解释说，预测语言模型的能力之所以困难，是因为训练的数学相对简单，而数据却很复杂且未被完全理解。他指出，概率论可以处理随机或高度结构化的数据，但自然文本部分结构化，仍然是一个没有充分数学描述的领域。这种对数据理解的差距，而不是训练算法本身，是 LLM 性能不可预测的主要原因。 AI
影响 解释了人工智能发展中的一个根本性挑战：由于复杂的数据结构而难以预测模型性能。
排序理由 一篇由知名可信人士发表的关于人工智能能力的观点文章。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Why can nobody predict which tasks a language model will be good at? @ tao tells Brian Keating that the mathematics of training is at undergraduate level, and the real gap is not in the machinery -- it's in the data. Probability theory covers fully random data, and highly structu…