实体
Wikiquote
Wikiquote
PulseAugur coverage of Wikiquote — every cluster mentioning Wikiquote across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
关系
最近 · 第 1/1 页 · 共 2 条
-
通过分步数值分析解释大型语言模型（LLM）的注意力机制
本文深入探讨了像GPT这样的大型语言模型（LLM）处理语言的数学基础，重点关注注意力机制。文章通过追踪数字在矩阵乘法、Q·K点积和Softmax函数中的传递过程，揭示了这一过程的奥秘。作者强调，LLM并非从概念上理解词语，而是从训练过程中学到的数值关系和模式中推导出含义，并用一个包含小型语料库的具体示例来说明注意力分数是如何计算的以及词元嵌入是如何被转换的。
-
研究人员开发从维基媒体转储创建高质量训练语料库的方法
研究人员开发了一种方法，可以从原始维基媒体转储中为七种南斯拉夫语创建高质量的训练语料库。该过程包括两个主要阶段：从各种维基百科项目中提取和清理文本，然后使用基于n-gram的策略过滤掉低质量或重复的文章。这种方法旨在生成适合训练语言模型和进行比较语言学研究的语言丰富的数据集，并有可能推广到其他语言。