byte-pair encoding
PulseAugur coverage of byte-pair encoding — every cluster mentioning byte-pair encoding across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
LLM 现在可以将算术直接编译到权重中,绕过训练
研究人员开发了一种新颖的方法,可以将确定性计算直接嵌入到预训练语言模型的权重中,而无需梯度微调或外部工具。这种被称为零梯度编译的技术,使 Qwen 3.5 4B 和 IBM Granite 4.2 3B 等模型能够以高精度执行精确的多位数算术和布尔逻辑。该方法修改了最少数量的权重,并保留了模型的自然语言能力,同时还兼容量化模型并需要显著更少的内存。
-
Tokenization complexity: BPE approximation proven NP-hard
一篇新的研究论文探讨了诸如字节对编码(BPE)之类的分词算法的计算复杂性。该研究证明,除非 P=NP,否则没有高效的算法可以在 $c n / ext{log } n$ 的因子内近似二元字符串上 BPE 的最优合并次数。对于可以跳过出现的合并,一个简单的算法可以达到 $O(n / ext{log log } n)$,而对于一元数据集,这两种分词问题都是强 NP 完全的。
-
字节对编码形式化:主要大型语言模型中发现的无限分词变化
研究人员形式化了字节对编码(BPE),这是一种常用于大型语言模型(LLM)的分词方法,以理解文本前缀如何改变分词。他们开发了一种使用“半径证书”的方法,可以有效地确定对于任何给定词典,这种改变是无限的还是有限的。分析表明,像GPT-2、cl100k、o200k和Llama 3这样的模型在其初始合并阶段就具有无限的起源半径,这表明前缀文本可能导致显著的分词变化。
-
字节对编码压缩界限提高到0.361
一篇新发表在arXiv上的论文详细介绍了数据压缩领域的一项理论进展,特别是关于字节对编码(BPE)。研究人员证明,BPE中使用的贪婪方法始终能达到最优压缩的至少0.361,优于之前确立的三分之一界限。这项工作还探讨了最优压缩的结构特性以及实现更好理论界限的挑战。
-
生成式 AI 概念:标记化、上下文窗口和嵌入式解释
本文解释了生成式 AI 的基本概念,重点关注标记化、上下文窗口和嵌入式。标记化将文本分解为 AI 模型可管理的单元,其中像字节对编码这样的子词标记化是一种常用方法。上下文窗口定义了 AI 可以同时处理的文本量,影响其在更长交互中保持连贯性的能力。嵌入式将单词和句子表示为数值向量,使 AI 能够掌握语义关系并改进搜索和推荐等任务。
-
新论文分析了字节对编码的理论极限
一篇新论文对字节对编码(BPE)进行了理论分析。BPE 是一种广泛用于自然语言处理任务(如大型语言模型预训练)的子词分词方法。研究表明,BPE 底层的优化问题是 APX-完全的,这表明找到最优压缩效用在计算上是困难的。然而,该论文还证明了 BPE 在最优对编码方面提供了介于 1/3 和约 0.4324 之间的最坏情况近似因子,为其实际压缩效用提供了第一个严格的保证。
-
大语言模型(LLM)的Token:理解Token与单词的区别
理解大语言模型(LLM)如何处理文本至关重要,因为“Token”是基本单位,而非单词。分词器将文本分解成这些Token,然后映射到整数ID。这个过程意味着一个单词可能被拆分成多个Token,或者多个字符可以构成一个Token,具体取决于所使用的特定分词器和编码,例如OpenAI的tiktoken配合cl100k_base或r50k_base。普遍认为的“1个Token约等于4个字符”的经验法则是一种过度简化,在处理代码、URL、表情符…
-
GPT-4o 分词器解析:“strawberry”被分解为 3 个 token
一段视频解释了 GPT-4o 的分词器如何处理单词“strawberry”,将其分解为三个 token:“ st”、“raw”和“berry”。该解释强调,这种使用字节对编码的分词方法比旧方法能更有效地表示单词。视频还指出,GPT-4o 的分词器比 GPT-4 的更高效,一个印地语句子在 GPT-4o 下所需的 token 数量明显更少就证明了这一点。
-
大语言模型因分词而非智能而难以完成基本任务
大型语言模型之所以难以完成诸如数单词中的字母等简单任务,是因为它们的分词过程,即将文本分解成块而不是单个字符。这意味着像所讨论的模型在处理“strawberry”时,可能会将其视为“str”、“aw”和“berry”,而不是单个字母。因此,模型无法准确计算“r”的数量,因为它是在这些预定义的分词上操作的,这会导致需要字符级分析的任务出错。这种分词方法,通常使用字节对编码(BPE),是为了平衡词汇量和输入长度而做出的妥协,但它本身就限制…
-
理解LLM基础:Token、上下文窗口和温度
本文解释了大型语言模型(LLM)背后的基本概念,重点介绍了影响其文本生成能力的几个关键要素。文章详细说明了Token是什么,包括词、子词、短语和字符Token等不同类型,并介绍了字节对编码(BPE)作为一种常见的Token化方法。解释还涵盖了上下文窗口,它决定了LLM一次可以处理多少文本,以及更大的上下文窗口与计算成本之间的权衡。最后,文章简要介绍了温度作为控制LLM输出的随机性和平衡连贯性的参数。
-
新的AdaBPE分词方法提高了AI模型对混合数据的处理能力
研究人员开发了一种名为自适应频率阈值字节对编码(AdaBPE)的新分词方法,以改进语言模型处理混合自然语言和结构化符号数据语料库的方式。与传统上严格处理空格的字节对编码(BPE)不同,AdaBPE根据词元长度和类型动态调整频率阈值。这使得即使在训练数据中代表性不足的情况下,也能更好地将词汇容量分配给特定领域的符号,例如LaTeX。在五个数据集上的评估表明,AdaBPE在不影响通用语言性能的情况下,提高了在专业内容上的编码效率和下游语言模型的性能。
-
新的MoVoC分词器改进了Ge'ez脚本语言的形态处理能力
研究人员开发了MoVoC(形态感知子词词汇构建),这是一种新颖的分词器,旨在更好地处理形态复杂的语言,特别是那些使用Ge'ez脚本的语言。该方法将监督形态分析与字节对编码等子词分词方法相结合,以在保持词汇意义的同时保留形态边界。该团队发布了四种Ge'ez脚本语言的标注数据和一个形态感知的词汇表,证明了在Tigre等语言的形态分割方面性能有所提高,即使是跨语言应用也是如此。
-
新研究论文详细介绍了可判定的分词验证
一篇新研究论文介绍了“有限可验证分段”(Finitely Verifiable Segmentation),一种用于分析自然语言处理中分词策略的方法。该论文证明,通过使用有限自动机作为验证器,几个先前复杂的分段问题可以得到明确的解答。这种方法适用于字节对编码(byte-pair encoding)和WordPiece等常见分词器,并且在“munch library”中提供了实现。
-
llama.cpp 添加 Nemotron 支持; KRAFTON AI 预览 Raon-1 mini 模型
llama.cpp 项目发布了 b11819 版本,该版本增加了对非标准 GQA、BPE 分词器和 domyn-small 预类型支持,专门用于 Nemotron 模型。此次更新还改进了 Metaspace 前置方案的 GGUF 元数据处理。另外,KRAFTON AI 预览了其 Raon-1 mini 模型,这是一个拥有 30B 参数的混合专家(MoE)模型,使用多种语言训练,并侧重于韩语。Raon-1 mini 模型采用 Apach…
-
分词和 AI 代理技能影响成本和性能
理解语言模型如何处理文本对于管理成本和预测行为至关重要,因为分词会显著影响计费和上下文窗口的使用。不同的分词方法,如 BPE 和 SentencePiece,在不同语言和数据类型上的效率各不相同,而较新的模型在代码和非英语文本上的性能有所提高。对于 AI 代理而言,技能的集成方式也至关重要;声称具有相似触发器、存在隐藏依赖项或默认设置冲突的技能可能导致性能下降和不可预测的结果。仔细选择和管理代理技能配置,考虑更新日期和版本敏感性等因素…
-
新的韩语去标识化模型提高了个人身份信息跨度准确性
研究人员开发了Thunder-DeID+,这是一种专为韩语文本设计的新型去标识化模型。该模型解决了韩语黏着语结构带来的挑战,这种结构常常将个人身份信息(PII)与周围词语合并,使准确的跨度检测变得复杂。Thunder-DeID+包含一个精炼的三层PII分类法和一个边界感知的分词器,该分词器集成了N-gram和边界评分组件,以改进词元和PII跨度的对齐。该方法在去标识化准确性方面取得了显著改进,在各种模型规模下实现了0.87-0.88的…
-
研究:形态正确性提高了机器翻译他加禄语的分词效果
一篇新发表在arXiv上的研究论文,探讨了形态正确性对菲律宾他加禄语分词的影响。研究人员开发了一种新颖的分词器MorphAustro-Tok,它将词根视为连续单元,并将其性能与标准的字节对编码(BPE)基线和打乱的对照组进行了比较。结果表明,MorphAustro-Tok显著提高了机器翻译质量,其性能比BPE基线高出高达3.40个平均句子级别的chrF++点。该研究表明,虽然形态正确性可能不是这种改进的唯一驱动因素,但分词策略本身起着…
-
新的在线分词算法大幅降低LLM延迟和内存使用
研究人员开发了一种新的在线分词算法,可显著降低大型语言模型(LLM)的延迟和内存使用量。该算法在近乎线性时间内实现了最优延迟,与OpenAI的tiktoken和Hugging Face的tokenizers等现有方法相比,具有显著的速度优势。实际应用证明,延迟提高了高达34.8倍,吞吐量提高了高达7倍,同时内存使用量保持不变。
-
Byte Language Models Outperform Tokenized Models at Scale
一篇新论文介绍了“字节语言模型”,它们直接将文本作为字节处理,绕过了传统的标记器。虽然最初速度较慢,但这些字节级模型在采用特定技术(如 token-superposition 和 hash embeddings)进行训练时,表现出比子词标记模型更优越的性能和扩展能力。研究表明,更长字节序列带来的计算量增加可能是有益的,并且这些模型可以学会形成自己的文本抽象,甚至在某些下游任务上超越标记模型,并提供更有效的推测性解码。
-
新的Latent Core Tokenizer优先考虑语言结构而非压缩
研究人员推出了一种新的、与语言无关的标记器创建方法——Latent Core Tokenizer (LCT),该方法优先考虑有意义的语言单元发现而非简单的压缩。与传统的字节对编码 (BPE) 和 Unigram 等方法不同,LCT 在词汇表构建之前采用最小描述长度和形态句法约束来识别可重用单元。在对 104 种语言的评估中,LCT 在生育率和 MorphScore 方面优于现有方法,同时在跨语言差异方面也表现相当。此外,LCT 在多语…