实体
cl100k
cl100k
PulseAugur coverage of cl100k — every cluster mentioning cl100k across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
字节对编码形式化：主要大型语言模型中发现的无限分词变化
研究人员形式化了字节对编码（BPE），这是一种常用于大型语言模型（LLM）的分词方法，以理解文本前缀如何改变分词。他们开发了一种使用“半径证书”的方法，可以有效地确定对于任何给定词典，这种改变是无限的还是有限的。分析表明，像GPT-2、cl100k、o200k和Llama 3这样的模型在其初始合并阶段就具有无限的起源半径，这表明前缀文本可能导致显著的分词变化。
-
AI代理工具发现：MCP代币成本分析
一项新的分析探讨了在AI代理中使用MCP（Meta-Client Protocol）进行工具发现所产生的代币成本，并与预先定义工具清单进行了比较。研究发现，实时发现的往返成本几乎为零，但所选工具的定义在每次模型调用时都会消耗大量的上下文代币。成本随着工具数量和描述的详细程度呈线性增长，详细描述的成本远高于简洁描述。对于涉及许多工具的任务，精心挑选一个较小、相关的子集可以带来可观的节省，尽管MCP提供了诸如域拆分或按需定义加载等替代方案。