PulseAugur
中
实时 12:49:10
实体 64k intro

64k intro

PulseAugur coverage of 64k intro — every cluster mentioning 64k intro across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_293093 ·

    新发布的102M BitNet-v2模型支持64K上下文训练

    一款名为Recursive BitNet N-Gram 102M的新型102M参数模型已发布,该模型结合了三元权重、共享Transformer层和哈希n-gram嵌入。这个实验性模型是从头开始在约47亿token上训练的,其训练的很大一部分集中在64K上下文窗口上。虽然基准测试结果显示效果一般,但该模型在多项评估中的平均得分为40.59%,开发者也欢迎反馈。

  2. COMMENTARY · CL_214632 ·

    本地 AI 代理探索递归上下文扩展以处理更大任务

    r/LocalLLaMA subreddit 上的一位用户正在探索有效扩展本地 AI 模型可用上下文窗口的方法。他们提出了一种递归代理系统,其中具有固定上下文大小(例如 64k token)的主代理可以为特定任务生成子代理。这些子代理将处理子任务,如果它们自己的上下文需求超出限制,可能会生成更多代理。目标是通过将通常需要更大原生上下文窗口(例如 300k token)的任务分解为由这些代理顺序处理的更小、可管理的部分来处理它们。