PulseAugur
中
实时 20:41:26
实体 GPT-3.5-Turbo-16K

GPT-3.5-Turbo-16K

PulseAugur coverage of GPT-3.5-Turbo-16K — every cluster mentioning GPT-3.5-Turbo-16K across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_154336 ·

    新的HiCI模块将LLaMA-2的上下文扩展到10万个token

    研究人员开发了一种名为HiCI（分层构建-集成）的新型注意力模块，旨在改进长上下文语言建模。该模块显式地分层构建信息，构建片段级表示，将它们集成到全局上下文中，然后广播该上下文以条件化注意力。当以极少的参数添加应用于LLaMA-2时，HiCI将上下文窗口扩展到10万和6.4万个token，在各种基准测试中显示出一致的改进。