实体 Caracal

Caracal

PulseAugur coverage of Caracal — every cluster mentioning Caracal across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_14180 · Apr 30 · 23:31

Caracal架构使用傅里叶变换实现高效长序列建模

研究人员推出了Caracal，这是一种旨在提高大型语言模型处理长序列可扩展性的新架构。Caracal用参数高效的多头傅里叶模块取代了计算成本高昂的注意力机制，该模块利用了快速傅里叶变换。这种方法通过解决二次成本和位置编码的限制，为长序列建模提供了一条更有效的途径，同时通过标准库运算符保持了可移植性。