实体
GPT-Neo
GPT-Neo
PulseAugur coverage of GPT-Neo — every cluster mentioning GPT-Neo across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LogNEO框架使用GPT-Neo进行实时日志异常检测
研究人员开发了LogNEO，一个使用EleutherAI的GPT-Neo模型检测系统日志中异常的新框架。该系统采用了一种新颖的强化学习方法，并结合了位置感知奖励机制和交叉熵正则化。LogNEO在标准基准测试中取得了高F1分数，在召回率方面优于先前最先进的方法，并且已在生产环境中得到验证，具有低延迟和高吞吐量。
-
研究人员探索 Transformer 模型的权重衰减、上下文学习和加速方法
研究人员开发了几种新方法来提高 Transformer 模型的效率和理论理解。一篇论文提供了权重衰减的功能分析表征，展示了其在塑造损失景观和提高泛化能力方面的作用。另一项研究调查了 Transformer 在上下文学习过程中如何适应不同的任务难度，证明了在分布变化下的最优收敛率。此外，两篇论文提出了加速 Transformer 推理的技术：一篇使用门控子空间推理来减少内存带宽，另一篇介绍了 LEAP，一个支持层级早期退出的预训练目标，…