实体
microgpt
microgpt
PulseAugur coverage of microgpt — every cluster mentioning microgpt across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
microgpt的10万上下文窗口成本比宣传的高14倍
对开源microgpt transformer实现的最新分析显示，其宣传的长上下文能力与其实际性能之间存在显著差异。尽管该系统被宣传为具有10万Token上下文窗口的生产就绪型产品，但其内存分析器显示在A100 GPU上占用了大量VRAM。核心问题似乎在于其注意力机制中的一个架构决策，导致它消耗了比必要多14倍的Token，这与其效率声明相矛盾，并使其长上下文推理的成本远高于基准测试所暗示的。
-
新方法通过排除数据来预测AI模型行为
研究人员开发了一种新颖的方法，可以预测如果排除特定的训练数据，AI模型将如何表现。该技术基于“稳定性”假设，能够以最小的误差高效预测模型输出。该方法利用通过高阶导数计算对算术电路进行局部勾画，并在microgpt实验中显示出前景。
-
将 microgpt 移植到 Futhark，第一部分
作者详细介绍了将 Andrej Karpathy 的 microgpt（一个类似 GPT-2 的神经网络的简洁 Python 实现）移植到数据并行语言 Futhark 的经验。目标是在保持代码相似性的同时，提高可扩展性，超越 Python 的限制。第一部分侧重于翻译前向传播，包括数据结构和核心操作，如线性变换、softmax 和 RMS 归一化。Futhark 移植实现了更好的扩展性，但由于显式类型声明，代码略显冗长。