实体
float32
float32
PulseAugur coverage of float32 — every cluster mentioning float32 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Bfloat16 RoPE 实现导致 LLM 位置信息严重丢失
一项技术分析显示，在大型语言模型 (LLM) 中使用 bfloat16 实现旋转位置嵌入 (RoPE) 会导致位置信息严重丢失。由于 bfloat16 对整数的精度有限，超过 256 个 token 的位置会被四舍五入，导致相邻的 token 被视为相同的位置。这种舍入会大大降低注意力机制的准确性，一项合成测试显示，在 8,192 个 token 的序列中，top-1 准确率从近 100% 下降到 3.5%。问题源于在将位置 ID 用…
-
新框架支持RISC-V上的Float16片上AI训练
研究人员开发了一个开源框架，支持在资源受限的RISC-V单核处理器上使用float16精度进行AI模型的片上训练。该方法利用了Zfh和Zvfh等标准RISC-V扩展，可在对模型性能影响最小的情况下将内存占用减小约50%。该框架还具备层冻结功能，以支持迁移学习和微调场景，并基于AIfES嵌入式系统框架构建。