实体
Ramchand Kumaresan
Ramchand Kumaresan
PulseAugur coverage of Ramchand Kumaresan — every cluster mentioning Ramchand Kumaresan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新规则预测何时进化外循环不值得付出成本
研究人员开发了一种新的筛选规则，用于预测神经网络优化中的进化外循环是否会有益。该规则在实施前计算，评估单次梯度增益与廉价方法最佳增益的比率。如果该比率达到 90% 或更高，规则建议跳过计算成本更高的外循环。该方法在内部实验中得到了验证，正确识别了简单方法已足够的情况，并节省了大量的计算资源。
-
新书详述如何从零开始构建大型语言模型
Ramchand Kumaresan 通过 Leanpub 发布了一本新书，书名为《深入解析：从零开始构建大型语言模型的每一层》。该书旨在指导读者从头开始构建大型语言模型的所有组件。该书可通过 Leanpub 获取，并在 Mastodon 等平台上推广，并配有视频内容。
-
Apple M4 Max GPU 的张量计算路径被模拟，而非加速
研究人员逆向工程了 Apple M4 Max GPU 上的 Metal 4.1 张量计算路径，发现 fp8 matmul2d 操作是模拟的，而非硬件加速。这意味着该操作在 GPU 的着色器核心上运行，至少以 fp32 精度累积，并且不使用专用的矩阵数据路径或 Apple Neural Engine。这些发现详细记录在一篇题为“Rigel”的论文中，通过实证表征和微基准测试实现，并开发了一个融合内核，其性能比分解路径高出 12.9%。