cryptographic attack

Reddit 讨论质疑本地 LLM ROI 计算中被忽视的预填充速度

Reddit 的 r/LocalLLaMA 子版块上的一场讨论强调了在计算本地运行大型语言模型 (LLM) 的投资回报率 (ROI) 时，可能低估了输入速度（预填充）。虽然输出速度（解码）经常被考虑在内，但在某些设置中观察到的显著更高的预填充吞吐量表明，它可能是硬件 ROI 的一个更关键因素。该帖子质疑为什么尽管预填充的处理速度远快于解码，但其对 ROI 的影响却常常被忽视。