用户报告称，用于 KV 缓存的 BF16 在语言模型中效果尚可，但会导致幻觉和上下文长度缩短。他们对 LLM 在处理大量数据时的安全性和可靠性表示担忧，指出这些模型可能会出现故障，无法处理所有信息，从而产生一种虚假的万无一失感。 AI
影响 强调了当前 LLM 上下文处理和数据处理的潜在局限性和安全问题。
排序理由 用户对特定模型优化技术的意见和经验。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
I have not tried <BF16 for KV cache, it does work well, relatively speaking, minus endless hallucinations. The downside is a smaller context length (unless someone bought all the DDR5 in the world) but, I really don't think it is safe to entrust a LLM with large quantity of data,…