24 GB VRAM

用户通过KVarN量化在17GB模型上实现100万上下文窗口

Reddit的r/LocalLLaMA论坛上一位用户报告称，他成功加载了一个拥有100万token上下文窗口的大型语言模型，在24GB显存的显卡上使用了约17GB显存。这是通过一个基于Qwen的350亿参数模型实现的，使用了KVarN 4位量化方法来处理KV缓存。该用户能够从文本的各个部分提取信息，表明上下文窗口是功能性的，并且没有损坏。