IQ2_XS

DeepSeek-V4-Flash IQ2_XS 在单块 RTX 3090 上运行，用户印象深刻

Reddit r/LocalLLaMA 版块的一位用户分享了在单块 RTX 3090 显卡上运行 DeepSeek-V4-Flash 模型（特别是 IQ2_XS 量化版本）的经验。尽管量化程度很高，但用户对该模型为 Döner Bench 测试生成完整且功能性输出的能力印象深刻，并指出虽然一些精细细节有所丢失，但整体场景和概念得以保留。该帖子包含了所用硬件、提示词以及通过 llama.cpp 运行模型的具体命令行参数的详细信息。