文章

Ollama 显存不足怎么办：24GB Mac 实测 num_ctx、并发、KV 量化各吃多少内存，以及它不会拦你的那个坑

24GB 的 M4 Mac mini，Ollama 0.19 只认到 17.8 GiB 显存，默认上下文只给 4096。实测 qwen3:4b：上下文从 4k 开到 32k，占用从 3.73GB 涨到 9.89GB；OLLAMA_NUM_PARALLEL=4 时 8k 上下文占用等于单路 32k，但 ollama ps 只显示 8192；开 Flash Attention + q4_0 KV 量化后 32k 只要 4.31GB、64k 只要 5.77GB，速度不变。上下文开到远超内存时 Ollama 不会提前拒绝，而是直接开始分配，16 秒内系统可用内存掉到 23%。全部挪到 CPU 只慢 25%。