文章

LM Studio 速度慢怎么办：Mac 实测首字等 39 秒的真正原因是 prompt 预填充，不是 GPU 没开满

在 24GB M4 Mac mini 上用 LM Studio 跑 gemma-4-e4b（Q4_K_M）实测：生成速度约 29.5 tok/s，GPU offload 从全开调到全关只慢 11%；真正让人觉得慢的是长 prompt 的预填充——1.3 万 token 的 prompt 要等 39.4 秒才出第一个字（约 330 token/s），全 CPU 时还要再慢 3.4~3.7 倍。相同前缀的第二次请求首字只要 0.1 秒（前缀缓存）。--parallel 4 时同时来 4 个请求，每个只剩 9.7 tok/s。