文章

4GB 显存微调 8B 模型是真的：拆解 Soup 的 layer streaming 和它没写进标题的代价

GitHub 项目 Soup 宣称一个 YAML 文件就能在 4GB 显存的笔记本 GPU 上微调 Llama-3.1-8B。我们读了它的核心代码、benchmark 文件和 HN 讨论：宣称成立——RTX 3050 Laptop 实测峰值 3.32GB、119.6 tok/s，比业界 QLoRA 的 6.6–8GB 下限低了一半。本文讲清 layer streaming 的原理（冻结底座放内存、双缓冲预取、每层每步读两次）、上手配置，以及边界条件：1.43 倍速度代价、16GB 内存下限、架构白名单，和两起已修复的静默错误。