本地跑大模型要什么显卡？从 8G 到 32G 显存的选型指南

「我的电脑能不能跑本地大模型」是后台被问得最多的问题。答案取决于两件事：你想跑多大的模型，以及你愿意接受什么程度的量化。这篇按显存档位把账算清楚。

8G 显存：能跑，但只能跑小的

8G 档位适合 7B 级别的 4bit 量化模型，日常问答、文本总结完全够用。想跑 14B 会比较勉强，跑 32B 基本不用想。这个档位的意义是体验和学习，不适合当生产力。

16G 显存：甜点级起点

16G 可以舒服地跑 14B 的 4bit 或 8bit 量化，部分场景下也能带 32B 的低比特版本。写作、代码补全、本地知识库问答，这个档位开始有实用价值。

24G 至 32G：生产力分水岭

• 24G：32B 级别 4bit 量化可以跑，图像模型（如 SDXL、FLUX）也能有不错的分辨率余量。
• 32G：目前消费级市场的甜点上限，32B 模型可以跑更高精度的量化，图生视频类工作流不再频繁爆显存。
• 32G 以上：属于专业卡或双卡方案，普通家庭用户暂时不必考虑。

比显存更重要的三件事

第一是带宽，推理速度更吃显存带宽而不是算力峰值；第二是软件生态，驱动、推理框架（llama.cpp、vLLM、Ollama 等）对硬件的支持成熟度直接决定折腾成本；第三是散热与功耗，长期挂机跑模型对机箱风道有要求。

一句话总结：先定模型规格，再倒推显存，最后看预算。反过来先看显卡再找模型，容易买了用不上。

（本文由智宅客原创，转载请注明出处。）