ข้ามไปยังเนื้อหา

โหมด

ชุดสี

คู่มือ VRAM 8GB: รันโมเดลอะไรได้บ้าง

ประเภท: Guide · วันที่: 2026-10-12 · สถานะ: ร่าง

VRAM 8GB คือระดับที่คนจำนวนมากเริ่มต้นกับ Local AI และเป็นระดับที่ต้อง “คำนวณก่อนโหลด” มากที่สุด เพราะส่วนต่างระหว่างขนาดไฟล์กับ VRAM แคบ ถ้าพลาดนิดเดียว context จะสั้นลงหรือโมเดลต้องไปพึ่ง CPU

  • โมเดลเล็ก (ระดับ E2B ถึง E4B) คือจุดที่ 8GB ทำงานได้สบาย
  • โมเดล 12B ที่ Q4 ไฟล์ ~7.66 GB แทบไม่เหลือที่ให้ KV cache บทความ เครื่องฉันรัน AI ได้ไหม เตือนไว้ตรง ๆ ว่าโหลดได้ไม่เท่ากับใช้งานได้
  • โมเดลระดับ 26B ขึ้นไป (รวม MoE) ไม่พอดีบนการ์ดเดี่ยว 8GB
  • ถ้าอยากใช้โมเดลใหญ่กว่านี้ ต้องยอมช้าลงด้วย offload ข้อมูลบางส่วนไปให้ CPU ช่วยทำงาน หรือขยับไป 12GB / 16GB
ที่ว่างเหลือ ≈ VRAM − ขนาดไฟล์โมเดล
ต้องเผื่อ KV cache + overhead ประมาณ 2.5 GB ขึ้นไป (ตัวอย่างสมมติใน VRAM Budget: KV 1.5 + overhead 1.0)

หลักการอธิบายเต็มที่ VRAM Budget และ GPU Offload ตัวเลข 2.5 GB เป็นค่าสมมติสำหรับ context ราว 8K ของโมเดลหนึ่ง โมเดลอื่นและ context ที่ยาวกว่าจะกินมากกว่านี้ ดู Context Window และ KV Cache

ขนาดไฟล์มาจากตารางในบทความ เครื่องฉันรัน AI ได้ไหม (ขนาดจริงคลาดเคลื่อนได้ 100–200 MB ตามผู้สร้างไฟล์)

โมเดล Quant ไฟล์ (GB) เหลือใน 8GB (GB) ความพอดี
Gemma 4 E2B Q8_0 4.93 ~3.1 พอใช้
Gemma 4 E4B Q4_K_M 3.1 ~4.9 สบาย
Gemma 4 E4B Q6_K 5.8 ~2.2 ตึง context สั้น
Gemma 4 E4B Q8_0 7.2 ~0.8 ตึงมาก
Gemma 4 12B Q4_K_M 7.66 ~0.3 ตึงมาก ไม่แนะนำให้ฝืน
Gemma 4 26B A4B Q4_K_M 16.8 ติดลบ ไม่พอดี

เกณฑ์: เหลือ ≥ 4 GB สบาย, 2.5–4 GB พอใช้, 0–2.5 GB ตึง, ติดลบ ไม่พอดี

  1. เริ่มที่ E4B Q4_K_M เหลือที่ให้ context ยาวพอสมควร และเป็นจุดที่ได้ความเร็วเต็มจาก GPU
  2. ขยับ quant ขึ้นแทนขยับขนาดโมเดล ถ้าอยากได้คุณภาพดีขึ้น ลอง Q6 ของโมเดลเล็กก่อนข้ามไปโมเดล 12B ที่ Q4
  3. ลด context ก่อนลด quant ถ้าติดเพดาน เพราะ KV cache โตตาม context (ลำดับแก้ปัญหา)
  4. ยอม offload เมื่อจำเป็น โมเดลที่ใหญ่กว่า VRAM รันได้โดยย้ายบางชั้นไป CPU/RAM แต่ช้าลงชัดเจน ดู GPU Offload
  • ต้องการโมเดลระดับ 12B ขึ้นไปแบบเต็มความเร็วพร้อม context ยาว
  • ต้องการ RAG หรือสรุปเอกสารยาว ซึ่งกิน KV cache มาก
  • เจอว่าต้องแบ่งเลเยอร์ไปให้ CPU ช่วยทำงานเป็นประจำ

ขั้นถัดไปคือ VRAM 12GB ซึ่งทำให้โมเดล 12B ที่ Q4 มีที่ว่างเหลือสบาย

  • ตารางความพอดีคำนวณจากขนาดไฟล์ GGUF ในบทความ เครื่องฉันรัน AI ได้ไหม ลบด้วยขนาด VRAM เป็นการประมาณ ไม่ใช่ผลทดสอบ
  • (กำลังจัดทำข้อมูลเพิ่ม)