คู่มือสำหรับการ์ดจอ VRAM 16GB สรุปความพอดีของโมเดลและ quantization พร้อมผลวัดจริงจากการต่อการ์ด 16GB สองใบ (RX 9060 XT คู่ และ RX 9070 XT + RX 6800 XT)
คู่มือตาม VRAM
การ์ดจอที่มีอยู่รันโมเดลอะไรได้บ้าง ทำงานอะไรได้บ้าง โดยแบ่งตามขนาด VRAM
- คู่มือ VRAM 16GB: โมเดล 12B สบาย แต่ 27B ที่ Q4 ยังไม่พอดีบนการ์ดใบเดียว
- คู่มือ VRAM 8GB: รันโมเดลอะไรได้บ้าง
คู่มือสำหรับการ์ดจอ VRAM 8GB สรุปว่าโมเดลขนาดไหนและ quantization ระดับไหนพอดี เหลือที่ให้ context เท่าไร และทางเลือกเมื่อไม่พอ