GPU Offload
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”การกำหนดว่าจะย้ายโมเดลกี่ layer ไปคำนวณบน GPU ส่วนที่เหลือจะอยู่ที่ CPU และ RAM
ถ้าย้ายทุก layer ไปไว้บน GPU ได้ จะได้ความเร็วสูงสุดของการ์ดนั้น แต่ถ้า VRAM ไม่พอ ต้องปล่อยบาง layer ไว้ที่ CPU/RAM แล้วความเร็วจะตกลงมาก ใน LM Studio ตั้งผ่านค่า GPU Offload (เช่น 35/35 คือทุก layer) ส่วนใน llama.cpp ใช้ตัวเลือก -ngl
การวัดผลของ AIPCMAG จึงต้องยืนยันก่อนว่า layer อยู่บน GPU ครบ เช่น ดูจำนวน layer ใน LM Studio เท่ากับทั้งหมด ดูคอลัมน์ PROCESSOR จาก ollama ps ว่าเป็น 100% GPU และดูใน Task Manager ว่า Dedicated GPU memory เพิ่มขึ้น ไม่ใช่ Shared GPU memory