Backend
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”ชั้นซอฟต์แวร์ที่ทำหน้าที่คำนวณจริงให้โปรแกรมรันโมเดล โดยคุยกับฮาร์ดแวร์ (CPU, GPU, NPU) ผ่านไดรเวอร์และไลบรารีของผู้ผลิต
โปรแกรมอย่าง llama.cpp, LM Studio และ Ollama ไม่ได้คำนวณเองทั้งหมด แต่ส่งงานเมทริกซ์ไปให้ backend ที่เลือก ฮาร์ดแวร์ต่างยี่ห้อจึงใช้ backend ต่างกัน เช่น CUDA สำหรับ NVIDIA, ROCm สำหรับ AMD, SYCL และ OpenVINO สำหรับ Intel ส่วน Vulkan เป็นตัวเลือกกลางที่ทำงานได้กับ GPU หลายยี่ห้อ
backend ที่ต่างกันให้ผลต่างกันได้ทั้งความเร็ว การใช้ VRAM และความเข้ากันได้กับโมเดลหรือ quantization บางแบบ แม้จะเป็นการ์ดใบเดียวกันและโมเดลไฟล์เดียวกัน การวัดผลของ AIPCMAG จึงต้องระบุ backend และเวอร์ชันที่ใช้ทุกครั้ง และเทียบผลข้าม backend อย่างระมัดระวัง