CUDA
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”แพลตฟอร์มคำนวณบน GPU ของ NVIDIA ประกอบด้วยไดรเวอร์ ไลบรารี และเครื่องมือสำหรับให้โปรแกรมสั่ง GPU ทำงานคำนวณทั่วไปนอกเหนือจากการแสดงภาพ
CUDA เป็น backend ที่ใช้กันแพร่หลายที่สุดสำหรับ Local AI เพราะซอฟต์แวร์ส่วนใหญ่ เช่น llama.cpp, LM Studio, Ollama และ PyTorch รองรับก่อนและมีระบบนิเวศพร้อมกว่า ใช้ได้เฉพาะกับการ์ด NVIDIA เท่านั้น ต้องติดตั้งไดรเวอร์ NVIDIA ที่เวอร์ชันเข้ากันได้ และบางโปรแกรมต้องใช้ CUDA Toolkit เวอร์ชันที่ตรงกับตอน build
ถ้าการ์ดไม่ใช่ NVIDIA จะใช้ CUDA ไม่ได้ ต้องเลือก backend อื่น เช่น ROCm หรือ Vulkan