llama.cpp v0.9.0 เพิ่มการรองรับ FP8 E4M3, ปรับปรุง Unified KV Cache, เพิ่มโมเดลใหม่ 4 สถาปัตยกรรม และขยายความสามารถด้าน Local AI และ Multimodal
Tag: Backend
- llama.cpp v0.9.0 อัปเดต เพิ่มการรองรับ FP8, ปรับปรุง KV Cache และเร่ง Prefill ของ Gemma 4
- vLLM 0.33.0 อัปเดต เพิ่มประสิทธิภาพ รองรับ Qwen3.8-Flash-Next และปรับปรุง Multi-GPU บน CUDA และ ROCm
vLLM 0.33.0 อัปเดต PyTorch 2.14 เพิ่มการรองรับโมเดล AI รุ่นใหม่ ปรับปรุง Speculative Decoding, KV Cache และเพิ่มประสิทธิภาพ Inference บน NVIDIA และ AMD
- llama.cpp v0.8.0 อัปเดต เพิ่มโมเดลใหม่ ปรับปรุง MoE และ GPU Backend พร้อมรองรับ Realtime API
llama.cpp v0.8.0 เพิ่มการรองรับโมเดล AI รุ่นใหม่ ปรับปรุง MoE และ Sparse Attention ขยายความสามารถ GPU Backend พร้อมเพิ่ม Realtime API, TTS และฟีเจอร์สำหรับ AI Agent
- รายงานผลการทดสอบ: NVIDIA GeForce RTX 5060 Ti 16GB กับการรัน Local LLM บน Windows — ประชัน CUDA vs Vulkan บน Dense 12B และ MoE 26B
ผลการทดสอบเชิงลึกการ์ดจอ NVIDIA GeForce RTX 5060 Ti 16GB (สถาปัตยกรรม Blackwell) ด้วย PromptMark v0.4.0 เปรียบเทียบรันไทม์ CUDA vs Vulkan บน Gemma-4 12B และทดสอบขีดจำกัดหน่วยความจำบน Gemma-4 26B-A4B MoE ในภาวะ VRAM-Tight
- รายงานผลการทดสอบ: AMD Radeon RX 9070 XT 16GB กับการรัน Local LLM บน Windows — ประชัน ROCm vs Vulkan บน 8 โมเดล LLM พร้อมทดสอบขีดจำกัด Concurrency
ผลการทดสอบเชิงลึกการ์ดจอ AMD Radeon RX 9070 XT 16GB (สถาปัตยกรรม RDNA 4) ด้วย PromptMark v0.4.0 และ Concurrent Text Benchmark เปรียบเทียบรันไทม์ ROCm vs Vulkan ทั้งโมเดล MoE, Dense และฟอร์แมตควอนไทซ์ NVFP4 พร้อมวัดประสิทธิภาพการรองรับผู้ใช้พร้อมกัน 16 ผู้ใช้
- รายงานผลการทดสอบ: Intel Arc B580 Dual GPU (2x 12GB รวม 24GB VRAM) กับการรัน Local LLM บน Windows
ผลการทดสอบเชิงลึกการ์ดจอคู่ Intel Arc B580 24GB VRAM ด้วย PromptMark v0.4.0 เปรียบเทียบรันไทม์ SYCL vs Vulkan และสถาปัตยกรรม MoE vs Dense บน 8 โมเดล LLM ยอดนิยม
- รายงานผลการทดสอบ: Intel Arc B580 12GB กับการรัน Local LLM บน Windows (Vulkan vs SYCL)
ผลการทดสอบการ์ดจอ Intel Arc B580 12GB (สถาปัตยกรรม Xe2) ด้วย PromptMark เปรียบเทียบรันไทม์ Vulkan vs SYCL บน 5 รูปแบบโมเดล LLM พร้อมวิเคราะห์ Prefill, Decode และการสเกล Context 8K
- Backend
ชั้นซอฟต์แวร์ที่ทำหน้าที่คำนวณจริงให้โปรแกรมรันโมเดล โดยคุยกับฮาร์ดแวร์ (CPU, GPU, NPU) ผ่านไดรเวอร์และไลบรารีของผู้ผลิต
- CUDA
แพลตฟอร์มคำนวณบน GPU ของ NVIDIA ประกอบด้วยไดรเวอร์ ไลบรารี และเครื่องมือสำหรับให้โปรแกรมสั่ง GPU ทำงานคำนวณทั่วไปนอกเหนือจากการแสดงภาพ
- OpenVINO
ชุดเครื่องมือโอเพนซอร์สของ Intel สำหรับปรับแต่งและรัน AI inference บนฮาร์ดแวร์ Intel ได้แก่ CPU, GPU (เช่น Arc) และ NPU
- ROCm
แพลตฟอร์มคำนวณบน GPU ของ AMD แบบโอเพนซอร์ส เป็นคู่เทียบของ CUDA ฝั่ง AMD
- SYCL
มาตรฐานเปิดสำหรับเขียนโปรแกรมคำนวณบนอุปกรณ์หลายชนิด (CPU, GPU) ด้วยโค้ด C++ ชุดเดียว ฝั่ง Intel ใช้เป็นเส้นทางหลักสำหรับ GPU ผ่าน oneAPI
- Vulkan
API กราฟิกและคำนวณบน GPU มาตรฐานเปิด ที่ใช้ได้กับ GPU หลายยี่ห้อ (NVIDIA, AMD, Intel) โปรแกรม AI นำมาใช้เป็น backend กลางได้
