ทดสอบ Intel Arc Pro B70 32 GB กับงาน Local LLM ผ่าน SYCL และ Vulkan ตั้งแต่ decode, prefill, บริบทยาว 128K, ผู้ใช้หลายคนพร้อมกัน, speculative decoding ไปจนถึงภาษาไทยและการใช้พลังงาน
Tag: Multi-User
- รีวิว Intel Arc Pro B70 32 GB กับการทำงานด้าน Local LLM
- รีวิว AMD Radeon AI PRO R9700 กับประสิทธิภาพการทำงาน Local LLM
ทดสอบ Radeon AI PRO R9700 กับงาน Local LLM ผ่าน ROCm 10 และ Vulkan ตั้งแต่ decode, prefill, บริบทยาวถึง 128K ไปจนถึง speculative decoding การใช้พลังงาน และการรองรับผู้ใช้หลายคน
- รายงานผลการทดสอบ: AMD Radeon RX 9070 XT 16GB กับการรัน Local LLM บน Windows — ประชัน ROCm vs Vulkan บน 8 โมเดล LLM พร้อมทดสอบขีดจำกัด Concurrency
ผลการทดสอบเชิงลึกการ์ดจอ AMD Radeon RX 9070 XT 16GB (สถาปัตยกรรม RDNA 4) ด้วย PromptMark v0.4.0 และ Concurrent Text Benchmark เปรียบเทียบรันไทม์ ROCm vs Vulkan ทั้งโมเดล MoE, Dense และฟอร์แมตควอนไทซ์ NVFP4 พร้อมวัดประสิทธิภาพการรองรับผู้ใช้พร้อมกัน 16 ผู้ใช้
- Batching
การรวมหลายคำขอไว้คำนวณพร้อมกันเป็นชุดเดียว เพื่อใช้ GPU ได้เต็มที่และเพิ่มปริมาณงานรวม
- Concurrent (Concurrency)
การที่ระบบรับและประมวลผลหลายคำขอในช่วงเวลาเดียวกัน เช่น หลายผู้ใช้หรือหลาย agent เรียกโมเดลตัวเดียวพร้อมกัน
- Throughput
ปริมาณงานที่ระบบทำได้ต่อหน่วยเวลา ในงาน LLM มักวัดเป็นจำนวน token ที่สร้างได้ต่อวินาที รวมทุกคำขอที่ทำพร้อมกัน
