ทดสอบโมเดล MoE ขนาด 75.8 GB ที่การ์ดใบเดียวรับไม่ไหว บน Radeon AI PRO R9700 สองใบ ด้วย ROCm และ Vulkan ทั้งบริบทสั้นและบริบทยาวถึง 128K พร้อมผลทดลอง MTP
Tag: Context Window
- รันโมเดล 125B บนการ์ด Radeon AI PRO R9700 สองใบ (Qwen3.8-Flash-Next)
- รีวิว Intel Arc Pro B70 32 GB กับการทำงานด้าน Local LLM
ทดสอบ Intel Arc Pro B70 32 GB กับงาน Local LLM ผ่าน SYCL และ Vulkan ตั้งแต่ decode, prefill, บริบทยาว 128K, ผู้ใช้หลายคนพร้อมกัน, speculative decoding ไปจนถึงภาษาไทยและการใช้พลังงาน
- รีวิว AMD Radeon AI PRO R9700 กับประสิทธิภาพการทำงาน Local LLM
ทดสอบ Radeon AI PRO R9700 กับงาน Local LLM ผ่าน ROCm 10 และ Vulkan ตั้งแต่ decode, prefill, บริบทยาวถึง 128K ไปจนถึง speculative decoding การใช้พลังงาน และการรองรับผู้ใช้หลายคน
- Context Window และ KV Cache: ทำไมบริบทยาวขึ้นจึงกินหน่วยความจำมากขึ้น
อธิบาย Context Window และ KV Cache ว่าแต่ละอย่างคืออะไร ทำงานร่วมกันอย่างไร และเพราะเหตุใดการเปิดบริบทยาวจึงทำให้ VRAM เพิ่มขึ้นอย่างมีนัยสำคัญ
- Context Window
จำนวน token สูงสุดที่โมเดลพิจารณาได้ในครั้งเดียว รวมทั้งสิ่งที่เราป้อนเข้าไปและคำตอบที่โมเดลสร้าง
- KV Cache
หน่วยความจำที่เก็บผลคำนวณระหว่างทางของ token ก่อนหน้า เพื่อไม่ต้องคำนวณซ้ำทุกครั้งที่สร้าง token ใหม่ และจะโตขึ้นตามความยาว context
