Decode (Token Generation)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”ขั้นตอนสร้างคำตอบทีละ token หลังจาก Prefill เสร็จ วัดความเร็วเป็น tokens/s
Decode คือช่วงที่โมเดลพิมพ์คำตอบออกมาจริง ความเร็วช่วงนี้ถูกจำกัดด้วยความเร็วของหน่วยความจำ (memory bandwidth) เป็นหลัก ต่างจาก Prefill ที่เป็นงานคำนวณหนักและพึ่งกำลังของ GPU โดยตรง
ตัวเลข tokens/s ใช้วัดได้ทั้ง Decode และ Prefill ผลทดสอบจึงต้องระบุว่าตัวเลขที่รายงานเป็นของขั้นตอนไหน