Prefill (Prompt Processing)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”ขั้นตอนที่โมเดลประมวลผล prompt ทั้งหมดที่ป้อนเข้าไป ก่อนเริ่มสร้างคำตอบ
Prefill เป็นงานคำนวณหนัก (compute heavy) จึงพึ่งกำลังประมวลผลของ GPU โดยตรง เวลาของขั้นนี้เป็นส่วนใหญ่ของ TTFT และนานขึ้นเมื่อ prompt หรือ context ยาว เช่น การป้อนเอกสารทั้งฉบับให้โมเดลอ่าน
ความเร็ว Prefill วัดเป็น tokens/s เช่นเดียวกับ Decode แต่เป็นคนละตัวเลข จึงต้องรายงานแยกกัน