Latency
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”เวลาที่ต้องรอ นับจากส่งคำขอจนได้ผลลัพธ์ ในงาน LLM แบ่งดูได้เป็นเวลารอ token แรก และเวลารวมจนตอบจบ
Latency บอกว่าผู้ใช้ต้องรอนานแค่ไหน ไม่ใช่ว่าระบบทำงานได้มากแค่ไหน (นั่นคือ Throughput) ในงาน LLM ควรแยกดูอย่างน้อยสองส่วน ส่วนแรกคือเวลาจนได้ token แรก หรือ TTFT ซึ่งขึ้นกับ Prefill ส่วนที่สองคือเวลาที่ใช้สร้างคำตอบต่อจนจบ ซึ่งขึ้นกับความเร็ว Decode
เมื่อมีหลายคำขอพร้อมกัน latency ของแต่ละคำขอมักเพิ่มขึ้น แม้ throughput รวมจะดีขึ้น การรายงานผลจึงควรบอกจำนวนผู้ใช้พร้อมกันและความยาว prompt ที่ใช้วัดด้วย