Throughput
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”ปริมาณงานที่ระบบทำได้ต่อหน่วยเวลา ในงาน LLM มักวัดเป็นจำนวน token ที่สร้างได้ต่อวินาที รวมทุกคำขอที่ทำพร้อมกัน
Throughput มองภาพรวมของระบบ ว่าในหนึ่งวินาทีรวมแล้วสร้างหรือประมวลผล token ได้เท่าไร ต่างจากความเร็วที่ผู้ใช้คนหนึ่งรู้สึก ซึ่งคือ TPS ของคำขอเดียว และต่างจาก Latency ที่วัดว่ารอนานแค่ไหน
เมื่อมีหลายคำขอพร้อมกัน (Concurrent) throughput รวมมักเพิ่มขึ้นได้จากการทำ Batching แต่ความเร็วต่อคนมักลดลง จึงต้องระบุเสมอว่าตัวเลขเป็นของคำขอเดียวหรือของทั้งระบบ และวัดที่จำนวนผู้ใช้พร้อมกันเท่าไร