TPS (Tokens per Second)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”จำนวน token ที่โมเดลประมวลผลหรือสร้างได้ต่อวินาที ใช้บอกความเร็วของทั้ง Prefill และ Decode
ตัวเลขเดียวกันนี้ใช้กับสองขั้นตอนที่ธรรมชาติต่างกัน ผลทดสอบจึงต้องระบุว่าเป็นของ Prefill หรือ Decode ซึ่งโดยทั่วไป Prefill ได้ตัวเลขสูงกว่ามาก ส่วนโมเดลสร้างภาพใช้ iterations ต่อวินาทีแทน
Token ไม่ใช่หน่วยของข้อความที่เท่ากันในทุกโมเดล เพราะ tokenizer แต่ละตัวตัดคำต่างกัน โดยเฉพาะภาษาไทย การเทียบ TPS ข้ามโมเดลที่ใช้ tokenizer ต่างกันจึงบอกความเร็วในการอ่านหรือเขียนข้อความจริงตรงๆ ไม่ได้