Context Window
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”จำนวน token สูงสุดที่โมเดลพิจารณาได้ในครั้งเดียว รวมทั้งสิ่งที่เราป้อนเข้าไปและคำตอบที่โมเดลสร้าง
เมื่อบทสนทนายาวเกิน context window โปรแกรมต้องตัดข้อความเก่าออกหรือสรุปแทน โมเดลจึงอาจ “ลืม” ส่วนต้นของบทสนทนา ค่านี้ที่โมเดลรองรับกับค่าที่ตั้งในโปรแกรมอย่าง LM Studio หรือ Ollama เป็นคนละค่ากัน ต้องดูค่าที่ตั้งจริง
Context ที่ยาวขึ้นไม่ได้ฟรี เพราะ KV Cache โตตาม context และขั้น Prefill ใช้เวลานานขึ้น ดังนั้นผลทดสอบของ AIPCMAG ต้องระบุ context ที่ใช้ทุกครั้ง และเมื่อวัด tok/s ให้ล็อก context ไว้ค่าเดียวกัน