อธิบาย Context Window และ KV Cache ว่าแต่ละอย่างคืออะไร ทำงานร่วมกันอย่างไร และเพราะเหตุใดการเปิดบริบทยาวจึงทำให้ VRAM เพิ่มขึ้นอย่างมีนัยสำคัญ
Tag: Attention
- Context Window และ KV Cache: ทำไมบริบทยาวขึ้นจึงกินหน่วยความจำมากขึ้น
- Flash Attention
วิธีคำนวณ attention ที่แบ่งงานเป็นก้อนเล็กเพื่อลดการอ่านเขียนหน่วยความจำ ทำให้ใช้หน่วยความจำน้อยลงและมักเร็วขึ้นเมื่อ context ยาว