MoE (Mixture of Experts)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”สถาปัตยกรรมที่แบ่งโมเดลเป็น “experts” หลายชุด แล้วเลือกใช้เฉพาะบางส่วนต่อ token ทำให้ parameters ที่คำนวณจริงน้อยกว่าขนาดรวมของโมเดล
โมเดล MoE มีขนาดรวม (total parameters) กับขนาดที่ทำงานจริงต่อ token (active parameters) ต่างกัน ชื่ออย่าง 35B A3B หมายถึงขนาดรวม 35B และ active ราว 3B
ฝั่งฮาร์ดแวร์ weights ทั้งหมดยังต้องเก็บใน RAM หรือ VRAM จึงต้องมีหน่วยความจำตามขนาดรวม แต่เพราะแต่ละ token คำนวณน้อยกว่า โมเดล MoE มักสร้างคำตอบได้เร็วกว่าโมเดล dense ที่ขนาดรวมเท่ากัน ดู Active parameters ในคลังศัพท์ประกอบ