Active Parameters
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”จำนวน parameters ที่ถูกใช้คำนวณจริงต่อ token ในโมเดลแบบ MoE ซึ่งน้อยกว่าขนาดรวมของโมเดล
โมเดล MoE มีขนาดรวม (total) กับขนาดที่ทำงานจริง (active) ต่างกัน เช่น ชื่อ 35B A3B หมายถึงขนาดรวม 35B และ active ราว 3B ค่า active บอกว่าแต่ละ token ต้องคำนวณและอ่านข้อมูลจากหน่วยความจำมากแค่ไหน จึงสัมพันธ์กับความเร็วสร้างคำตอบ
แต่ค่านี้ไม่ได้ลดหน่วยความจำที่ต้องใช้เก็บโมเดล เพราะ weights ทั้งหมดยังต้องอยู่ใน RAM หรือ VRAM ดูเพิ่มที่ MoE