Temperature
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”ค่าที่ปรับความสุ่มของการเลือก token ถัดไป ค่าต่ำให้คำตอบนิ่งและคาดเดาได้ ค่าสูงให้คำตอบหลากหลายและสร้างสรรค์กว่า
ทุกครั้งที่โมเดลสร้าง token โมเดลจะให้คะแนนความน่าจะเป็นของ token ที่เป็นไปได้ทั้งหมด temperature ปรับความ “คม” ของการกระจายนี้ ค่าต่ำทำให้ token ที่น่าจะเป็นที่สุดถูกเลือกบ่อยขึ้น คำตอบจึงสม่ำเสมอ ส่วนค่าสูงให้โอกาส token อื่นมากขึ้น คำตอบหลากหลายแต่เสี่ยงหลุดประเด็นหรือ Hallucination มากขึ้น
งานที่ต้องการความแม่นยำ เช่น เขียนโค้ด สรุปข้อมูล มักใช้ค่าต่ำ ส่วนงานเขียนเชิงสร้างสรรค์ใช้ค่าสูงกว่า ค่าที่เหมาะสมขึ้นกับโมเดล ผู้พัฒนาโมเดลมักแนะนำค่าไว้ในหน้าโมเดล และมักใช้ร่วมกับ Top-p / Top-k ในการวัดผล benchmark ควรระบุค่านี้ เพราะมีผลต่อคะแนนและความซ้ำได้ของผลลัพธ์