Harness
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”โครงสร้างซอฟต์แวร์ที่ห่อหุ้มโมเดล AI ไว้ ทำหน้าที่จัดการเครื่องมือ บริบท ลูปการทำงาน และสิทธิ์ต่าง ๆ หรือในอีกความหมายคือชุดเครื่องมือที่ใช้รันและวัดผลโมเดลอย่างเป็นระบบ
ในวงการ AI คำว่า harness ใช้ใน 2 บริบทหลัก ๆ ที่ควรแยกให้ออก
Agent harness คือระบบที่อยู่รอบโมเดลภาษา เปรียบได้ว่าโมเดลเป็นสมอง ส่วน harness คือส่วนที่ทำให้สมองลงมือทำงานได้จริง เช่น ส่งข้อความและบริบทให้โมเดล รับคำตอบกลับมา แล้วตัดสินว่าโมเดลขอใช้เครื่องมืออะไร (อ่านไฟล์ รันคำสั่ง ค้นเว็บ) จากนั้นรันเครื่องมือนั้นแทน เอาผลลัพธ์ป้อนกลับไปให้โมเดลคิดต่อ วนเป็นลูปจนงานเสร็จ นอกจากนี้ยังดูแลการขออนุญาตก่อนทำสิ่งเสี่ยง การจัดการ session และการไม่ให้บริบทยาวเกินขีดจำกัดของโมเดล โมเดลตัวเดียวกันจึงทำงานได้ต่างกันมากเมื่ออยู่ใน harness ต่างกัน
Evaluation harness คือชุดโค้ดที่ใช้รันโมเดลกับชุดข้อสอบ (benchmark) ด้วยขั้นตอนเดียวกันทุกครั้ง ตั้งแต่การเตรียม prompt การเรียกโมเดล ไปจนถึงการตรวจและให้คะแนนคำตอบ ตัวอย่างที่เป็นที่รู้จักคือ lm-evaluation-harness ซึ่งโมเดลต่างกันหรือไฟล์ quantization ต่างกันจะถูกวัดด้วยวิธีเดียวกัน ผลจึงเทียบกันได้ แต่ผลคะแนนยังขึ้นกับรูปแบบ prompt และการตั้งค่าที่ harness ใช้ด้วย
สำหรับผู้ใช้ Local AI ข้อควรรู้คือ ความสามารถของ agent ไม่ได้มาจากโมเดลอย่างเดียว เมื่อรันโมเดลบนเครื่องตัวเอง harness ก็เป็นส่วนที่เลือกและเปลี่ยนได้ และ harness ไม่ใช่ backend ซึ่งเป็นชั้นที่คำนวณโมเดลบนฮาร์ดแวร์ ส่วน harness อยู่เหนือขึ้นไปและควบคุมวิธีใช้โมเดล เมื่ออ่านผลทดสอบจึงควรดูด้วยว่าใช้ harness ตัวไหนและตั้งค่าอย่างไร
ตัวอย่างข่าวที่พูดถึงแนวคิดนี้: DeepSeek Harness