GGUF
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”รูปแบบไฟล์สำหรับเก็บโมเดล ที่โปรแกรมอย่าง llama.cpp, LM Studio และ Ollama อ่านและรันได้ โดยรวม weights และข้อมูลประกอบ (metadata) ไว้ด้วยกัน
GGUF ไม่ใช่โมเดลชนิดหนึ่งและไม่ใช่ “สมอง” ของโมเดล แต่เป็นกล่องที่บรรจุของที่โปรแกรมต้องใช้ในการรันโมเดล ภายในมี 4 ส่วนหลัก คือ Header (ระบุว่าเป็นไฟล์ GGUF, เวอร์ชัน, จำนวน tensor และจำนวน metadata) Metadata (เช่น architecture, context length, tokenizer) Tensor info (ชื่อ ขนาด ชนิดข้อมูล และตำแหน่งของ weights แต่ละชุด) และ Tensor data ซึ่งเป็น weights จริง
Tensor data กินพื้นที่ไฟล์เกือบทั้งหมด และระดับ quantization ที่เลือกก็แสดงผลอยู่ในส่วนนี้ ไฟล์ .gguf หนึ่งไฟล์จึงมักตรงกับโมเดลหนึ่งตัวที่ quantize ระดับหนึ่ง