คำศัพท์

หมวดนี้รวมความหมายของคำศัพท์ด้าน Local AI ที่ปรากฏในบทความต่าง ๆ

• Active Parameters

  จำนวน parameters ที่ถูกใช้คำนวณจริงต่อ token ในโมเดลแบบ MoE ซึ่งน้อยกว่าขนาดรวมของโมเดล

• Backend

  ชั้นซอฟต์แวร์ที่ทำหน้าที่คำนวณจริงให้โปรแกรมรันโมเดล โดยคุยกับฮาร์ดแวร์ (CPU, GPU, NPU) ผ่านไดรเวอร์และไลบรารีของผู้ผลิต

• Batching

  การรวมหลายคำขอไว้คำนวณพร้อมกันเป็นชุดเดียว เพื่อใช้ GPU ได้เต็มที่และเพิ่มปริมาณงานรวม

• bpw (Bits per Weight)

  จำนวนบิตเฉลี่ยที่ใช้เก็บ weight หนึ่งตัวในไฟล์โมเดล ยิ่งต่ำไฟล์ยิ่งเล็ก

• Concurrent (Concurrency)

  การที่ระบบรับและประมวลผลหลายคำขอในช่วงเวลาเดียวกัน เช่น หลายผู้ใช้หรือหลาย agent เรียกโมเดลตัวเดียวพร้อมกัน

• Context Window

  จำนวน token สูงสุดที่โมเดลพิจารณาได้ในครั้งเดียว รวมทั้งสิ่งที่เราป้อนเข้าไปและคำตอบที่โมเดลสร้าง

• CUDA

  แพลตฟอร์มคำนวณบน GPU ของ NVIDIA ประกอบด้วยไดรเวอร์ ไลบรารี และเครื่องมือสำหรับให้โปรแกรมสั่ง GPU ทำงานคำนวณทั่วไปนอกเหนือจากการแสดงภาพ

• Decode (Token Generation)

  ขั้นตอนสร้างคำตอบทีละ token หลังจาก Prefill เสร็จ วัดความเร็วเป็น tokens/s

• Flash Attention

  วิธีคำนวณ attention ที่แบ่งงานเป็นก้อนเล็กเพื่อลดการอ่านเขียนหน่วยความจำ ทำให้ใช้หน่วยความจำน้อยลงและมักเร็วขึ้นเมื่อ context ยาว

• GGUF

  รูปแบบไฟล์สำหรับเก็บโมเดล ที่โปรแกรมอย่าง llama.cpp, LM Studio และ Ollama อ่านและรันได้ โดยรวม weights และข้อมูลประกอบ (metadata) ไว้ด้วยกัน

• GPU Offload

  การกำหนดว่าจะย้ายโมเดลกี่ layer ไปคำนวณบน GPU ส่วนที่เหลือจะอยู่ที่ CPU และ RAM

• Hallucination

  อาการที่โมเดลสร้างข้อมูลที่ฟังดูน่าเชื่อถือแต่ไม่ถูกต้องหรือไม่มีอยู่จริง โดยไม่รู้ตัวว่ากำลังผิด

• Harness

  โครงสร้างซอฟต์แวร์ที่ห่อหุ้มโมเดล AI ไว้ ทำหน้าที่จัดการเครื่องมือ บริบท ลูปการทำงาน และสิทธิ์ต่าง ๆ หรือในอีกความหมายคือชุดเครื่องมือที่ใช้รันและวัดผลโมเดลอย่างเป็นระบบ

• KV Cache

  หน่วยความจำที่เก็บผลคำนวณระหว่างทางของ token ก่อนหน้า เพื่อไม่ต้องคำนวณซ้ำทุกครั้งที่สร้าง token ใหม่ และจะโตขึ้นตามความยาว context

• Latency

  เวลาที่ต้องรอ นับจากส่งคำขอจนได้ผลลัพธ์ ในงาน LLM แบ่งดูได้เป็นเวลารอ token แรก และเวลารวมจนตอบจบ

• MoE (Mixture of Experts)

  สถาปัตยกรรมที่แบ่งโมเดลเป็น "experts" หลายชุด แล้วเลือกใช้เฉพาะบางส่วนต่อ token ทำให้ parameters ที่คำนวณจริงน้อยกว่าขนาดรวมของโมเดล

• NVFP4

  รูปแบบตัวเลขทศนิยม 4 บิต (4-bit floating point) ของ NVIDIA ที่ออกแบบมาให้ Tensor Core ของ GPU สถาปัตยกรรม Blackwell คำนวณได้โดยตรง ใช้ลดขนาดโมเดลและ memory ที่ต้องอ่านตอนรัน

• OpenVINO

  ชุดเครื่องมือโอเพนซอร์สของ Intel สำหรับปรับแต่งและรัน AI inference บนฮาร์ดแวร์ Intel ได้แก่ CPU, GPU (เช่น Arc) และ NPU

• Prefill (Prompt Processing)

  ขั้นตอนที่โมเดลประมวลผล prompt ทั้งหมดที่ป้อนเข้าไป ก่อนเริ่มสร้างคำตอบ

• Quantization

  การลดความละเอียดของตัวเลข weights ในโมเดล (เช่น จาก 16-bit เหลือ 4-bit) เพื่อให้ไฟล์เล็กลงและใช้ RAM/VRAM น้อยลง โดยแลกกับคุณภาพที่อาจลดลง

← ก่อนหน้า12ถัดไป →