อธิบาย Quantization ของโมเดล Local AI ผ่านชื่อ GGUF อย่าง Q4_K_M, Q5_K_M และ Q8_0 ว่าแต่ละส่วนหมายถึงอะไร พร้อมแนวคิด bpw ที่ใช้คำนวณขนาดและหน่วยความจำ
เรียนรู้ Local AI
รวมบทความ และความรู้ทั่วไปเกี่ยวกับ AI, Local AI, เทคโนโลยีต่าง ๆ ที่เกี่ยวข้อง ที่ทำให้เราสามารถรัน AI ในคอมพิวเตอร์ของเราเองได้อย่างเข้าใจ และเลือกใช้งานได้อย่างเหมาะสม
- ถอดรหัสโมเดล Q4_K_M, Q3_K_XL หมายถึงอะไร
- พื้นที่ VRAM ของการ์ดจอถูกใช้ไปกับอะไรบ้าง และจัดการได้อย่างไรถ้ามีไม่พอ
แนวทางคำนวณงบหน่วยความจำ VRAM จากน้ำหนักโมเดล KV cache และ overhead พร้อมอธิบายการทำ GPU offload และการแบ่งชั้นไป CPU เมื่อหน่วยความจำไม่พอ
- Context Window และ KV Cache: ทำไมบริบทยาวขึ้นจึงกินหน่วยความจำมากขึ้น
อธิบาย Context Window และ KV Cache ว่าแต่ละอย่างคืออะไร ทำงานร่วมกันอย่างไร และเพราะเหตุใดการเปิดบริบทยาวจึงทำให้ VRAM เพิ่มขึ้นอย่างมีนัยสำคัญ
- MoE vs Dense: ทำไมโมเดล 35B ถึงตอบเร็วเหมือนโมเดล 3B
อธิบายความต่างระหว่างโมเดลแบบ Dense และ Mixture-of-Experts (MoE) ว่าทำไมจำนวนพารามิเตอร์รวมกับพารามิเตอร์ที่ทำงานจริงจึงไม่เท่ากัน และมีผลต่อความเร็วและหน่วยความจำอย่างไร
- Prefill vs Decode: TTFT และ TPS ต่างกันอย่างไร ความเร็วที่หลายคนสงสัย
อธิบายสองระยะการทำงานของ LLM คือ Prefill และ Decode พร้อมตัวชี้วัด TTFT และ TPS ว่าวัดอะไร ถูกจำกัดด้วยทรัพยากรใด และเหตุใดตัวเลขเดียวจึงบอกประสิทธิภาพไม่ครบ
- ก่อนเปิดให้ใช้งานโมเดล นักพัฒนาทดสอบอะไรบ้าง และเราควรดูอะไรบ้างก่อนเลือกโมเดล LLM มาใช้ใน Local AI
อธิบายการประเมิน LLM ทั้งความถูกต้อง การทำตามคำสั่ง การใช้เครื่องมือ และประสิทธิภาพ เพื่อเลือกโมเดลให้เหมาะกับงาน
- เครื่องฉันรัน AI ได้ไหม: เช็กเครื่องตัวเองให้ตรงกับงาน Local AI ที่อยากทำ
สเปคเครื่องฉันรัน AI ได้ไหม: คำตอบไม่ได้เริ่มจากสเปค แต่เริ่มจากงานที่อยากทำ เช็กเครื่องตัวเองให้ตรงกับงาน Local AI ที่อยากทำ
- AI PC กับ Local AI เหมือนกันไหม: ซื้อเครื่องใหม่แล้วใช้ AI แบบไหนได้บ้าง
AI PC กับ Local AI เหมือนกันไหม: AI PC และ Local AI ไม่ใช่สิ่งเดียวกัน แม้จะเป็นคำที่ถูกพูดถึงคู่กันบ่อยจนหลายคนใช้สลับกันไปมา
- AI PC คืออะไร: พีซีแบบเดิมกับพีซีสำหรับยุค AI ต่างกันตรงไหน
AI PC คืออะไร: พีซีแบบเดิมกับพีซีสำหรับยุค AI ต่างกันตรงไหน
- Local AI คืออะไร: ทำไมเราถึงต้องรัน AI บนเครื่องตัวเอง
Local AI คือการรันโมเดล AI บนอุปกรณ์ของเราเอง ไม่ว่าจะเป็นพีซี โน้ตบุ๊ก เวิร์กสเตชัน หรือในบางกรณีก็รันได้บนมือถือ
