NVIDIA เปิดตัว Nemotron 3.5 Super VL โมเดลมัลติโมดัลสำหรับ AI Agent ระดับองค์กร

NVIDIA เปิดตัว Nemotron 3.5 Super VL โมเดลมัลติโมดัลแบบเปิดและปรับแต่งได้ ที่ออกแบบมาเพื่อสร้าง AI Agent เฉพาะทางสำหรับงานองค์กร โดยรวมความสามารถด้านเหตุผล การใช้เครื่องมือ และการเข้าใจข้อความ รูปภาพ เอกสาร และวิดีโอไว้ในโมเดลเดียว

โมเดลนี้ใช้สถาปัตยกรรม Mixture-of-Experts (MoE) ขนาด 120 พารามิเตอร์ แต่เปิดใช้งานเพียง 12 พารามิเตอร์ต่อหนึ่ง token ช่วยให้สมดุลระหว่างความสามารถของโมเดลกับประสิทธิภาพการอนุมาน (inference) NVIDIA ระบุว่าบน GPU เดียว โมเดลนี้ให้ throughput สูงกว่าโมเดลโอเพนซอร์สในกลุ่มขนาดเดียวกันได้สูงสุด 5 เท่า สำหรับงาน agentic

ทำงานได้ทั้งข้อความและภาพในเวิร์กโฟลว์เดียว

จุดเด่นของ Nemotron 3.5 Super VL คือการรวมงานที่ต้องใช้ทั้ง reasoning และการเข้าใจภาพไว้ด้วยกัน ทำให้ไม่จำเป็นต้องใช้โมเดลข้อความและโมเดล Vision-Language แยกกัน หรือส่งต่อบริบทระหว่างโมเดล

ความสามารถเด่นครอบคลุมงาน เช่น

• Coding: ทดสอบและตรวจสอบโค้ด วิเคราะห์ข้อผิดพลาด และเสนอวิธีแก้ไข
• Web research: ค้นหาข้อมูลจากหลายเว็บไซต์ เชื่อมโยงหลักฐาน และตรวจสอบคำตอบ
• Document intelligence: อ่านตาราง กราฟ และเลย์เอาต์เอกสาร เพื่อสกัดข้อมูลและสรุปผล
• Cybersecurity: ระบุช่องโหว่และจัดลำดับความสำคัญของภัยคุกคาม
• Video understanding: สกัดข้อมูลจากวิดีโอเพื่อใช้ค้นหา ตรวจสอบคอนเทนต์ หรือวิเคราะห์เหตุการณ์

ในระบบ AI Agent ที่ใช้หลายโมเดล NVIDIA วางตำแหน่ง Nemotron 3.5 Super VL สำหรับงานหลายขั้นตอนที่ต้องใช้ reasoning และข้อมูลภาพร่วมกัน ขณะที่ Nemotron 3.5 Lightning เหมาะกับงานข้อความปริมาณสูง และ Nemotron 3 Ultra สำหรับการวางแผนและควบคุมเวิร์กโฟลว์ที่ซับซ้อน

ปรับแต่งให้เข้ากับข้อมูลและนโยบายองค์กร

นักพัฒนาสามารถ post-train โมเดลด้วย NVIDIA NeMo โดยใช้ข้อมูล อินเทอร์เฟซเครื่องมือ ขั้นตอนการทำงาน และนโยบายภายในขององค์กรเอง รองรับทั้ง Supervised Fine-Tuning (SFT), LoRA และ Reinforcement Learning (RL)

NVIDIA ยังเปิดให้ดาวน์โหลดชุดข้อมูลบน Hugging Face ทั้งข้อมูลการใช้เครื่องมือของ agent, ข้อมูลบทสนทนา, ข้อมูล reasoning และ tool-calling ด้านการเงิน, ข้อมูล instruction-following, ข้อมูล long-context และชุดข้อมูล vision-language จำนวน 40 ชุด

ตัวอย่างการใช้งานจริงที่ NVIDIA เผยแพร่ ได้แก่ Scale AI ที่ปรับแต่งโมเดลสำหรับงานประมวลผลเครดิตผู้ขายอัตโนมัติให้ Skydance โดยคาดว่าต้นทุน inference จะลดลง 40 เท่า และ latency ลดลง 5 เท่า ส่วน Ramp ใช้แปลงภาพใบเสร็จเป็น JSON ที่มีโครงสร้าง โดยคาดว่า throughput จะเพิ่มขึ้นสูงสุด 50% และ latency ลดลง 10 เท่า ขณะที่ AI21 และ Alice ใช้กับงาน threat intelligence และวิเคราะห์ช่องโหว่ โดยความแม่นยำเพิ่มขึ้น 41%

ประสิทธิภาพและการปรับแต่งสำหรับ inference

ในการทดสอบ Hermes Bench และ LangChain Evals Nemotron 3.5 Super VL ทำคะแนนได้ 63.44% และ 87.05% ตามลำดับ สูงกว่า Nemotron 3 Ultra ที่ได้ 56.33% และ 84.3%

โมเดล	Hermes Bench	LangChain Evals
Nemotron 3 Ultra	56.33%	84.3%
Nemotron 3.5 Super VL	63.44%	87.05%

NVIDIA ระบุว่าโมเดลนี้ทำงานเสร็จเร็วขึ้นสูงสุด 4 เท่า จาก throughput ที่สูงขึ้นและการใช้ token ที่มีประสิทธิภาพมากขึ้น และได้รับการปรับให้รันบนเครื่อง NVIDIA DGX Spark ได้ด้วย โดยการประเมินอิสระจาก EXO Labs พบว่าโมเดลอยู่บนเส้น Pareto frontier ระหว่างความแม่นยำกับเวลาทำงานเสร็จ

ด้านเทคนิค โมเดลถูก distill จาก Nemotron 3 Ultra และใช้เทคนิคสำคัญหลายอย่างเพื่อเร่ง inference ได้แก่ LiLiCorr สำหรับ speculative decoding ซึ่งช่วยให้สร้าง token เร็วขึ้นสูงสุด 2.3 เท่าบน DGX Spark, NVFP4 สำหรับ quantization แบบ 4-bit พร้อม quantization-aware distillation, Multi-Token Prediction (MTP) และการ reuse context หรือ prefix caching เพื่อลดการคำนวณซ้ำในแต่ละ turn ของ agent

การใช้งานและความพร้อมของโมเดล

NVIDIA เปิดให้ใช้ checkpoint ทั้งแบบ base, post-trained และแบบ quantize ด้วย NVFP4 พร้อม training recipes, ชุดข้อมูล และสภาพแวดล้อมสำหรับ reinforcement learning นักพัฒนาสามารถดูรายละเอียดได้จาก technical report หรือดาวน์โหลดและติดตั้งผ่าน Hugging Face และ ModelScope

สำหรับการ deploy ระดับ production NVIDIA เสนอ NIM ซึ่งรวมโมเดลกับ inference engine ที่ปรับแต่งแล้วและ API มาตรฐาน รวมถึง NVIDIA Dynamo สำหรับ distributed inference NVIDIA ระบุว่าบน GPU B200 จำนวน 16 ตัว การใช้ KV-cache-aware routing ช่วยให้รองรับผู้ใช้ได้มากขึ้นสูงสุด 8 เท่า พร้อมลด first-token latency ลง 85% ที่อัตรา 50 tokens ต่อวินาทีต่อผู้ใช้

โดยรวมแล้ว Nemotron 3.5 Super VL ถือเป็นโมเดลที่ NVIDIA มุ่งใช้แข่งในตลาด AI Agent ระดับองค์กร โดยเน้นการรวม multimodal understanding เข้ากับ reasoning และ tool use พร้อมปรับแต่งให้เหมาะกับข้อมูลและนโยบายเฉพาะของแต่ละองค์กร

ที่มา: developer.nvidia