NVIDIA เปิดตัว TensorRT Model Connect แปลงโมเดลด้วย 2 คำสั่ง
NVIDIA เปิดตัว TensorRT Model Connect ในรูปแบบ Public Preview ช่วยแปลง Hugging Face checkpoint สู่ C++ native inference ได้รวดเร็วผ่าน 2 คำสั่ง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- NVIDIA เปิดตัว TensorRT Model Connect (TRTMC) ในสถานะ Public Preview สำหรับการประเมินและผสานรวมระบบ
- รองรับการแปลง Hugging Face checkpoint สู่ C++ native inference ได้ด้วยคำสั่งเพียง 2 บรรทัด
- แยกกระบวนการสร้าง Build และ Runtime ออกจากกันอย่างชัดเจนโดยไม่ต้องพึ่งพา PyTorch ขณะรันโมเดล
- เวอร์ชันปัจจุบันรองรับระบบ Linux aarch64 พร้อม Python 3.10 หรือ 3.12 รวมถึง TensorRT 11.1.0.106
NVIDIA ได้สร้างความฮือฮาให้กับวงการพัฒนาปัญญาประดิษฐ์อีกครั้งด้วยการประกาศเปิดตัว TensorRT Model Connect (TRTMC) ในรูปแบบ Public Preview ซึ่งออกแบบมาเพื่อช่วยให้นักพัฒนาสามารถแปลงโมเดลจาก Hugging Face ไปสู่ C++ native inference ได้อย่างรวดเร็วและมีประสิทธิภาพสูง โดยมุ่งเน้นไปที่การใช้งานจริงภายใต้สภาพแวดล้อมการทำงานจริง พร้อมเปิดให้ทดลองใช้งานและติดตั้งโค้ดได้แล้ววันนี้
สำหรับข้อกำหนดทางเทคนิคในรุ่นเผยแพร่ปัจจุบัน บิ้วด์ไฟล์ (wheels) จะมุ่งเป้าไปที่ระบบปฏิบัติการ Linux aarch64 เท่านั้น โดยต้องใช้งานร่วมกับ Python 3.10 หรือ 3.12, glibc 2.39 ขึ้นไป และ TensorRT 11.1.0.106 ส่วนผู้ใช้งานสถาปัตยกรรม x86_64 จะต้องใช้วิธีการสร้างจากซอร์สโค้ดผ่าน Docker แทนในขณะนี้
จุดเด่นสำคัญของเครื่องมือนี้คือความรวดเร็วในการเริ่มต้นใช้งาน โดยตัวอย่างการใช้งานแบบรวดเร็วสามารถสร้างและรันโมเดล Qwen3-0.6B ได้ผ่านคำสั่งเริ่มต้นดังต่อไปนี้:
- คำสั่งสร้างอาร์ติแฟกต์:
trtmc build Qwen/Qwen3-0.6B --precision bf16 --max-cache-length 16384 --output qwen3-0.6b.bundle - คำสั่งรันโมเดล:
trtmc run ./qwen3-0.6b.bundle --prompt "What is the capital of France? Answer in one word." --chat-template --no-thinking
นอกจากนี้ ไฟล์บันเดิลเดียวกันยังสามารถโหลดเข้าสู่ภาษา C++ ได้โดยตรงผ่านคำสั่ง trtmc::load("./qwen3-0.6b.bundle") ซึ่งช่วยให้การนำไปประยุกต์ใช้งานจริงมีความคล่องตัวสูงขึ้นอย่างมาก
การที่ NVIDIA พัฒนาเครื่องมืออย่าง TensorRT Model Connect ขึ้นมา สะท้อนให้เห็นถึงความพยายามในการแก้ปัญหาคอขวดดั้งเดิมของการปรับใช้โมเดลปัญญาประดิษฐ์ในระดับโปรดักชัน ซึ่งมักประสบปัญหาความยุ่งยากในการแปลงข้ามรูปแบบ (เช่น PyTorch ไปยัง ONNX แล้วต่อด้วย TensorRT) รวมถึงการที่ต้องเขียนโค้ดเชื่อมต่อเฉพาะสำหรับแต่ละโมเดล การตัดขั้นตอนของ PyTorch ออกไปในฝั่ง Runtime ช่วยลดความซับซ้อนและเพิ่มความเร็วในการประมวลผลสำหรับระบบที่ต้องใช้ภาษา C++ เป็นหลักได้อย่างมีนัยสำคัญ
กลไกการทำงานของ TRTMC จะทำการแยกขั้นตอนการ Build ออกจาก Runtime อย่างเด็ดขาดผ่านอาร์ติแฟกต์ที่มีการกำหนดเวอร์ชัน โดยฝั่ง Python จะทำหน้าที่จัดการความถูกต้องของ checkpoint และสร้าง TensorRT engine จากนั้นโปรไฟล์แบบ Native จะรันการทำนายผลในภาษา C++ โดยไม่ต้องพึ่งพา PyTorch แต่อย่างใด แม้ว่าจะมีโปรไฟล์แบบไฮบริดจำนวนเล็กน้อยที่ยังคงเรียกใช้งานโปรแกรมเสริมของ Python ซึ่งจะมีการประกาศการพึ่งพานี้ไว้อย่างชัดเจนในไฟล์ Manifest
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในส่วนของการพัฒนาแอปพลิเคชัน นักพัฒนาสามารถเรียกใช้งานผ่าน Task API มาตรฐาน เช่น generate(), transcribe(), generate_image(), embed() และ solve() แทนที่จะต้องคอยดูแลจัดการขั้นตอนการแปลงโมเดลและเขียนโค้ดเชื่อมต่อแยกตามแต่ละรุ่นของโมเดล นอกจากนี้ คำสั่ง trtmc inspect ยังช่วยให้ผู้ใช้งานสามารถตรวจสอบประเภทของบันเดิล ตระกูลโมเดล ระดับความแม่นยำ ตัวตนของ Runtime และเอ็นจิ้นต่างๆ ได้ ทำให้ตัวอาร์ติแฟกต์มีความโปร่งใสและตรวจสอบย้อนกลับได้ง่าย แทนที่จะเป็นกล่องดำที่ตรวจสอบไม่ได้
ทาง NVIDIA ได้ชี้ให้เห็นว่าแนวทางแบบดั้งเดิมที่ผ่านมามักจะต้องผ่านกระบวนการที่ยาวนานตั้งแต่ PyTorch ไปยัง ONNX หรือ TorchScript ต่อด้วย TensorRT และจบด้วยการเขียน C++ integration เฉพาะรุ่น ซึ่งมักจะพบปัญหาช่องว่างในการส่งออก การเชื่อมต่อซ้ำซ้อนในแต่ละโมเดล และกระบวนการตรวจสอบที่กระจัดกระจายอยู่ตามอาร์ติแฟกต์การแปลงหลายตัว การมาถึงของ TRTMC จึงช่วยรวบขั้นตอนเหล่านี้ให้กระชับและมีประสิทธิภาพยิ่งขึ้น
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น