คู่มือวิศวกรระบบเจาะลึก AI Scalability และเบื้องหลังโค้ด

ในปี 2001 ระหว่างปีสุดท้ายของการศึกษาปริญญาตรีวิทยาการคอมพิวเตอร์ ผู้เขียนได้เลือกเรียนวิชา AI และโครงข่ายประสาทเทียมเป็นวิชาเลือก ในขณะนั้นทฤษฎีดูเป็นเรื่องที่เป็นไปไม่ได้ในเชิงปฏิบัติ คล้ายกับดาราศาสตร์ที่จับต้องไม่ได้ แต่กลับคาดการณ์ว่าสิ่งนี้จะมีความสำคัญในอนาคต

ต่อมาในปี 2012 นักศึกษาระดับบัณฑิตศึกษาที่ใช้งานกราฟิกการ์ด GTX 580 จำนวน 2 ตัว ณ มหาวิทยาลัยโตรอนโต ได้พลิกโฉมหน้าประวัติศาสตร์ เมื่อโครงข่ายประสาทเทียม AlexNet คว้าชัยชนะในการแข่งขัน ImageNet ได้อย่างขาดลอย ถือเป็นจุดสิ้นสุดของยุคคอมพิวเตอร์วิทัศน์แบบทำมือ และเริ่มต้นยุคของการเรียนรู้เชิงลึก อัลกอริทึมไม่ได้เปลี่ยนแปลงไป แต่การคูณเมทริกซ์ซึ่งเป็นหัวใจสำคัญถูกนำมาประมวลผลแบบคู่ขนานบนคอร์ GPU นับพันตัวพร้อมกัน

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

บทความนี้จึงเป็นการเชื่อมโยงประสบการณ์การสร้างระบบด้วยภาษา C, C++ และ Java เข้ากับแนวคิดเบื้องหลัง NumPy, PyTorch และเฟรมเวิร์กการเรียนรู้ของเครื่องสมัยใหม่ เพื่อให้เข้าใจว่าหลักการทางวิศวกรรมเบื้องต้นนำมาประยุกต์ใช้อย่างไร

หากพิจารณาเมทริกซ์ 2 มิติอย่างง่ายในภาษา C โครงสร้างนี้ไม่ใช่เพียงไวยากรณ์ แต่คือตำแหน่งทางกายภาพของข้อมูลในหน่วยความจำ DRAM การตัดสินใจเรื่องเลย์เอาต์หน่วยความจำส่งผลโดยตรงต่อประสิทธิภาพของ CPU ผ่านพฤติกรรมแคช

ความแตกต่างที่สำคัญในการก้าวจาก CPU ไปสู่ GPU คือปรัชญาการออกแบบ CPU ทั่วไปมีคอร์ความถี่สูงซับซ้อนจำนวน 8 ถึง 32 คอร์ ในขณะที่ NVIDIA A100 มีคอร์ที่เรียบง่ายกว่าถึง 6,912 คอร์ ซึ่งทำงานประสานกันเป็นกลุ่มกลุ่มละ 32 เธรดที่เรียกว่า Warp ภายใต้แนวคิด SIMT หรือ Single Instruction, Multiple Threads

"Everything since has been the answer to one question: what happens if we keep throwing more GPU compute at this?"

Vinod Nalla

ระบบการคำนวณอัตโนมัติหรือ Autograd ของ PyTorch ทำงานบนโครงสร้างกราฟแบบมีทิศทางไม่มีวัฏจักร หรือ Directed Acyclic Graph (DAG) โดยที่โหนดคือการดำเนินการกับเทนเซอร์ และเส้นเชื่อมคือเกรเดียนต์ ซึ่งแสดงให้เห็นว่ากระบวนการย้อนกลับไม่ได้อาศัยเวทมนตร์ แต่เป็นกฎลูกโซ่ทางแคลคูลัส

ที่มา: Dev.to