Sakana AI เปิดตัว PC-ALM ฝึกเครือข่ายลึก 1,000 ชั้น

ทีมนักวิจัยจาก Sakana AI ได้พัฒนาอัลกอริทึมการฝึกโมเดลปัญญาประดิษฐ์ตัวใหม่ในชื่อ PC-ALM ซึ่งเป็นวิธีการฝึกแบบ Layer-Local เพื่อใช้เป็นทางเลือกแทนกระบวนการ Backpropagation แบบดั้งเดิม โดยโครงสร้างนี้มุ่งแก้ปัญหาข้อจำกัดของวิธี Predictive Coding (PC) แบบเดิม ที่มักประสบปัญหาการส่งผ่านสัญญาณเครดิต (Credit Signal) ไม่ถึงชั้นต้นๆ ในเครือข่ายที่มีความลึกแต่แคบ

หลักการทำงานของ Predictive Coding (PC) จะมองการทำงานของ Hidden Activation ทุกตัวให้เป็นตัวแปรสำหรับการปรับแต่ง (Optimization Variable) พร้อมลงโทษค่าความคลาดเคลื่อนกำลังสอง (Squared Mismatch) ระหว่าง Activation ของแต่ละชั้นกับการคาดการณ์จากชั้นด้านล่าง กระบวนการอนุมาน (Inference) จึงเป็นการทำ Gradient Descent บนพลังงานดังกล่าว ขณะที่การเรียนรู้จะใช้การปรับน้ำหนักแบบ Hebbian แต่ข้อจำกัดสำคัญคือสัญญาณกำกับดูแลจะเข้าทางเอาต์พุตและต้องกระจายผ่านเครือข่าย ซึ่ง Innocenti และคณะเคยระบุช่องว่างระหว่าง PC กับ Backpropagation ว่าแย่ที่สุดเมื่อความกว้างน้อยกว่าความลึก

สำหรับการอนุมาน PC-ALM จะสลับการทำงาน 2 ขั้นตอนในระดับท้องถิ่น ประกอบด้วย Primal Gradient Step บน Activation และ Dual Step แบบ ${\lambda }_i\leftarrow {\lambda }_i+\alpha r_i$ ที่สะสมค่าความผิดพลาดการคาดการณ์ของชั้นนั้นๆ ทีมวิจัยมองว่าโครงสร้างนี้เทียบเท่ากับตัวควบคุมแบบ PI (Proportional-Integral Controller) ในแต่ละชั้น โดยค่าความผิดพลาดทำหน้าที่เป็นสัดส่วน (Proportional) และตัวคูณทำหน้าที่เป็นปริพันธ์ (Integral) ซึ่งเมื่อกำหนด $\alpha =\rho$ จะได้วิธีตัวคูณแบบคลาสสิก

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ทีมวิจัยได้ทำการทดสอบด้วยการกวาดค่าความกว้างและความลึกของ Residual MLP ตั้งแต่ 8 ถึง 128 บนชุดข้อมูล Fashion-MNIST และ MNIST ภายใต้พารามิเตอร์แบบ Mean-field เป็นเวลา 1 Epoch ด้วยงบประมาณการอนุมาน $T=2L$ พบว่า PC-ALM สามารถทำผลงานได้ทัดเทียมกับ Backpropagation ในทุกความกว้าง ความลึก และฟังก์ชันการใช้งาน (Identity, tanh, ReLU) ในขณะที่วิธี PC แบบเดิมจะตกลงอย่างมากในเซลล์ที่ลึกและแคบ

"เซลล์อ้างอิงในที่เก็บข้อมูล (ความกว้าง 32, ความลึก 32, ReLU, Fashion-MNIST) รายงานความแม่นยำในการทดสอบที่ 78.66% สำหรับ Backpropagation, 68.13% สำหรับ PC และ 77.75% สำหรับ PC-ALM โดยมีความ cosine ของ Gradient เทียบกับ Backpropagation เพิ่มขึ้นจาก 0.604 เป็น 0.909"

Sakana AI Research Team

งานวิจัยชิ้นนี้ยังขยายขอบเขตการทดสอบไปยัง Residual MLP ความลึก 1,000 ชั้น บนชุดข้อมูล MNIST เป็นเวลา 5 Epoch ซึ่งให้ผลลัพธ์อยู่ในเกณฑ์ที่ต่างจาก Backpropagation เพียงราว 2 เปอร์เซ็นต์เท่านั้น นอกจากนี้ PC-ALM ยังแสดงให้เห็นถึงประสิทธิภาพที่ดีกว่า PC ในทุกชุดข้อมูลทดลอง รวมถึง ResNet-18 บน CIFAR-10 และ Tiny ImageNet อีกด้วย

ที่มา: MarkTechPost