<div class="key-takeaways"><ul><li>นักพัฒนาทดลองเขียน ARM assembly เพื่อคูณเมทริกซ์บน MacBook Air ชิป M2</li><li>ทดสอบวิธี Naive ได้ 1.98 Gflops ก่อนขยับมาใช้ SIMD ดันขึ้นเป็น 7.86 Gflops</li><li>การใช้เทคนิค Tiling และขยายขนาด Tile ช่วยเพิ่มประสิทธิภาพคำนวณอย่างก้าวกระโดด</li><li>เตรียมต่อยอดสู่การคำนวณ FP16 และคำสั่ง SME หรือ SVE2 ในบทความถัดไป</li></ul></div><p>การเขียนเคอร์เนลสำหรับโครงข่ายประสาทเทียมมักเป็นเรื่องที่นักพัฒนากลับมาหยิบจับอยู่เสมอ แม้ปัจจุบันเครื่องมือบนฝั่ง GPU อย่าง CUDA จะมีความก้าวหน้าไปมาก แต่อุปกรณ์สถาปัตยกรรม ARM ในระบบคลาวด์และคอมพิวเตอร์ทั่วไปก็มีจำนวนเพิ่มขึ้นอย่างต่อเนื่อง ทำให้เกิดคำถามว่าเราจะสามารถเขียนโค้ดคูณเมทริกซ์โดยใช้ภาษาแอสเซมบลีของ ARM ให้ทำงานด้วยความเร็วที่น่าพอใจได้อย่างไร โดยเริ่มต้นทดลองเขียนด้วย NEON assembly บนเครื่อง MacBook Air ที่ใช้โปรเซสเซอร์ M2 ซึ่งมีขีดจำกัดทางทฤษฎีของการคูณเมทริกซ์แบบ f32 แบบเธรดเดี่ยวอยู่ที่ 112 GFlops</p><p>การทดสอบประสิทธิภาพครั้งนี้อ้างอิงจากการกวาดขนาดเมทริกซ์ (shape sweep) ตั้งแต่ 64x64 จนถึง 1024x1024 โดยรันจำนวน 20 ครั้งต่อหนึ่งสเต็ป แล้วนำค่าเฉลี่ยของแต่ละเคอร์เนลมาคำนวณผลลัพธ์ เริ่มต้นจากการเขียนฟังก์ชันแบบ Naive ด้วยแอสเซมบลีพื้นฐาน ซึ่งผลลัพธ์ที่ได้คือ 1.98 Gflops หรือคิดเป็นราว 1.8% ของขีดจำกัดทางทฤษฎีเท่านั้น สะท้อนให้เห็นว่าคอมไพเลอร์ภาษา C ยังคงมีความฉลาดในการจัดการโค้ดได้ดีกว่าในขั้นต้น</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/arm_neon_assembly_m2_mu7xasbr_inline_1_12839fd053.jpg" alt="microprocessor chip computer hardware detail" loading="lazy" /><p class="color-gray-500 text-sm mt-10">ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง</p></div><p>เมื่อลองปรับมาใช้งานคำสั่ง SIMD โดยการโหลดค่า 4 ค่าจากเมทริกซ์ B เข้าสู่รีจิสเตอร์ 128-bit เดียว และกระจายค่า (broadcast) จากเมทริกซ์ A หนึ่งค่าลงในรีจิสเตอร์ 128-bit เพื่อใช้คำสั่ง fmla ในการคำนวณ 4 ค่าพร้อมกัน ส่งผลให้ประสิทธิภาพกระโดดขึ้นมาอยู่ที่ 7.86 Gflops หรือดีกว่าเดิมประมาณ 4 เท่าตัว แม้จะมีข้อจำกัดว่าขนาดของ N จะต้องหารด้วย 4 ลงตัวก็ตาม</p><div class="stat-row"><div class="stat-item"><span class="stat-number">112 GFlops</span><span class="stat-label">ขีดจำกัดสูงสุด F32 บน M2</span></div><div class="stat-item"><span class="stat-number">7.86 GFlops</span><span class="stat-label">ประสิทธิภาพจาก NEON SIMD</span></div><div class="stat-item"><span class="stat-number">1.98 GFlops</span><span class="stat-label">ประสิทธิภาพวิธี Naive</span></div></div><p>เพื่อเพิ่มความเข้มข้นในการคำนวณต่อการโหลดข้อมูลแต่ละครั้ง จึงได้นำเทคนิคการทำ Tiling มาใช้ ซึ่งเป็นเทคนิคคลาสสิกที่นิยมใช้ในเคอร์เนลของ GPU โดยใช้รีจิสเตอร์ 128-bit จำนวน 32 ตัวสำหรับคำนวณเลขทศนิยม ทำให้สามารถสร้าง Output Tile ขนาด 8x8 โดยใช้ 16 รีจิสเตอร์สำหรับผลลัพธ์ และอีก 16 รีจิสเตอร์สำหรับอินพุต ส่งผลให้มีการโหลดข้อมูล 16 ครั้งและการดำเนินการ fmla ถึง 64 ครั้งต่อการวนซ้ำในมิติ K แต่ละรอบ นอกจากนี้ยังมีการแทรกคำสั่งโหลดข้อมูลบางส่วนของ B สลับกับการคำนวณ fmla เพื่อทำหน้าที่คล้ายระบบ Double buffering แบบง่าย ซึ่งช่วยเพิ่มประสิทธิภาพขึ้นมาได้อีกราว 5 Gflops</p><div class="ai-insight"><p>การเพิ่มประสิทธิภาพการคูณเมทริกซ์ (Matrix Multiplication) บนซีพียูระดับล่างอย่าง ARM ด้วย NEON ถือเป็นโจทย์คลาสสิกที่ช่วยให้เข้าใจการทำงานของฮาร์ดแวร์ในระดับฮาร์ดแวร์เวกเตอร์ (Vector Registers) และการบริหารจัดการแคชหน่วยความจำ การใช้เทคนิค Tiling ช่วยลดคอขวดของการดึงข้อมูลจากแรมหลักมาไว้ในรีจิสเตอร์ ซึ่งเป็นหัวใจสำคัญในการรีดประสิทธิภาพสูงสุดของชิปตระกูล Apple Silicon ก่อนจะขยับไปสู่ชุดคำสั่งขั้นสูงอย่าง SVE2 หรือ SME ในอนาคต</p></div><p>ท้ายที่สุด การขยับไปสู่ความแม่นยำแบบ FP16 ด้วย Tile ขนาด 8x16 ช่วยให้สามารถเพิ่มจำนวนค่าที่คำนวณเป็นสองเท่าโดยใช้จำนวนรีจิสเตอร์เท่าเดิม ปิดท้ายการทดลองที่สนุกสนานนี้ด้วยการเตรียมลุยต่อกับการคูณเมทริกซ์เลขจำนวนเต็ม (Integer matmul) และการทดลองใช้ SME หรือ SVE2 ในโอกาสต่อไป</p><p class="source-attribution">ที่มา: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/fnctrev/arm-matrix-multiplication-neon-edition-hpp" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

<div class="key-takeaways"><ul><li>Developer explores writing custom ARM assembly for matrix multiplication on an M2 MacBook Air</li><li>Naive implementation yields 1.98 Gflops, jumping to 7.86 Gflops with NEON SIMD</li><li>Applying tiling techniques and expanding tile sizes significantly enhances compute intensity</li><li>Laying the groundwork for FP16 calculations and upcoming SME or SVE2 experiments</li></ul></div><p>Writing neural network kernels is an area many developers revisit, and while GPU tooling like CUDA is highly advanced, ARM-based computers continue to proliferate in cloud environments. This raises the question of how to construct a matrix multiplication routine using ARM assembly language that runs efficiently. Using a MacBook Air powered by an M2 processor—which features a theoretical single-threaded f32 matmul limit of 112 GFlops—as the primary testing ground, the exploration begins with basic assembly concepts.</p><p>Performance benchmarks in this project stem from shape sweeps ranging between 64x64 and 1024x1024, running 20 iterations per step and averaging the output values for each kernel. Starting with a naive assembly implementation, the performance reached 1.98 Gflops, translating to roughly 1.8% of the theoretical maximum and demonstrating that C compilers still manage preliminary code optimizations quite effectively.</p><div class="mb-20"><img class="img-bdrd-16" src="https://api.inewgen.co/uploads/arm_neon_assembly_m2_mu7xasbr_inline_1_12839fd053.jpg" alt="microprocessor chip computer hardware detail" loading="lazy" /><p class="color-gray-500 text-sm mt-10">Stock photo for illustration only, not from the actual event</p></div><p>Shifting toward SIMD execution involves loading four values from matrix B into a single 128-bit register while broadcasting a single value from matrix A into another 128-bit register, executing four fma operations simultaneously across four output values using the fmla instruction. This adjustment brings performance up to 7.86 Gflops—roughly a fourfold improvement—with the structural caveat that N must remain divisible by four.</p><div class="stat-row"><div class="stat-item"><span class="stat-number">112 GFlops</span><span class="stat-label">M2 F32 Theoretical Limit</span></div><div class="stat-item"><span class="stat-number">7.86 GFlops</span><span class="stat-label">NEON SIMD Performance</span></div><div class="stat-item"><span class="stat-number">1.98 GFlops</span><span class="stat-label">Naive Method Performance</span></div></div><p>To increase compute intensity per load operation, classical GPU-inspired tiling techniques are introduced. Leveraging 32 available 128-bit floating-point registers allows for an 8x8 output tile utilizing 16 registers for output and another 16 for inputs. This structure executes 16 loads and 64 fmla operations per K-dimension iteration while unrolling K by 4. Furthermore, interleaving specific B data loads with fmla instructions acts as a lightweight form of double buffering, securing an additional performance gain of around 5 Gflops.</p><div class="ai-insight"><p>Optimizing matrix multiplication on ARM CPUs via NEON provides deep insights into vector register mechanics and memory cache management. Tiling helps mitigate memory bottleneck issues by maximizing register reuse, serving as a crucial step in extracting peak performance from Apple Silicon architectures before advancing to heavier instruction sets like SVE2 or SME.</p></div><p>Ultimately, transitioning to FP16 precision enables an 8x16 tile structure, doubling the number of computed values using the same register count. This concludes the initial exploration, paving the way for upcoming experiments involving integer matrix multiplication and advanced instruction sets like SME or SVE2 in future updates.</p><p class="source-attribution">Source: <img src="https://www.google.com/s2/favicons?domain=dev.to&sz=64" alt="Dev.to" class="source-logo" width="16" height="16" /> <a href="https://dev.to/fnctrev/arm-matrix-multiplication-neon-edition-hpp" target="_blank" rel="noopener noreferrer">Dev.to</a></p>

medium_เขียนโค้ดคูณเมทริกซ์-arm-ด้วย-neon-assembly-บน-m2-mu7xasbr.jpg

small_เขียนโค้ดคูณเมทริกซ์-arm-ด้วย-neon-assembly-บน-m2-mu7xasbr.jpg

thumbnail_เขียนโค้ดคูณเมทริกซ์-arm-ด้วย-neon-assembly-บน-m2-mu7xasbr.jpg

Inewgen

Inewgen

#Matrix Multiplication

ARM Matrix Multiplication with NEON Assembly on M2

Inewgen