OpenHiggsfield แก้คอขวด Next.js Server Actions ด้วย Request Coalescing

การพัฒนาแพลตฟอร์ม Generative AI ระดับโปรดักชันมักพบอุปสรรคสำคัญทางสถาปัตยกรรม 2 ประการ ได้แก่ คอขวดด้านเครือข่ายที่เกิดจากข้อจำกัดด้านความพร้อมกัน (Concurrency) ของ Next.js Server Actions และความกระจัดกระจายของสคีมาข้าม API ผู้ให้บริการ AI จำนวนมาก เช่น Kling, ByteDance Seedance, Black Forest Labs Flux และ Minimax

ในบทความนี้เราจะพาไปวิเคราะห์สถาปัตยกรรมทางเทคนิคของ open-higgsfield ซึ่งเป็นสตูดิโอ UI แบบโอเพนซอร์สประสิทธิภาพสูงที่ออกแบบมาสำหรับการสร้างวิดีโอและรูปภาพจากหลากหลายโมเดล พร้อมทั้งดูวิธีเลี่ยงการล็อกไคลเอนต์ของ Next.js Server Actions ผ่านเทคนิค client-side request coalescing

Next.js App Router Server Actions มอบรูปแบบการจัดการที่ดีเยี่ยมสำหรับการส่งข้อมูลจากไคลเอนต์ไปยังเซิร์ฟเวอร์ แต่รันไทม์เบื้องหลังกลับสร้างคอขวดครั้งใหญ่สำหรับแอปพลิเคชันแบบเรียลไทม์ เนื่องจาก Next.js ทำการเรียงลำดับการส่ง Server Action ทีละรายการต่อหนึ่งการเชื่อมต่อของไคลเอนต์

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ในสตูดิโอสร้างภาพและวิดีโอ งานประมวลผลเบื้องหลังแบบอะซิงโครนัสที่ใช้เวลานานจะทำงานพร้อมกันหลายรายการ วิธีการแบบดั้งเดิมมักจะผูกฮุก setInterval เข้ากับแต่ละงาน แล้วส่งคำขอ Server Action แบบแยกส่วนเพื่อตรวจสอบสถานะ getGenerationStatus(requestId) ทุกๆ ไม่กี่วินาที ส่งผลให้เกิดการต่อคิวบนฝั่งไคลเอนต์และทำให้ UI เกิดอาการค้าง

เพื่อหลีกเลี่ยงการจัดลำดับการทำงานแบบอนุกรมบนฝั่งไคลเอนต์ open-higgsfield จึงได้นำสถาปัตยกรรม single-flight fan-out polling มาใช้งาน แทนที่จะปล่อยให้ตัวจับเวลาอิสระต่างคนต่างส่งคำขอ ไคลเอนต์จะรวม ID งานที่กำลังรอทั้งหมดไว้ในสเตทแมชชีนส่วนกลางที่ src/generation/poll.ts และส่ง Server Action แบบแบตช์เพียงครั้งเดียวต่อช่วงเวลา

ที่มา: Dev.to