Cronflower: เลิกพึ่งพา Cron Job แบบต่อคิว สู่ระบบ DAG
ทำความรู้จัก cronflow ส่วนประกอบสำคัญของ cronflower เครื่องมือ Open-source บน Spring Boot สำหรับจัดการเวิร์กโฟลว์แบบกราฟ DAG กระจายงานทั่วคลัสเตอร์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- ปัญหาหลักของ Cron Job คือกำหนดเวลาเดี่ยวๆ ไม่สามารถจัดการความสัมพันธ์ของงานได้
- cronflow ใช้โครงสร้าง DAG ประกาศขั้นตอนและการพึ่งพาผ่าน Spring bean ได้อย่างแม่นยำ
- รองรับระบบ Reducer รวมข้อมูลจากหลายโหนด ลดปัญหา Race Condition และแชร์สถานะ
- รันระบบง่ายด้วยชุดคำสั่งท้องถิ่น พร้อมหน้าเว็บคอนโซลที่พอร์ต localhost:7200
ทีมพัฒนาซอฟต์แวร์จำนวนมากมักเผชิญกับข้อจำกัดเดิมๆ เมื่อระบบเติบโตขึ้น การตั้งเวลาทำงานผ่าน Cron Job สองตัวให้รันห่างกันสิบหนาวนาที เช่น งานชาร์จคำสั่งซื้อเวลา 02:00 น. ตามด้วยงานจัดส่งเวลา 02:15 น. โดยอาศัยการกะเวลาเผื่อให้งานแรกเสร็จสิ้น มักนำไปสู่ปัญหาความเปราะบาง เนื่องจากไม่มีกลไกตรวจสอบความสัมพันธ์ที่แท้จริงระหว่างงาน หากงานแรกเกิดความล่าช้า งานที่สองก็ยังคงทำงานต่อตามเวลาในนาฬิกา ส่งผลให้ระบบขาดความน่าเชื่อถือในการตรวจสอบย้อนหลังว่าขั้นตอนที่สองทำงานเพราะขั้นตอนแรกสำเร็จจริงหรือไม่
ข้อจำกัดดังกล่าวสะท้อนให้เห็นว่า Cron แบบดั้งเดิมทำหน้าที่ได้เพียงจัดตารางเวลาให้กับงานเดี่ยวๆ เท่านั้น แต่ไม่สามารถประสานการทำงานของกระบวนการที่มีความซับซ้อนได้ ทางออกสำหรับปัญหานี้คือเครื่องมือโอเพนซอร์สแจกจ่ายสำหรับ Spring Boot ที่เรียกว่า cronflower ซึ่งประกอบด้วยสองส่วนหลัก ได้แก่ cronsmith ตัวจัดตารางเวลาแบบกระจาย และ cronflow ซึ่งเป็นตัวจัดการ DAG (Directed Acyclic Graph) ที่เปิดให้นักพัฒนากำหนดขั้นตอนและความสัมพันธ์ในรูปแบบกราฟ เพื่อให้คลัสเตอร์ประมวลผลไปทีละโหนดพร้อมบันทึกข้อมูลการไหลเวียนในทุกย่างก้าว
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในแง่ของการใช้งาน โครงสร้าง DAG จะถูกประกาศในรูปแบบ Spring bean โดยใช้แอนโนเทชัน @Dag ในการตั้งชื่อ และแต่ละเมธอด @DagNode จะทำหน้าที่เป็นหนึ่งขั้นตอน พร้อมระบุรายการเชื่อมโยงผ่านพารามิเตอร์ to โหนดต่างๆ สามารถส่งข้อมูลหากันได้ผ่านการคืนค่า Map ของช่องสัญญาณ (channel writes) และอ่านข้อมูลที่โหนดต้นน้ำเขียนไว้ผ่าน DagState นอกจากนี้ระบบยังแก้ไขปัญหาการเขียนข้อมูลพร้อมกันจากหลายโหนด เช่น กรณีที่ตัวประเมินผลคะแนนสามตัวเขียนข้อมูลลงใน score พร้อมกัน ซึ่งปกติจะเกิดภาวะ Race Condition แต่ cronflow จัดการเรื่องนี้ผ่านช่องสัญญาณที่มีระบบ reducer ในตัว ทำให้แต่ละโหนดอ่านค่าที่รวมเสร็จเรียบร้อยแล้วทันที
"That's the wall plain cron hits: it schedules single jobs, it can't orchestrate a flow of them."
Paganini2008
นอกเหนือจากการรวมข้อมูลแล้ว ระบบยังมีฟีเจอร์ที่น่าสนใจอื่นๆ ดังนี้:
- Conditional routing: อนุญาตให้โหนดเลือกขั้นตอนถัดไปจากข้อมูลโดยใช้ SpEL (Spring Expression Language)
- Subgraphs: ยอมให้โหนดหนึ่งกลายเป็น DAG ทั้งชุด ช่วยให้สามารถประกอบเวิร์กโฟลว์ซ้อนกันได้โดยไม่ต้องคัดลอกโค้ดซ้ำ
- Cluster execution: กระจายการประมวลผลไปยังตัวรันงาน (executor) หลายตัวในคลัสเตอร์ ทำให้การทำงานแบบแยกแขนงกว้างๆ สามารถรันขนานกันบนเครื่องจักรหลายเครื่องได้จริง
การเปลี่ยนผ่านจากการรัน Cron แบบต่อเนื่องมาสู่สถาปัตยกรรม DAG ถือเป็นก้าวสำคัญสำหรับระบบ Microservices หรือแบคเอนด์ขนาดใหญ่ที่ต้องการความน่าเชื่อถือสูง การใช้ Dependency Graph ช่วยขจัดความเสี่ยงเรื่องเวลาตายตัว (Hardcoded delays) และเปิดให้วิศวกรสามารถตรวจสอบสถานะการทำงานของแต่ละโหนดได้อย่างละเอียดผ่านเว็บอินเตอร์เฟซ ซึ่งช่วยลดเวลาในการ Debug ปัญหาท่อส่งข้อมูล (Data Pipeline) ได้อย่างมหาศาล
สำหรับผู้ที่สนใจทดลองใช้งาน สามารถโคลนโปรเจกต์จาก GitHub และเรียกใช้สคริปต์ภายในเครื่องได้ทันทีด้วยคำสั่ง git clone https://github.com/paganini2008/cronflower เข้าสู่โฟลเดอร์ cd cronflower/deploy แล้วรันสคริปต์ ./run-local.sh -e 1 เพื่อเปิดใช้งานตัวจัดตาราง คอนโซล และตัวรันงาน 1 ตัวโดยไม่ต้องตั้งค่าที่เก็บข้อมูลล่วงหน้า จากนั้นสามารถเข้าใช้งานผ่านเบราว์เซอร์ที่ http://localhost:7200 ด้วยชื่อผู้ใช้ admin และรหัสผ่าน admin123 พร้อมรองรับการขยายขนาดเป็นคลัสเตอร์จริงหรือใช้งานผ่านคอนเทนเนอร์ Docker ได้ตามต้องการ
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น