เลิกเดาค่าคอนฟิก Spark และ dbt ซะที นักพัฒนาสร้างเครื่องมือวิเคราะห์ทูนมิ่ง

การสร้างดาต้าไพป์ไลน์มานานกว่าสิบปีทำให้พบความจริงข้อหนึ่งว่า ส่วนที่ยากที่สุดไม่ใช่ตัวตรรกะของไพป์ไลน์ แต่คือการจูนระบบ (Tuning) ไม่ว่าจะเป็นหน่วยความจำ Executor พาร์ติชัน Shuffle ขนาดคลัสเตอร์ หรือจำนวนเธรด นักพัฒนาต้องสุ่มตัวเลข เอาขึ้นระบบจริง แล้วอีกไม่กี่สัปดาห์ต่อมาก็มีบางอย่างพังโดยที่รู้แค่ว่าเกี่ยวกับระบบจูน แต่ไม่รู้ว่าต้องแก้อะไรตรงไหน

รูปแบบปัญหาเหล่านี้เกิดขึ้นซ้ำจนจำได้ขึ้นใจก่อนที่จะเปิด Log ดูเสียอีก เช่น งานประมวลผลช้าเพราะตั้งจำนวนพาร์ติชันสูงเกินไป งานร่วงเพราะแรมหมดเนื่องจากไม่ได้อัปเดตปริมาณข้อมูล หรือบิลคลาวด์พุ่งกระฉูดเพราะขนาดคลัสเตอร์ถูกตั้งไว้รับโหลดสูงสุดแต่ปล่อยว่างเปล่าเกือบตลอดทั้งวัน ความรู้นี้ถูกเก็บไว้ในหัวของวิศวกรอาวุโสไม่กี่คน กลายเป็นองค์ความรู้เฉพาะตัวที่ไม่สามารถขยายผลและสูญหายได้หากพนักงานคนนั้นลาออก

ด้วยเหตุนี้จึงได้พัฒนาเครื่องมือชิ้นเล็กขึ้นมาเพื่อเปลี่ยนองค์ความรู้ในหัวให้ออกมาเป็นรูปธรรม โดยระบบจะอ่านค่าคอนฟิกของไพป์ไลน์คู่กับเมตริกการรันจริง แล้วบอกจุดที่น่าจะมีปัญหาพร้อมเหตุผลประกอบ ไม่ใช่แค่การแนะนำตัวเลขลอยๆ

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

แนวทางการทำงานของระบบถูกกำหนดไว้ด้วยเงื่อนไขที่ตรวจสอบได้ เช่น หากค่าฮีปเฉลี่ยอยู่ที่ 28% และพุ่งสูงสุดที่ 47% ผ่านการรัน 5 ครั้งโดยไม่มีข้อผิดพลาดเรื่องหน่วยความจำ ระบบจะระบุทันทีว่าหน่วยความจำถูกจัดสรรไว้เกินความจำเป็นและแนะนำให้ลดลงประมาณหนึ่งในห้า ซึ่งเป็นเหตุผลที่ผู้ดูแลสามารถตรวจทานได้ด้วยตาเปล่า