ทดลองใช้ AI จัดการบั๊กฟรี: เผยตารางตัดสินใจและผลลัพธ์

ผู้ดูแลโปรเจกต์โอเพนซอร์สทุกคนต่างคุ้นเคยกับกิจวัตรยามเช้า เมื่อเปิดหน้าต่างคิวปัญหาตอน 8 โมงเช้าแล้วพบว่ามีแท็บนับสิบที่พูดถึงบั๊กตัวเดียวกัน บ้างก็ไม่มีบันทึกข้อมูล (logs) บ้างก็มีหัวข้อที่อ่านไม่รู้เรื่อง หรือบางอันก็เป็นคำขอฟีเจอร์ที่ปลอมตัวมาเป็นบั๊ก ปัญหานี้ทำให้เสียเวลาช่วงเช้าไปโดยเปล่าประโยชน์ จึงเกิดการทดลองนำ AI แบบฟรีเข้ามาช่วยจัดระเบียบปัญหาก่อนที่มนุษย์จะเข้าไปตรวจสอบ โดยไม่ต้องเสียเงินซื้อ API หรือตั้งงบประมาณสำหรับ GPU ใช้เพียงแค่โมเดลฟรีและตัวเลือกเซิร์ฟเวอร์ฟรีเท่านั้น

กระบวนการคัดแยกปัญหา (Triage) แท้จริงแล้วคือการจับคู่รูปแบบ เช่น ชื่อเรื่องที่ซ้ำซ้อน สแตกเทรซที่ขาดหายไป หรือฟีเจอร์รีเควสต์ที่ปลอมตัวมา แม้ว่ามนุษย์จะมีความสามารถในการมองหารูปแบบเหล่านี้ได้ดี แต่ต้นทุนที่เสียไปคือพลังความสนใจ (attention) ซึ่งเป็นทรัพยากรที่มีค่าที่สุดในงานโอเพนซอร์ส บอทคัดแยกปัญหาจึงไม่จำเป็นต้องสมบูรณ์แบบ แต่ขอแค่มีราคาถูก คาดเดาผลลัพธ์ได้ และแจ้งเตือนให้ชัดเจนเมื่อเกิดความผิดพลาด การใช้ AI ฟรีจึงเป็นทางตกลงที่เหมาะสมตราบเท่าที่มีการติดป้ายระดับความมั่นใจ (confidence) กำกับไว้ชัดเจน

กฎเหล็กของการทดลองนี้มีเพียงข้อเดียวคือ บอททำหน้าที่จัดเส้นทาง ส่วนมนุษย์เป็นผู้ตัดสินใจ โดยไม่มีการปิดเคส (close) โดยอัตโนมัติเด็ดขาด ระบบได้จำกัดผลลัพธ์การจำแนกประเภทไว้เพียง 4 หมวดหมู่เท่านั้น เพื่อลดข้ออ้างในการคาดเดาที่ผิดพลาด พร้อมทั้งบังคับให้โมเดลเลือกเพียงหมวดหมู่เดียวและให้เหตุผลสั้น ๆ ภายในหนึ่งบรรทัด ชุดคำสั่ง (prompt) ถูกตั้งค่าให้ใช้ค่า temperature ที่ 0 เพื่อให้ผลลัพธ์มีความสม่ำเสมอและทำซ้ำได้ หากปรับค่านี้ให้สูงขึ้น การคัดแยกก็จะเพี้ยนและคาดเดาไม่ได้ทันที

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

สคริปต์การทำงานจะอ่านไฟล์ส่งออก JSON ของปัญหา ทำการจำแนกประเภททีละรายการ และเขียนรายงานออกมา โดยไม่มีเฟรมเวิร์กหรือการพึ่งพาแพ็กเกจอื่นใดนอกจากไลบรารี requests ส่วนเซิร์ฟเวอร์ฟรีทำหน้าที่รัน cron job แบบชุดข้อมูลชุดเดียวต่อคืนตอนตี 3 ซึ่งเป็นเวลาที่การสตาร์ทระบบแบบ cold starts ไม่มีผลกระทบใด ๆ ทำให้คิวปัญหาได้รับการจัดเรียงเรียบร้อยก่อนที่ผู้ดูแลจะเปิดแล็ปท็อปในตอนเช้า