Greenfinger 2.0: เว็บครอว์เลอร์ JVM กระจายศูนย์ตัวใหม่

ในแวดวงการพัฒนาซอฟต์แวร์ การจัดเก็บและค้นหาข้อมูลจากเว็บไซต์ขนาดใหญ่มักเป็นเรื่องยุ่งยากที่ต้องอาศัยโครงสร้างพื้นฐานที่ซับซ้อน ล่าสุดโปรเจกต์ Greenfinger 2.0 ได้นำเสนอแนวทางใหม่ในการทำเว็บครอว์เลอร์แบบกระจายศูนย์บน JVM (Java Virtual Machine) ที่ถูกออกแบบมาให้ใช้งานง่ายโดยไม่ต้องติดตั้งระบบฐานข้อมูล เซิร์ฟเวอร์ค้นหา หรือลงทะเบียนรับ API Key ล่วงหน้า ระบบจะทำการจัดเก็บหน้าเว็บ รูปภาพ และทุกเวอร์ชัน พร้อมเปิดให้ค้นหาได้อย่างรวดเร็วผ่านคำสำคัญ ความหมาย หรือแม้กระทั่งการบรรยายภาพที่ผู้ใช้งานจดจำได้

ด้านสถาปัตยกรรมภายใน Greenfinger 2.0 ทำงานโดยแบ่งข้อมูลออกเป็น 3 เลเยอร์หลัก ได้แก่:

• File: จัดเก็บหน้าเว็บ ต้นฉบับบทความ และรูปภาพทั้งหมดลงในดิสก์ท้องถิ่น, MinIO หรือระบบจัดเก็บข้อมูล S3
• Index: จัดทำดัชนีข้อความค้นหาเต็มรูปแบบผ่านทาง Lucene ฝังตัวหรือ Elasticsearch
• Vector: จัดเก็บส่วนของข้อความและเวกเตอร์ของรูปภาพ (Image Embeddings) รองรับ Lucene ฝังตัว, Qdrant, Weaviate และ Elasticsearch

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

จุดเด่นสำคัญคือเลเยอร์ไฟล์จะทำงานตลอดเวลา และฐานข้อมูลจะทำหน้าที่เก็บเฉพาะเมทาดาต้าเท่านั้น ทำให้เมื่อระบบค้นหาอย่าง Elasticsearch เกิดขัดข้อง หรือมีความต้องการเปลี่ยนตัววิเคราะห์ข้อมูลในอีกหกเดือนถัดมา ผู้ใช้สามารถสั่งรีเพลย์ข้อมูลใหม่ได้อย่างรวดเร็วด้วยคำสั่งชุดเดียวโดยไม่ต้องดึงข้อมูลจากเว็บไซต์ต้นทางใหม่อีกรอบ นอกจากนี้ การสลับไปใช้ที่เก็บข้อมูลบนคลาวด์อย่าง MinIO, AWS S3 หรือ Google Cloud Storage ก็ทำได้ง่ายผ่านการกำหนดค่าเพียงสามบรรทัดเท่านั้น

ในแง่ของการประมวลผล Greenfinger 2.0 ไม่มีกระบวนการกลางหรือตัวจัดการคิว (Coordinator) ในเส้นทางการดึงข้อมูล แต่ละโหนดจะทำงานร่วมกันแบบกระจายศูนย์ โหนด A อาจพบ URL ใหม่และส่งให้โหนด C เป็นผู้จัดการ หรือโหนดสามารถเข้าร่วมและออกจากระบบได้ทันทีกลางคันระหว่างการครอว์ล การสิ้นสุดการทำงานจะถูกตรวจสอบร่วมกันผ่านตัวนับที่แชร์ไว้โดยอ้างอิงจากขนาดการดึงสูงสุด (maxFetchSize) และระยะเวลา ทำให้ปัญหาโหนดหัวหน้าเสียชีวิตกลางคันแล้วทำให้กระบวนการค้างเติ่งไม่เกิดขึ้นอีกต่อไป