เจาะลึกวิธีแก้ปัญหาตรวจจับภาพซ้ำให้เร็วขึ้น 1 ล้านเท่า ด้วยการเลิกส่องพิกเซล
เรื่องราวของ Pixagram เครือข่ายสังคมพิกเซลอาร์ตที่พัฒนาแฮชโครงสร้างขนาด 1024 ไบต์ ทำงานเสร็จใน 115 นาโนวินาทีโดยไม่ต้องพึ่งโมเดลเน็ตเวิร์ก
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- ระบบแฮชโครงสร้างสำหรับพิกเซลอาร์ตขนาด 1024 ไบต์ ใช้เวลาตรวจสอบเพียง 115 นาโนวินาที
- ลดเวลาประมวลผลจากการเทียบพิกเซลแบบเดิมที่ใช้เวลาถึง 9 วันต่อการมินต์ 1 ชิ้น
- วิเคราะห์ความเปลี่ยนแปลงได้แม่นยำโดยไม่ต้องพึ่งพา AI หรือโมเดลเน็ตเวิร์ก
- พัฒนาต่อยอดเป็นไลบรารีภาษา Rust และพอร์ตลง JavaScript สำหรับใช้งานบนเบราว์เซอร์ได้ทันที
การคำนวณที่ดีที่สุดคือการคำนวณที่คุณไม่ต้องทำซ้ำ สำหรับ Pixagram ซึ่งเป็นโซเชียลเน็ตเวิร์กสายพิกเซลอาร์ตพร้อมตลาดซื้อขายบนบล็อกเชน งานที่ท้าทายที่สุดคือการตรวจสอบผลงานใหม่เทียบกับคลังภาพนับสิบล้านชิ้น ไม่ใช่แค่การตรวจความเท่ากันของไบต์แบบผิวเผิน แต่เป็นการป้องกันการขโมยผลงานดัดแปลงสารพัดรูปแบบ ทั้งการเปลี่ยนสี, การขยายภาพ 2 เท่า, การขยับพิกเซลเพียงจุดเดียว, การลดโทนสี, การทำภาพเนกาทีฟ หรือการย่อขนาดลงครึ่งหนึ่ง
วิธีดั้งเดิมคือการอ่านภาพทั้งสองแล้วนำพิกเซลมาเทียบกันตรงๆ ซึ่งมีต้นทุนสูงมากเพราะพังตั้งแต่เจอการเปลี่ยนสีครั้งแรก การจะเทียบแบบพิกเซลให้ครอบคลุมต้องผ่านกระบวนการค้นหาความคงแปร ทั้งการปรับสเกลและการปรับความสว่างประมาณ 120 รอบต่อคู่ภาพ เมื่อคำนวณกับคลังภาพ 10 ล้านชิ้น การมินต์ผลงานใหม่ 1 ครั้งจะกินเวลาซีพียูสูงถึงประมาณ 9 วันต่อหนึ่งงาน
ในทางกลับกัน วิธีการเชิงโครงสร้างจะเปรียบเทียบกุญแจขนาด 1024 ไบต์ที่ถูกคำนวณไว้ล่วงหน้าภายในเวลา 115 นาโนวินาที บนคลังภาพและซีพียูเดียวกัน การค้นหาแบบบรูทฟอร์ซใช้เวลาเพียงประมาณ 1.1 วินาที และจะลดลงเหลือระดับเสี้ยววินาทีเมื่อจัดเก็บในโครงสร้างข้อมูลแบบ BK-tree ตัวเลขความเร็วดังกล่าวเร็วกว่าเดิมประมาณ 700,000 ถึง 1,000,000 เท่า เนื่องจากเราย้ายภาระการคำนวณความคงแปรทั้งหมดไปจ่ายครั้งเดียวตอนสร้างแฮช
แนวคิดเบื้องหลังวิธีนี้คือการสลับช่วงเวลาการคำนวณ (Compute-time trade-off) โดยเปลี่ยนจากการประมวลผลมหาศาลทุกครั้งที่มีการค้นหา มาเป็นการลงทุนคำนวณโครงสร้างข้อมูลแบบตายตัวตั้งแต่ตอนอัปโหลดผลงาน ซึ่งเหมาะอย่างยิ่งกับงานประเภทพิกเซลอาร์ตที่มีกฎเกณฑ์และขอบเขตของพิกเซลที่แน่นอนชัดเจน ต่างจากรูปถ่ายทั่วไปที่มีความต่อเนื่องของเฉดสีสูง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ก่อนจะมาลงตัวที่วิธีนี้ ทีมพัฒนาพบข้อจำกัดของเทคโนโลยีเดิมสองกลุ่ม:
- แฮชเชิงรหัสลับ (Cryptographic hashes) ออกแบบมาให้เกิดการเปลี่ยนแปลงแบบถล่มทลาย แค่พลิกพิกเซลเดียวผลลัพธ์ก็เปลี่ยนไปหมด เหมาะกับความปลอดภัยแต่ใช้เทียบความเหมือนไม่ได้
- แฮชการรับรู้ทางภาพ (Photographic perceptual hashes เช่น aHash/dHash/pHash) ใช้การเบลอ ย่อส่วน และแปลงฟูเรียร์ ซึ่งออกแบบมาสำหรับภาพถ่ายต่อเนื่อง แต่พิกเซลอาร์ตมีขีดจำกัดเรื่องสีไม่เกิน 256 สี ขอบคมชัด และความหมายที่ซ่อนอยู่ตามตำแหน่งดัชนี การใส่เกาส์เซียนเบลอจึงเป็นการทำลายข้อมูลมากกว่าสรุปผล
ด้วยเหตุนี้พวกเขาจึงสร้างระบบแฮชที่เหมาะกับงานพิกเซลอาร์ตขึ้นมาเอง โดยก่อนนำไปแฮช ภาพจะถูกปรับให้อยู่ในรูปทรงมาตรฐาน ลดความซ้ำซ้อนของพาเลตต์ ตัดพิกเซลที่โปร่งใสออก และจัดเรียงพาเลตต์ตามค่าความสว่าง พร้อมแมปพิกเซลใหม่ตามลำดับความสว่างนั้น
กุญแจแฮชดังกล่าวไม่ใช่ชุดข้อมูลเดี่ยวๆ แต่เป็นชั้นลายเซ็นอิสระที่ซ้อนกัน ทั้งข้อมูลพาเลตต์, ไดเจสต์ของไทล์ขนาด 16x16 พร้อมค่า FNV-1a ที่ช่วยให้รู้ทันทีว่ามีการแก้พิกเซลที่ไทล์ไหน, เลเยอร์ขอบที่นับการเปลี่ยนผ่านของดัชนี, สีเฉลี่ยของซูเปอร์ไทล์ขนาด 32x32 และลายเซ็นสากลขนาด 1024 ไบต์ที่เป็นคีย์หลักในฐานข้อมูล
"ระบบวิเคราะห์สามารถกู้คืนสัมประสิทธิ์จริงของฟิลเตอร์ได้จากการจัดเรียงพาเลตต์เท่านั้น โดยที่ระบบไม่เคยเห็นภาพต้นฉบับเลยด้วยซ้ำ"
ทีมนักพัฒนา Pixagram
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น