ปัญหา Proxy แคว้นเยอรมนี กับ Client สหรัฐอเมริกา

บทความจาก RoamProxy บนแพลตฟอร์ม Dev.to ได้เปิดเผยถึงปัญหาเบื้องหลังการขูดข้อมูลเว็บไซต์หรือ Scraping ที่หลายคนมองข้าม โดยหยิบยกกรณีตัวอย่างที่มีผู้อ่านพบว่าเครื่องมือดึงข้อมูลสินค้าจาก Amazon ผ่านระบบ rotating residential proxy สามารถดึงราคากลับมาเป็น 3 สกุลเงินที่แตกต่างกันได้ภายในรอบการทำงานเดียว ซึ่งในตอนแรกกลุ่มผู้พูดคุยในกระทู้มองว่าเป็นเพียงปัญหาการทำความสะอาดข้อมูลหรือ Data-cleaning ทั่วไปเท่านั้น

แต่แท้จริงแล้วเหตุการณ์ดังกล่าวอาจเป็นสัญญาณเตือนภัยแรกๆ ที่ทำให้ระบบป้องกันของเว็บไซต์เป้าหมายบล็อกโปรแกรมขูดข้อมูลได้อย่างเงียบเชียบและแยบยลกว่าการเช็คลิสต์ไอพีบล็อกเสียอีก เนื่องจากตัวเลข Exit IP ระบุว่ามาจากเยอรมนี แต่ข้อมูลอื่นๆ ทั้งหมดเกี่ยวกับไคลเอนต์กลับฟ้องว่าเป็นแล็ปท็อปของนักพัฒนาในสหรัฐอเมริกา ซึ่งทำให้ระบบมองเห็นว่าไม่ใช่ผู้ใช้ชาวเยอรมันจริงๆ แต่เป็นแล็ปท็อปสหรัฐฯ ที่กำลังใช้งาน Proxy ในเยอรมนีแทน

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

เป้าหมายปลายทางสามารถอ่านข้อมูลเชิงลึกได้หลายประการโดยไม่ต้องพึ่งพากลโกง JavaScript จากคำขอเพียงครั้งเดียวที่ส่งผ่าน Exit IP ที่เยอรมนี โดยปัจจัยสำคัญประกอบด้วย:

• Timezone: หากมี JavaScript เข้ามาเกี่ยวข้อง บราวเซอร์แบบ Headless จะสืบทอดโซนเวลาของเครื่องโฮสต์ เช่น ตัวรัน CI อยู่ที่ UTC, แล็ปท็อปอยู่ที่ America/Los_Angeles และ Exit IP อยู่ที่ Frankfurt ซึ่งความขัดแย้งนี้คือสัญญาณที่ชัดเจน
• Locale-derived formatting: รูปแบบภาษา วันที่ และตัวเลขที่สคริปต์ของหน้าเว็บผลิตขึ้นมาจากโลเกลของเบราว์เซอร์ ไม่ใช่มาจาก IP
• DNS resolution location: การใช้ SOCKS5 proxy แบบไม่ถูกต้อง (socks5:// แทนที่จะเป็น socks5h://) ทำให้เครื่องของผู้ใช้ทำการแปลงชื่อโฮสต์เอง ส่งผลให้ CDN เห็นคำขอ DNS จากแคลิฟอร์เนียและการเชื่อมต่อ TCP จากแฟรงก์เฟิร์ต

ข้อความสำคัญที่ระบุไว้ในบทความสรุปแนวทางการตรวจสอบและการแก้ไขปัญหาดังกล่าวระบุว่า: