วิธีดึงอีเมล เบอร์โทร และโซเชียลจากเว็บไซต์แบบอัตโนมัติ
เจาะลึกวิธีดึงข้อมูลติดต่อจากเว็บไซต์จำนวนมากด้วย Python และเครื่องมือบน Apify พร้อมอัตราค่าบริการ 0.60 ดอลลาร์ต่อ 1,000 ผลลัพธ์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- การดึงข้อมูลติดต่อจากเว็บไซต์ทำได้ทั้งแบบทำมือและใช้สคริปต์อัตโนมัติ
- สคริปต์ Python เบื้องต้นมักประสบปัญหาเก็บข้อมูลขยะหรือพลาดหน้าติดต่อ
- เครื่องมือ Contact Details Scraper บน Apify ช่วยรวบรวมข้อมูลและคิดค่าบริการเฉพาะเว็บไซต์ที่พบข้อมูลจริง
- ระบบมีค่าใช้จ่าย 0.60 ดอลลาร์ต่อ 1,000 ผลลัพธ์ และข้ามโดเมนที่ซ้ำกันอัตโนมัติ
การดึงอีเมลจากเว็บไซต์โดยทั่วไปเริ่มต้นจากการเปิดหน้าแรก หน้าติดต่อเรา หน้าเกี่ยวกับเรา หรือหน้าข้อมูลทางกฎหมาย แล้วคัดลอกข้อมูลที่ปรากฏอยู่บนหน้าเว็บเหล่านั้นด้วยตนเอง หากมีเว็บไซต์เพียงแห่งเดียว การทำด้วยมือย่อมไม่ใช่ปัญหา แต่หากต้องจัดการกับรายชื่อเว็บไซต์หลักร้อยหรือหลักพัน การใช้เครื่องมือดึงข้อมูลติดต่อ (contact details scraper) ที่ทำหน้าที่เข้าชมหน้าเว็บเหล่านั้นแทนและสรุปข้อมูลออกมาเป็นตารางจะช่วยประหยัดเวลาได้อย่างมาก โดยข้อมูลที่ได้จะประกอบด้วยอีเมล เบอร์โทรศัพท์ ลิงก์โซเชียลมีเดีย และที่อยู่ของหน้าที่ค้นพบข้อมูลนั้นๆ เพื่อให้ตรวจสอบได้ก่อนนำไปใช้งานจริง
เว็บไซต์ทั่วไปไม่ใช่ฐานข้อมูลที่มีปลายทางสำหรับดึงอีเมลโดยเฉพาะ แต่บริษัทต่างๆ มักเผยแพร่ข้อมูลติดต่อไว้ในเนื้อหาปกติ เช่น ลิงก์ mailto: บริเวณท้ายเว็บ เบอร์โทรศัพท์ในหน้าติดต่อ หรือลิงก์ไปยังโปรไฟล์ LinkedIn และ Instagram โดยไม่มี Public API สาธารณะที่อนุญาตให้เรียกชื่อโดเมนแล้วรับข้อมูลทั้งหมดกลับมาได้ทันที สิ่งที่มีอยู่จริงคือเครื่องมือที่ช่วยอ่านหน้าเว็บแทนเรา ซึ่งเครื่องมือลักษณะนี้จะไม่คาดเดาหรือสร้างอีเมลขึ้นมาเอง แต่จะดึงเฉพาะข้อมูลที่เว็บไซต์นั้นๆ เปิดเผยออกมาเท่านั้น
การดึงข้อมูลติดต่อจากเว็บไซต์ในปริมาณมากมักพบอุปสรรคเรื่องโครงสร้าง HTML ที่แตกต่างกันในแต่ละเว็บไซต์ การใช้เครื่องมือสำเร็จรูปจึงช่วยจัดการเรื่องการทำความสะอาดข้อมูลและการกรองหน้าเว็บที่ไม่จำเป็นออกไปได้ดีกว่าการเขียนสคริปต์ขึ้นมาใช้งานเองตั้งแต่ต้น ซึ่งช่วยลดความเสี่ยงในการถูกบล็อกและจัดการงบประมาณได้อย่างแม่นยำ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
แม้การเขียนสคริปต์ Python สั้นๆ เพื่อดาวน์โหลดหน้าแรกและค้นหาข้อความที่ตรงกับรูปแบบอีเมลผ่าน Regular Expression จะทำได้ไม่ยาก แต่โค้ดลักษณะนี้มักจะพังได้ง่ายเมื่อใช้งานกับเว็บไซต์จริง เนื่องจากอ่านเพียงหน้าเดียวทำให้พลาดหน้าติดต่อ และยังเก็บข้อมูลขยะเช่นชื่อไฟล์รูปภาพหรืออีเมลจำลอง นอกจากนี้ยังไม่สามารถหาเบอร์โทรศัพท์หรือโปรไฟล์โซเชียลได้ การพัฒนาสคริปต์ให้รองรับปัญหาเหล่านี้จึงต้องใช้เวลาและแรงงานค่อนข้างมาก
เครื่องมือสำเร็จรูปอย่าง Contact Details Scraper บนแพลตฟอร์ม Apify จึงเข้ามาช่วยจัดการกระบวนการรวบรวม ทำความสะอาด และจัดรูปแบบข้อมูล โดยส่งผลลัพธ์กลับมาเป็นสเปรดชีตหรือ JSON เครื่องมือนี้รองรับการป้อนรายการ URL หรือชื่อโดเมนตรงๆ และจะคิดค่าใช้จ่ายเฉพาะเว็บไซต์ที่ค้นพบข้อมูลติดต่อจริงๆ เท่านั้น พร้อมทั้งข้ามโดเมนที่ซ้ำกัน เช่น example.com และ www.example.com ที่จะถูกรวมให้เหลือเพียงแถวเดียว
เครื่องมือนี้ทำการอ่าน HTML โดยตรงและไม่รันเบราว์เซอร์ เว็บไซต์ที่แสดงข้อมูลติดต่อเฉพาะหลังจากรัน JavaScript จะถูกระบุสถานะเป็น js_only และเว็บไซต์ที่อยู่หลังระบบป้องกันบอทจะแสดงสถานะเป็น blocked ซึ่งแถวที่มีสถานะเหล่านี้จะไม่ถูกคิดค่าบริการ การติดตั้งทำได้ผ่านคำสั่ง pip install apify-client และกำหนด API token ไว้ในตัวแปรสภาพแวดล้อม APIFY_TOKEN ก่อนเรียกใช้งาน Actor ในระบบ
อัตราค่าบริการอยู่ที่ 0.60 ดอลลาร์ต่อ 1,000 ผลลัพธ์ หรือคิดเป็น 0.0006 ดอลลาร์ต่อเว็บไซต์ โดยหนึ่งผลลัพธ์หมายถึงแถวข้อมูลของเว็บไซต์ที่มีสถานะ ok และพบอีเมล เบอร์โทรศัพท์ หรือโซเชียลโปรไฟล์ที่รองรับอย่างน้อยหนึ่งรายการ แถวข้อมูลที่มีสถานะ no_contacts, blocked, js_only, not_found หรือ error จะอยู่ในชุดข้อมูลโดยมีสถานะ billed เป็น false และไม่มีการคิดค่าใช้จ่าย ผู้ใช้ยังสามารถตั้งค่างบประมาณสูงสุดต่อการรันหนึ่งครั้งบน Apify เพื่อให้ระบบหยุดทำงานเมื่อถึงงบประมาณที่กำหนดได้อีกด้วย
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น