เจาะลึกกลไกการทำงานเบื้องหลังตัวแยกวิเคราะห์เอกสาร PDF
ทำความเข้าใจว่าเหตุใด PDF จึงไม่มีโครงสร้างย่อหน้า และวิธีที่ไลบรารีอย่าง pypdf, PyMuPDF และ pdfplumber แปลงคำสั่งวาดภาพบนผืนผ้าใบให้เป็นข้อมูลที่มีโครงสร้าง
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- ไฟล์ PDF ไม่มีแนวคิดเรื่องย่อหน้า คอลัมน์ หรือลำดับการอ่าน โดยเก็บเป็นคำสั่งวาดภาพเวกเตอร์
- ไลบรารี pypdf ทำหน้าที่ถอดรหัสโครงสร้างไบนารี อ้างอิงตาราง XRef และดึงข้อมูลสตรีมดิบจากหน้า
- PyMuPDF หรือ fitz ช่วยวิเคราะห์เรขาคณิตเชิงพื้นที่ จัดกลุ่มคำตามพิกัดเพื่อแก้ปัญหาการอ่านข้ามคอลัมน์
- pdfplumber สร้างเครื่องยนต์เชิงพื้นที่จาก pdfminer เพื่อวิเคราะห์เส้นตารางและช่องว่างในเอกสาร
สำหรับผู้ใช้งานทั่วไป การเปิดไฟล์ PDF นั้นให้ความรู้สึกไม่ต่างจากการเปิดหน้าเว็บหรือเอกสาร Word ทั่วไป เนื่องจากจะมองเห็นหัวข้อ ย่อหน้า บทความหลายคอลัมน์ และตารางที่มีเส้นขอบเรียบร้อย แต่สำหรับนักพัฒนาซอฟต์แวร์ที่กำลังพยายามดึงข้อมูลที่มีโครงสร้างออกจากไฟล์ PDF ไฟล์เดียวกันนั้นกลับให้ความรู้สึกเหมือนกำลังจ้องมองลงไปในห้วงเหวลึก
สาเหตุที่เป็นเช่นนั้นก็เพราะว่าไฟล์ PDF ไม่มีแนวคิดเรื่องย่อหน้าที่แท้จริง ไม่มีคอลัมน์ และไม่มีตาราง แท้จริงแล้ว PDF ไม่ได้จัดเก็บข้อความตามลำดับการอ่านด้วยซ้ำ แต่ไฟล์ PDF เปรียบเสมือนชุดคำสั่งการวาดภาพแบบเวกเตอร์สำหรับผืนผ้าใบของเครื่องพิมพ์ โดยเมื่อโปรแกรมประมวลผลคำส่งออกเอกสารเป็น PDF ระบบจะละทิ้งโครงสร้างทางความหมายของเอกสารแล้วเปลี่ยนมาใช้ตำแหน่งภาพแทน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ความน่ากลัวของลำดับเชิงพื้นที่ใน PDF คือการที่ไม่มีช่องว่าง ไม่มีตัวแบ่งย่อหน้า และไม่มีลำดับการอ่าน เนื่องจากตัวอักษรหรือ glyph ถูกวางไว้ที่พิกัด x และ y แบบฮาร์ดโคดบนผืนผ้าใบแบบคาร์ทีเซียน โปรแกรมสร้าง PDF จึงอาจวาดส่วนท้ายกระดาษเป็นอันดับแรก หัวกระดาษเป็นอันดับสอง แถบด้านข้างขวาเป็นอันดับสาม และย่อหน้าเนื้อหาหลักเป็นอันดับสุดท้าย หากดึงสตรีมข้อความดิบออกมาตรงๆ ผลลัพธ์ที่ได้จะกลายเป็นความยุ่งเหยิงของคอลัมน์ที่สลับปะปนกันไปหมด
เบื้องหลังความซับซ้อนนี้ นักพัฒนาต้องอาศัยเครื่องมือเฉพาะทางในการแกะรอยข้อมูล โดยกระบวนการเริ่มต้นจากการอ่านไไบต์ท้ายไฟล์เพื่อค้นหาตำแหน่ง XRef Table ซึ่งทำหน้าที่เป็นดัชนีชี้ไปยังวัตถุต่างๆ ภายในไฟล์ ก่อนที่จะทำการถอดรหัสสตรีมข้อมูลที่ถูกบีบอัดด้วยวิธี zlib และแปลรหัสตัวอักษรผ่าน encoding แบบ latin1 เพื่อป้องกันข้อผิดพลาดในภาษาโปรแกรม Python
ในระยะแรกของการถอดรหัสโครงสร้างไบนารีด้วยไลบรารี pypdf โปรแกรมจะเปิดไฟล์ไบนารีและพุ่งตรงไปที่ส่วนท้ายสุดของไฟล์เพื่ออ่าน 1,024 ไบต์สุดท้ายในการค้นหาคีย์เวิร์ด startxref จากนั้นจึงทำการแยกวิเคราะห์ตาราง Cross-Reference เพื่อสร้างดัชนีภายในที่แมป Object ID เข้ากับไบต์ออฟเซตในไฟล์ และเรียกใช้เมธอดเช่น reader.trailer เพื่อเข้าถึงพจนานุกรมส่วนท้ายและคีย์หลักอย่าง /Root
สำหรับการวิเคราะห์เรขาคณิตเชิงพื้นที่และเลย์เอาต์ นักพัฒนาจะหันมาใช้ไลบรารี PyMuPDF หรือ fitz ซึ่งใช้เอ็นจิ้น C ของ MuPDF ในการแยกวิเคราะห์โครงสร้างเอกสารลงในหน่วยความจำ เมธอด page.get_text("words") จะดำเนินการรันสตรีมหน้าและส่งคืนรายการทูเพิล 8 องค์ประกอบสำหรับทุกคำที่ตรวจพบ โดยพิกัด (x0, y0) คือมุมบนซ้าย และ (x1, y1) คือมุมล่างขวา บนระบบพิกัดที่วัดเป็นพอยต์
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น