DeepDoc เครื่องมือแปลงไฟล์เอกสารสำหรับ RAG แบบ Air-gapped ด้วย Rust
เปิดตัว DeepDoc เครื่องมือสกัดข้อความจากเอกสาร 13 รูปแบบในไฟล์ไบนารีเดียวด้วยภาษา Rust ออกแบบมาเพื่อระบบ RAG แบบออฟไลน์โดยไม่ต้องพึ่งพา Cloud หรือ Python
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- DeepDoc เป็นเครื่องมือสกัดข้อความจากเอกสารรองรับ 13 รูปแบบ เป็นไฟล์ไบนารีเดี่ยวด้วยภาษา Rust
- ทำงานแบบออฟไลน์ 100% ไม่ส่งข้อมูลขึ้นคลาวด์ ไม่ต้องใช้ JVM และไม่มีการดาวน์โหลดโมเดล ML
- แปลงเอกสารตระกูล docx, pptx, xlsx, pdf และอื่นๆ ให้กลายเป็น Markdown ได้อย่างแม่นยำ
- เน้นการรักษาโครงสร้างหัวข้อ (Heading path) และการแบ่งส่วนข้อมูล (Chunking) เพื่อระบบ RAG
การสร้างระบบ RAG (Retrieval-Augmented Generation) หรือฟีเจอร์ค้นหาข้อมูลในเอกสาร มักจะเริ่มต้นด้วยปัญหาเดิมๆ คือการแปลงไฟล์ตระกูล docx, pdf และ pptx ให้กลายเป็นข้อความที่สะอาด โดยมีข้อจำกัดที่เข้มงวดในองค์กรหลายแห่งคือ เอกสารห้ามออกนอกเครื่องคอมพิวเตอร์เด็ดขาด
หากสำรวจเครื่องมือที่มีอยู่เดิมในตลาด จะพบข้อจำกัดที่แตกต่างกันออกไป:
- Apache Tika: มาตรฐานดั้งเดิมที่ใช้งานได้ดี แต่อยู่บนพื้นฐานของ JVM ทำให้ต้องแบกภาระเรื่องการจัดการหน่วยความจำและเพิ่มขนาดในคอนเทนเนอร์
- Python Stacks (เช่น Unstructured, Docling, MarkItDown): นิยมใช้ในบทสอน RAG แต่ต้องติดตั้งผ่าน pip มีการดาวน์โหลดโมเดล ML และทำงานช้าสำหรับการประมวลผลไฟล์ดิจิทัลปกติ
- Cloud Parsers (เช่น LlamaParse): สะดวกในการเริ่มต้น แต่ต้องอัปโหลดข้อมูลส่วนตัวขึ้นเซิร์ฟเวอร์ภายนอกและคิดค่าใช้จ่ายตามจำนวนหน้า ซึ่งไม่ตอบโจทย์องค์กรประเภทธนาคาร โรงพยาบาล หรือบริษัทกฎหมายที่มีสภาพแวดล้อมแบบ air-gapped
แนวทางของ DeepDoc จึงถูกพัฒนาขึ้นมาเพื่อแก้ปัญหานี้โดยเฉพาะ ด้วยการเป็นไฟล์ไบนารี Rust แบบสแตติกไฟล์เดียว ไม่มี JVM ไม่มี Python ไม่ต้องดาวน์โหลดโมเดล และไม่มีการเชื่อมต่อเครือข่าย ให้ผลลัพธ์ที่เหมือนเดิมทุกครั้งเมื่อป้อนข้อมูลชุดเดิม
ระบบ RAG ในปัจจุบันมักประสบปัญหาความซับซ้อนในการติดตั้งไลบรารีขนาดใหญ่และการจัดการความปลอดภัยของข้อมูล เครื่องมือที่พัฒนาด้วยภาษา Rust จึงกลายเป็นทางเลือกที่น่าสนใจสำหรับนักพัฒนาที่ต้องการความเร็ว ประสิทธิภาพสูง และควบคุมความปลอดภัยของข้อมูลได้แบบเบ็ดเสร็จบนเครื่องโลคัล
ในเวอร์ชัน v0.1 รองรับการแปลงเอกสาร born-digital ทั้งหมด 13 รูปแบบ ได้แก่ docx, pptx, xlsx, odt, ods, odp, epub, html, rtf, csv, md, txt และ text-based pdf โดยสามารถสั่งงานผ่าน CLI เพื่อสแกนโฟลเดอร์แบบเรกูร์ซีฟได้ทันที
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในแง่ของการทำ RAG การแบ่งส่วนข้อมูล (Chunking) ทั่วไปมักจะตัดตามจำนวนตัวอักษรและทำให้สูญเสียบริบท แต่ DeepDoc จะทำการวิเคราะห์โครงสร้างก่อน แล้วจึงแบ่งตามขอบเขตบล็อกพร้อมกับเก็บเส้นทางหัวข้อ (Heading path) และช่วงไบต์ (Byte range) ของแต่ละส่วนไว้ด้วย
อย่างไรก็ตาม ผู้พัฒนาได้ระบุอย่างชัดเจนว่า DeepDoc v0.1 ยังไม่ใช่เครื่องมือ OCR สำหรับแปลงไฟล์ PDF ที่เป็นรูปภาพสแกน หากพบไฟล์ที่เป็นภาพล้วน ระบบจะแจ้งเตือนด้วยโค้ด 4 ทันทีเพื่อป้องกันการส่งข้อมูลขยะเข้าสู่ดัชนี RAG โดยฟีเจอร์ OCR ถูกวางแผนไว้เป็นตัวเลือกเสริมในอนาคต
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น