ทำความรู้จัก Token Saver: ส่วนขยายโอเพนซอร์สตัดค่าใช้จ่าย Token ของ PDF บน Claude ลง 90-99%
Marktechpost AI เปิดตัว Token Saver ส่วนขยาย MCP ใช้ระบบ Local Hybrid RAG ค้นหาข้อมูล PDF โดยไม่ต้องอัปโหลดไฟล์ขึ้นเซิร์ฟเวอร์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- พัฒนาโดย Arnav Rai นักศึกษาจาก RIT ภายใต้การดูแลของ Jean-marc Mommessin และ Asif Razzaq
- ประหยัดค่าใช้จ่าย Token ของ Claude ลงได้ถึง 92% ถึง 99% ทันที
- ทำงานผ่านระบบ Local Hybrid RAG บนเครื่องของผู้ใช้โดยไม่ต้องพึ่งพาสภาพแวดล้อม Python
- รักษาความเป็นส่วนตัวสูงสุดเพราะไฟล์เอกสารไม่เคยถูกส่งออกนอกฮาร์ดไดรฟ์
ทีมงาน Marktechpost AI ได้ปล่อยตัว Token Saver ซึ่งเป็นส่วนขยาย Model Context Protocol (MCP) แบบโอเพนซอร์สสำหรับ Claude Desktop (ภายใต้สัญญาอนุญาต MIT และปัจจุบันอยู่ที่เวอร์ชัน v1.0) เครื่องมือนี้ถูกพัฒนาขึ้นที่ Marktechpost AI Media Inc โดย Arnav Rai ซึ่งเป็นนักศึกษาปริญญาตรีสาขาวิทยาการคอมพิวเตอร์จาก Rochester Institute of Technology ระหว่างช่วงฝึกงาน โดยมี Jean-marc Mommessin และ Asif Razzaq เป็นผู้ควบคุมดูแล การทำงานของ Token Saver เปลี่ยนแปลงรูปแบบที่ Claude ใช้ปฏิสัมพันธ์กับเอกสารในเครื่องอย่างสิ้นเชิง ด้วยการนำระบบ Local Hybrid RAG มาติดตั้งบนเครื่องคอมพิวเตอร์ของผู้ใช้โดยตรง ทำให้สามารถตั้งคำถามเกี่ยวกับไฟล์ PDF ขนาดมหึมาได้โดยไม่ต้องอัปโหลดตัวไฟล์จริงไปยังโมเดลเลยแม้แต่น้อย
อัตราการบริโภค Token ถูกตัดลดลงเหลือเพียง 92% ถึง 99% การันตีเรื่องความเป็นส่วนตัว และการติดตั้งไม่ต้องอาศัยสภาพแวดล้อม Python หรือการตั้งค่าเทอร์มินัลใดๆ ทั้งสิ้น ผู้ใช้งานส่วนใหญ่มักคิดว่าการวางไฟล์ PDF ลงใน Claude จะเป็นการดึงข้อความออกมาธรรมดา แต่ในความเป็นจริง พฤติกรรมเริ่มต้นของ Claude จะแปลงแต่ละหน้าเป็นรูปภาพเพื่อรักษาแผนภูมิและเลย์เอาต์ พร้อมกับดึงข้อความแยกต่างหาก ก่อนที่จะนับ Token ของรูปภาพด้วยซ้ำ เฉพาะข้อความอย่างเดียวก็อาจสูงถึง 1,500 ถึง 3,000 Token ต่อหน้าแล้ว
แม้ว่าฟีเจอร์ Prompt Caching และ Claude Projects จะช่วยบรรเทาปัญหาเหล่านี้ได้บ้าง แต่ก็ยังไม่สามารถแก้ปัญหาที่ต้นเหตุได้ นั่นคือตัวเอกสารทั้งหมดยังคงต้องข้ามข่ายไปยังเซิร์ฟเวอร์ของผู้ให้บริการ ยิ่งไปกว่านั้น หากผู้ใช้งานต้องการเพียงแค่ 2 ย่อหน้าที่เกี่ยวข้องจากตำราเรียนความยาว 1,000 หน้า การบังคับให้ LLM ต้องค้นหาผ่านหน้ากระดาษทั้ง 1,000 หน้าด้วยตัวเองนั้น ทั้งไร้ประสิทธิภาพและเสี่ยงต่อการเกิดอาการหลอน (Hallucination) ของโมเดล
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
Token Saver จาก Marktechpost ทำหน้าที่เป็นเซิร์ฟเวอร์ MCP แบบโลคัล ซึ่งเป็นโปรแกรมเบื้องหลังน้ำหนักเบาบนเครื่องของคุณที่ Claude สามารถเรียกใช้งานได้เสมือนเป็นเครื่องมือ โดยที่ไฟล์ PDF จะไม่มีวันหลุดรอดออกจากฮาร์ดไดรฟ์ของคุณ เมื่อคุณป้อนคำถาม Token Saver จะใช้ระบบ Local Hybrid RAG เพื่อค้นหาคำตอบ Hybrid RAG ถือเป็นมาตรฐานทองคำสำหรับการดึงข้อมูลเอกสาร เนื่องจากมันผสานสองวิธีการค้นหาที่ทรงพลังเข้าไว้ด้วยกัน ได้แก่ การค้นหาด้วยคำสำคัญ (Keyword Matching) และการค้นหาเชิงความหมาย (Semantic Search)
การใช้งานเครื่องมือประเภท RAG (Retrieval-Augmented Generation) บนเครื่อง Local ถือเป็นทิศทางสำคัญในยุคที่ความกังวลเรื่องความเป็นส่วนตัวของข้อมูลองค์กรพุ่งสูงขึ้น การที่ส่วนขยายสามารถสกัดเฉพาะส่วนที่จำเป็นส่งให้ LLM แทนที่จะส่งทั้งเล่ม ไม่เพียงช่วยลดต้นทุนค่า API อย่างมหาศาล แต่ยังช่วยลดภาระ context window ของโมเดล ทำให้คำตอบที่ได้มีความแม่นยำสูงขึ้นและลดโอกาสเกิด hallucination ได้อย่างมีนัยสำคัญ
ด้วยการผสานสองแนวทางนี้เข้าด้วยกันในเครื่อง เซิร์ฟเวอร์จะทำการค้นหาไฟล์และส่งต่อเฉพาะข้อความที่เกี่ยวข้องสูงให้กับ Claude เท่านั้น จากนั้น Claude จะทำการสังเคราะห์คำตอบ พร้อมทั้งอ้างอิงเลขหน้าอย่างแม่นยำและแสดงผลสรุปจำนวน Token ที่คุณเพิ่งประหยัดไปในทันที กระบวนการทั้งหมดทำงานอยู่ภายในกระบวนการโลคัลตัวเดียวที่รันต่อเนื่อง โดยก่อนที่ข้อความใดๆ จะเดินทางไปถึง Claude ท่อส่ง Local Hybrid RAG จะรัน 8 ขั้นตอนอย่างรวดเร็ว (โมเดล Embedding เป็นทางเลือกเสริมแต่แนะนำให้ใช้ หากโหลดไม่สำเร็จ ระบบจะถอยกลับไปใช้การจับคู่ด้วยคำสำคัญอย่างเดียวโดยอัตโนมัติ)
"Token Saver fundamentally changes how Claude interacts with local documents by implementing a Local Hybrid RAG system directly on your machine."
Marktechpost AI Team
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น