เลี่ยง Chromium Tax: สร้าง HN CLI สำหรับ AI Agents ทำงานเร็วต่ำกว่า 200ms
พลิกโฉมการดึงข้อมูล Hacker News สำหรับ AI ด้วย WebCMD และ Node.js ลดความหน่วง 95% และประหยัด Token 90%
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- ลดความหน่วงในการนำทางเว็บได้ถึง 95% โดยไม่ใช้ Headless Browser
- ประหยัดการใช้ LLM Token ลง 90% ด้วยการตัด HTML และ UI ที่ไม่จำเป็น
- ดึงข้อมูลยอดนิยม 30 เรื่องพร้อมกันผ่าน Concurrency เพื่อความเร็วสูงสุด
- พัฒนาโดย Antigravity Agent ภายใต้ MIT License
ในยุคปัจจุบันของการทำงานอัตโนมัติด้วยปัญญาประดิษฐ์ AI Agents มักได้รับมอบหมายให้ท่องเว็บไซต์เพื่อหาข้อมูล ติดตามการสนทนา หรือโต้ตอบกับระบบต่างๆ โดยทั่วไปจะใช้งานเครื่องมืออย่าง Headless Browsers เช่น Puppeteer, Playwright หรือ Selenium
แม้ว่า Headless Browsers จะมีความยืดหยุ่นสูง แต่ก็มีต้นทุนแฝงที่สูงมากเช่นกัน ทีมพัฒนาจึงได้สร้าง HN CLI (hn-cli) ซึ่งเป็นอะแดปเตอร์คอมมานด์ไลน์ประสิทธิภาพสูงสำหรับ Hacker News โดยใช้ประโยชน์จากเฟรมเวิร์ก WebCMD เพื่อแยกการโต้ตอบเว็บออกจากการเรนเดอร์ของเบราว์เซอร์
แทนที่จะทำการขูดข้อมูลจากหน้าเว็บ news.ycombinator.com ตัว CLI จะสื่อสารโดยตรงกับสองเอนด์พอยต์ทางการ ประกอบด้วย API หลักสำหรับดึงข้อมูลเรื่องราวและความคิดเห็น และ Firebase API สำหรับดึงข้อมูลแบบเรียลไทม์ เพื่อให้มั่นใจว่า CLI เหมาะสำหรับการทำงานของตัวแทนอัตโนมัติ โค้ดเบสจึงใช้สามรูปแบบสำคัญ ได้แก่ Concurrency, Resiliency และ Determinism
ตัวอย่างเช่น การดึงข้อมูลเรื่องราว 30 อันดับแรก หากทำแบบเรียงลำดับจะทำให้ความหน่วงสูงถึง 3 วินาที (30 x 100ms) ทาง hn-cli จึงแก้ไขด้วยการดึงข้อมูลพร้อมกันผ่าน Promise.all เพื่อความรวดเร็วในการประมวลผล
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การหลีกเลี่ยงการใช้เบราว์เซอร์จำลอง (Headless Browser) หรือที่เรียกว่า Chromium Tax ถือเป็นก้าวสำคัญสำหรับนักพัฒนา AI เพราะการรันเบราว์เซอร์เต็มรูปแบบใช้ทรัพยากรหน่วยความจำและซีพียูสูงมาก การหันมาใช้ API ตรงและลดทอนข้อมูลที่ไม่จำเป็นให้เหลือแต่โครงสร้าง JSON ช่วยให้ AI Agent ตัดสินใจและประมวลผลงานได้แบบเรียลไทม์ ซึ่งจำเป็นอย่างยิ่งในงานระบบอัตโนมัติขนาดใหญ่
ในขณะที่ AI Agents กลายเป็นหัวใจสำคัญของการพัฒนาซอฟต์แวร์ เราต้องเปลี่ยนจากการสร้างเว็บไซต์สำหรับมนุษย์เพียงอย่างเดียว ไปสู่การเปิดอินเทอร์เฟซ API ที่เป็นมิตรต่อ AI Agent การสร้างอินเทอร์เฟซด้วย Node adapters, การดึง API แบบขนาน และผลลัพธ์ JSON ที่มีโครงสร้างชัดเจน จะช่วยขับเคลื่อนวงการไปข้างหน้า
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น