Keenable AI เปิดตัว NEEDLE: Benchmark ค้นหาข้อมูลแบบเรียลไทม์

Keenable AI ได้ทำการเปิดซอร์สโค้ดให้กับ NEEDLE ซึ่งเป็นชุดประเมินผลการค้นหาข้อมูลแบบเรียลไทม์ (Live Search Benchmark) ที่มีความสามารถในการสร้างชุดคำถามใหม่ทุกๆ ชั่วโมง โดยออกแบบมาในรูปแบบของ Python CLI ที่ติดตั้งผ่านเครื่องมือ uv sync และทำงานผ่านสองคำสั่งย่อยคือ generate และ run ซึ่งรองรับการทำงานทั้งบนแล็ปท็อปและระบบ CI โดยระบบนี้จำเป็นต้องใช้คีย์จาก OpenRouter สำหรับการตัดสิน และคีย์ API สำหรับแต่ละเอนจิ้นที่ต้องการทดสอบ

ชื่อ NEEDLE ย่อมาจาก News, Everyday, Expert, Deep-tail และ Legal Evaluation ซึ่งแต่ละหมวดหมู่ถูกสร้างขึ้นเพื่อจำลองเจตนาที่แตกต่างกันของ AI agent ตัวอย่างเช่น หมวดข่าวจะดึงข้อมูลล่าสุดจากฟีด RSS ที่ผ่านการคัดสรรมาประมาณ 124 แหล่งและ Google Trends มาแปลงเป็นคำค้นหา หมวดการเงินดึงข้อเท็จจริงการจดทะเบียนจาก Wikidata และ GLEIF ร่วมกับงบการเงินไตรมาสเดียวจาก SEC XBRL หมวดวิชาการเปลี่ยนงานวิจัยหนึ่งชิ้นให้เป็นคำค้นหา 4 รูปแบบ และหมวดกฎหมายดึงความเห็นล่าสุดจาก CourtListener กว่า 14 ศาล

ภาพโดย Teemu Paananen / Unsplash

ในส่วนของการให้คะแนนจะแบ่งตามลักษณะของงาน หมวดข่าวและคำหายากไม่มีคำตอบที่ถูกต้องเพียงหนึ่งเดียว ดังนั้นจึงใช้ผู้ตัดสินที่เป็น LLM ให้คะแนนตั้งแต่ 0 ถึง 4 พร้อมรายงานค่า nDCG@5 หมวดการเงินวัดผลด้วย answer-recall@5 หมวดวิชาการและกฎหมายใช้การตรวจจับด้วยการจับคู่ตัวระบุ (identifier match) โดยทุกเอนจิ้นจะได้รับข้อความคำค้นหาเดียวกันและถูกทดสอบทีละรายการเพื่อให้เปรียบเทียบค่าความหน่วง (latency) ได้อย่างแม่นยำ