คู่มือประเมินคุณภาพการค้นหาด้วย nDCG ก่อนปรับแต่งน้ำหนัก Ranking

ก่อนที่คุณจะลงมือเปลี่ยนค่าน้ำหนัก ts_rank แม้แต่ค่าเดียว สิ่งสำคัญที่สุดคือการล็อกฐานข้อมูล (Freeze your corpus) แล้วนำการจัดอันดับปัจจุบันไปเทียบกับชุดข้อมูลประเมินที่มีการให้เกรดไว้แล้ว มิฉะนั้นคุณกำลังเปรียบเทียบเป้าหมายสองอย่างที่เคลื่อนไหวไปพร้อมกัน ทั้งน้ำหนักชุดใหม่และเอกสารชุดใหม่ ทำให้ไม่มีวันรู้เลยว่าตัวแปรไหนกันแน่ที่ส่งผลต่อการเปลี่ยนแปลง การทำฮาร์ดแวร์จำลองการถดถอยความเกี่ยวข้อง (Relevance regression harness) จะเปลี่ยนความรู้สึกที่ว่าระบบค้นหาแย่ลงตั้งแต่ช่วงวันอังคาร ให้กลายมาเป็นตัวเลขที่สามารถนำมาเทียบความแตกต่างได้ ในลักษณะเดียวกับที่ชุดทดสอบโค้ดเปลี่ยนความรู้สึกที่ว่าโปรแกรมพังให้กลายเป็นเครื่องหมายถูกสีแดง

ในบทความก่อนหน้านี้เกี่ยวกับการทดสอบโหลดของดัชนี Full-text บน Postgres ผู้อ่านท่านหนึ่งได้ให้ความเห็นที่คมคายว่า หากคุณปรับแต่งน้ำหนักโดยอิงกับตารางข้อมูลจริงที่ใช้งานอยู่ คุณกำลังเทียบระบบสองระบบที่เปลี่ยนแปลงพร้อมกัน บทความนี้จึงเป็นการนำเสนอวิธีปฏิบัติจริงในการรวบรวมเกรด การล็อกฐานข้อมูล และการคำนวณคะแนน

กับดักอีกอย่างคือตัวข้อมูลที่เพิ่มขึ้นตลอดเวลา ตารางบทความของคุณมีแถวใหม่เพิ่มขึ้นทุกชั่วโมง หากคุณวัดผลการจัดอันดับของวันนี้กับตารางของวันนี้ และเทียบกับสัปดาห์ก่อนกับตารางของสัปดาห์ก่อน ความแตกต่างที่เกิดขึ้นจะถูกปนเปื้อนด้วยตัวเอกสารเอง คุณจึงต้องทำให้ฐานข้อมูลหยุดนิ่งเพื่อแยกแยะการเปลี่ยนแปลงของการจัดอันดับให้ออกอย่างเด็ดขาด

ขั้นตอนแรกคือการบันทึกคอลัมน์ที่ระบบจัดอันดับอ่านออกมาเป็นตารางที่มีวันที่กำกับ ซึ่งนี่จะเป็นชุดข้อมูลประเมิน (Evaluation fixture) ของคุณที่ไม่เคยเปลี่ยนแปลง ทำให้ทุกทางเลือกในการจัดอันดับถูกวัดผลเทียบกับข้อมูลนำเข้าที่เหมือนกันทุกประการ:

-- One-time: capture the corpus as it was on this date.
CREATE TABLE eval_corpus_2026_08 AS
SELECT id, title, body, search_vector
FROM articles;

-- Run any candidate ranker against the frozen table, not the live one.
SELECT id
FROM eval_corpus_2026_08
WHERE search_vector @@ websearch_to_tsquery('english', :query)
ORDER BY ts_rank_cd(search_vector, websearch_to_tsquery('english', :query)) DESC
LIMIT 10;

เมื่อคุณต้องการทดสอบการให้น้ำหนักแบบใหม่ คุณจะต้องเปลี่ยนแค่ส่วน ORDER BY เท่านั้น และห้ามเปลี่ยนส่วน FROM โดยเด็ดขาด นั่นคือระเบียบปฏิบัติทั้งหมด: ขยับทีละหนึ่งตัวแปรต่อการทดลองหนึ่งครั้ง เก็บตาราง Snapshot ไว้ในที่เก็บบันทึกเพื่อให้ฐานข้อมูลตั้งต้นสามารถทำซ้ำได้บนทุกเครื่องรวมถึงระบบ CI