expect-llm ไลบรารีเช็คผลลัพธ์ LLM ใน Test Runner เดิม
ไลบรารี expect-llm ช่วยให้การเขียน assert ผลลัพธ์จาก LLM ใน Jest หรือ Vitest เป็นเรื่องง่าย มีขนาดเพียง 1.41 kB และรองรับ Node 18 ขึ้นไป
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- expect-llm นำเสนอชุด expect matchers สำหรับตรวจสอบผลลัพธ์ LLM ใน test runner เดิมของคุณ
- ประกอบด้วย 8 matchers โดยมี 7 แบบ deterministic และ 1 แบบใช้ผู้ช่วยตัดสินใจ
- มีขนาดเล็กเพียง 1.41 kB (min+brotli) ไม่มี runtime dependencies และรองรับ Node >= 18
- ออกแบบมาให้ทำงานร่วมกับไลบรารี coerce-json เพื่อจัดการข้อมูล Structured Output ได้อย่างราบรื่น
เมื่อนักพัฒนาเรียกใช้งานโมเดลภาษาขนาดใหญ่ (LLM) ในผลิตภัณฑ์ สิ่งที่มักพบคือผลลัพธ์ในรูปแบบ JSON ที่อาจถูกห่อด้วย markdown fence หรือมีข้อความที่ไม่ต้องการปะปนมา การเขียนชุดทดสอบ (Test) ด้วยมือจึงเป็นเรื่องที่น่าปวดหัวและต้องอาศัยการจัดการที่ซับซ้อน
ทางเลือกทั่วไปในปัจจุบันคือการนำ eval framework เฉพาะทางเข้ามาใช้งาน เช่น promptfoo, DeepEval, Braintrust หรือ Evalite ซึ่งแม้จะเป็นเครื่องมือที่ยอดเยี่ยมสำหรับชุดการประเมินเต็มรูปแบบ แต่มันมักจะต้องผ่าน CLI, ไฟล์คอนฟิก หรือแม้แต่การสร้างบัญชีผู้ใช้ใหม่ ซึ่งสร้างความยุ่งยากเกินไปสำหรับการตรวจสอบผลลัพธ์แบบเฉพาะจุดใน Unit Test
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ไลบรารีใหม่ที่ชื่อว่า expect-llm จึงถูกพัฒนาขึ้นมาเพื่อแก้ปัญหานี้ โดยมันทำหน้าที่เป็นชุด matchers สำหรับคำสั่ง expect(...) ที่เจาะจงกับข้อผิดพลาดที่มักเกิดขึ้นจาก LLM โดยเฉพาะ นักพัฒนาสามารถลงทะเบียนเพียงครั้งเดียว และเขียนคำสั่ง assert ได้ทันทีภายใน test runner ที่ใช้งานอยู่แล้ว ไม่ว่าจะเป็น Vitest หรือ Jest
คุณสมบัติเด่นของ expect-llm ได้แก่:
- ไม่มี dependencies ขณะรันไทม์ (zero runtime dependencies)
- รองรับทั้งรูปแบบ ESM, CJS และมี types ในตัว
- ทำงานได้บน Node.js เวอร์ชัน 18 ขึ้นไป
- ฟังก์ชัน
.notสามารถใช้งานร่วมกับทุก matcher ได้
ในบรรดา 8 matchers ที่มีให้ใช้งานนั้น แบ่งออกเป็น 7 matchers แบบตรวจสอบตามเงื่อนไขที่แน่นอน (deterministic) เช่น toBeValidJSON และ toMatchSchema ซึ่งช่วยให้สามารถตรวจสอบข้อมูลที่โมเดลส่งกลับมาได้ทันทีโดยไม่ต้องทำการทำความสะอาดข้อความล่วงหน้า ส่วนอีก 1 matcher ที่เหลือคือแบบกำหนดเองสำหรับเงื่อนไขเชิงอัตวิสัย (subjective)
การนำเครื่องมือทดสอบผลลัพธ์ LLM มาผสานรวมเข้ากับ Test Runner ที่ทีมนักพัฒนาใช้งานอยู่แล้วในชีวิตประจำวัน เช่น Jest หรือ Vitest ช่วยลดภาระทางความคิด (Mental Model) ในการเรียนรู้เครื่องมือใหม่ได้อย่างมาก นักพัฒนาไม่ต้องสลับบริบทไปมาระหว่าง CLI ของ Eval Framework ภายนอกกับการทดสอบโค้ดปกติ ส่งผลให้กระบวนการพัฒนาซอฟต์แวร์ที่ขับเคลื่อนด้วย AI มีความรวดเร็วและตรวจสอบคุณภาพได้ง่ายขึ้น
สำหรับการตรวจสอบเชิงอัตวิสัย เช่น การเช็คว่าข้อความตอบกลับเป็นคำปฏิเสธที่สุภาพหรือไม่ จะใช้ matcher ที่ชื่อว่า toSatisfy ซึ่งออกแบบมาให้ผู้ใช้งานสามารถนำโมเดลของตนเองมาใช้งานได้ (bring your own model) โดยที่ตัว expect-llm จะไม่มีการพ่วง SDK, การจัดการ API Key หรือค่าเริ่มต้นของ provider ใด ๆ ทั้งสิ้น
นอกจากนี้ expect-llm ยังทำงานร่วมกับเครื่องมือเสริมอื่นๆ ในชุดเครื่องมือพัฒนาระบบ LLM เช่น coerce-json ซึ่งช่วยซ่อมแซมและปรับโครงสร้าง JSON ที่เกือบสมบูรณ์ให้เข้ากับ Zod schema ได้อย่างลงตัว โดยสามารถใช้งานฟังก์ชัน toMatchSchema ร่วมกันเพื่อตรวจสอบความถูกต้องของผลลัพธ์ได้ทันทีหลังจากผ่านกระบวนการแก้ไขโครงสร้างแล้ว
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น