Liquid AI เปิดตัว Pipette เครื่องมือวัดประสิทธิภาพ AI บนอุปกรณ์

Liquid AI ได้สร้างความฮือฮาให้กับวงการปัญญาประดิษฐ์อีกครั้งด้วยการเปิดตัว Pipette ชุดเครื่องมือโอเพนซอร์สสำหรับการประเมินและวัดผลประสิทธิภาพโมเดลปัญญาประดิษฐ์บนอุปกรณ์ (On-device models) อย่างเป็นทางการ โดยเผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0 ซึ่งประกอบด้วยส่วนประกอบสำคัญอย่าง pipette-mgmt, pipette-clients และ pipette-scores พร้อมด้วยชุดข้อมูลผลลัพธ์สาธารณะ แดชบอร์ดโฮสต์ และแอปพลิเคชันเบนช์มาร์กเนทีฟสำหรับระบบปฏิบัติการ iOS และ Android โดยไม่มีการต้องรอคิว (Waitlist) แต่อย่างใด แม้ว่าการเผยแพร่ผลลัพธ์ที่ส่งมาจากชุมชนจะยังอยู่ในช่วงเบต้าก็ตาม

การเปิดตัวครั้งนี้เกิดขึ้นจากความร่วมมือกับ Artificial Analysis ซึ่งทำหน้าที่เป็นผู้ตรวจสอบอิสระในการสอบทานและยืนยันระเบียบวิธีทำงาน แนวคิดหลักของ Pipette มีความเฉพาะเจาะจงและเป็นประโยชน์อย่างยิ่ง นั่นคือ พฤติกรรมการทำงานบนอุปกรณ์ถือเป็นคุณสมบัติของระบบที่ถูกติดตั้งใช้งานจริง ไม่ใช่ตัวโมเดลที่ทำงานอยู่เพียงลำพัง โดยชุดข้อมูลเริ่มต้นครอบคลุมตัวชี้วัดประสิทธิภาพบนอุปกรณ์ถึง 5 ด้าน จากการกำหนดค่าที่แตกต่างกันมากกว่า 1,000 รูปแบบ ซึ่งเกิดจากการผสมผสานระหว่างโมเดล ควอนไทเซชัน รันไทม์ อุปกรณ์ และความยาวบริบท

ระบบดังกล่าวรองรับโมเดลมากกว่า 30 แบบ รูปแบบการควอนไทเซชันที่หลากหลาย บิลด์ของ llama.cpp สำหรับระบบ macOS, iOS, Windows และ Android รวมถึงความยาวบริบทตั้งแต่ 256 ไปจนถึง 8,192 โทเค็น ผลลัพธ์ชุดแรกที่ได้รับการเผยแพร่นั้นมาจากอุปกรณ์ฮาร์ดแวร์ระดับไฮเอนด์ ได้แก่ MacBook Pro ที่ใช้ชิป M5 Max, iPhone 17 Pro และ Galaxy S26 Ultra ขณะที่ผลลัพธ์ของ AMD Ryzen AI Max+ 395 และ Radeon 8060S ระบุว่าจะตามมาในเร็วๆ นี้

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

ภายในสถาปัตยกรรมของ Pipette หน่วยของการวัดผลคือการกำหนดค่าการติดตั้งใช้งาน (Deployment configuration) ซึ่งประกอบด้วย โมเดล + ควอนไทเซชัน + รันไทม์ + อุปกรณ์ จากนั้นการเบนช์มาร์กจะกำหนดตัวชี้วัดและรูปทรงของโทเค็น เพื่อให้ได้ผลลัพธ์ด้านความหน่วง (Latency) ปริมาณงาน (Throughput) หรือหน่วยความจำ ส่วนในด้านของคุณภาพจะถูกติดตามแยกต่างหากผ่านชุดทดสอบ IFBench, GPQA Diamond และ MATH-500 โดยคะแนนคุณภาพเหล่านี้ในปัจจุบันมาจากการประเมินรันของ llama.cpp บนระบบอ้างอิง NVIDIA H100 80GB ก่อนที่จะนำมาจับคู่กับการรันบนอุปกรณ์ที่ใช้โมเดลและการควอนไทเซชันเดียวกัน