Google Research เปิดตัว ToolGrad เฟรมเวิร์กสร้างข้อมูล AI
Google Research เผยแพร่ ToolGrad เฟรมเวิร์กตอบคำถามก่อนเพื่อสร้างข้อมูลการใช้เครื่องมือ ทำคะแนนพาสเรตสูงถึง 99.8% บนฐานข้อมูล ToolBench พร้อมปล่อยโค้ดโอเพนซอร์สและโมเดลบน Hugging Face
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Google Research เปิดตัว ToolGrad เฟรมเวิร์กสร้างข้อมูลการใช้เครื่องมือสำหรับโมเดลภาษา
- สลับกระบวนการจากเดิมเป็นแบบเริ่มจากคำตอบก่อน แล้วจึงสร้างคำสั่งผู้ใช้ตามหลัง
- ทำคะแนนพาสเรตสูงถึง 99.8% บนฐานข้อมูล ToolBench ที่มี API มากกว่า 16,000 รายการ
- ปล่อยโค้ดภายใต้สัญญาอนุญาต Apache-2.0 และโมเดลขนาด 1B, 4B, 12B บน Hugging Face
Google Research ได้พัฒนาและเผยแพร่เฟรมเวิร์กใหม่ที่มีชื่อว่า ToolGrad ซึ่งถูกออกแบบมาเพื่อแก้ไขปัญหาความไม่มีประสิทธิภาพของกระบวนการสร้างข้อมูลสำหรับการใช้งานเครื่องมือ หรือ Tool-Use โดยก่อนหน้านี้ระบบอย่าง ToolBench และ ToolACE มักจะใช้แนวทางแบบเริ่มจากคำ query ก่อนเป็นอันดับแรก ซึ่งระบบจะสุ่มชุด API ขึ้นมา แล้วให้โมเดลภาษาขนาดใหญ่หรือ LLM สร้างคำสั่งจำลองของผู้ใช้งาน จากนั้นจึงใช้เอเจนต์ค้นหาแบบเชิงลึกเพื่อหาเส้นทางการใช้เครื่องมือที่สอดคล้องกัน วิธีการแบบเดิมนี้ไม่มีการรับประกันความสำเร็จ และหากเกิดทางตันขึ้นมา ทรัพยากรการประมวลผลที่ใช้ไปทั้งหมดก็จะสูญเปล่าทันทีพร้อมกับตัวอย่างข้อมูลที่ต้องถูกทิ้งไป
เพื่อแก้ปัญหานี้ ToolGrad จึงพลิกกลับลำดับขั้นตอนการทำงานใหม่ทั้งหมด โดยเริ่มต้นจากการสร้างห่วงโซ่การใช้เครื่องมือที่ถูกต้องตามความเป็นจริงเสียก่อน ด้วยการรัน API จริงๆ จากนั้นจึงนำห่วงโซ่นั้นมาใส่คำอธิบายประกอบด้วยคำสั่งของผู้ใช้งานที่สอดคล้องกัน เนื่องจากห่วงโซ่การทำงานที่มีอยู่จริงและใช้งานได้จริงมีความกำกวมน้อยกว่าคำสั่งสมมติ ขั้นตอนการแปลงจากห่วงโซ่ไปเป็นคำสั่งผู้ใช้งานจึงทำได้ด้วยการเรียกใช้งาน LLM เพียงแค่ครั้งเดียวเท่านั้น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การพลิกวิธีคิดจากการสร้างคำสั่งก่อนมาเป็นการรัน API เพื่อหาคำตอบก่อน (Answer-First) ถือเป็นก้าวสำคัญในการแก้ปัญหาคอขวดของการสังเคราะห์ข้อมูลสำหรับ LLM เพราะการฝึกโมเดลให้เก่งเรื่องการเรียกใช้ฟังก์ชันภายนอกจำเป็นต้องมีชุดข้อมูลตัวอย่างคุณภาพสูงจำนวนมหาศาล การปล่อยให้ AI สุ่มหาเส้นทางเองมักพบปัญหาล้มเหลวบ่อยครั้ง การบังคับรันให้สำเร็จก่อนจึงค่อยย้อนมาสร้างโจทย์ ช่วยลดขยะข้อมูลและเพิ่มความแม่นยำในการฝึกได้อย่างก้าวกระโดด
ในแต่ละรอบการทำงานของระบบจะรัน 4 โมดูลเรียงตามลำดับ โดยการทำซ้ำลูปการทำงานนี้จะให้ผลลัพธ์เป็น 1 ตัวอย่างข้อมูลที่ประกอบด้วยคำสั่งของผู้ใช้งาน เวิร์กโฟลว์ API ที่ได้รับการตรวจสอบแล้ว และคำตอบสุดท้าย ซึ่งค่าคอนฟิกูเรชันเริ่มต้นของที่เก็บข้อมูลนี้จะรันการทำซ้ำ 10 รอบ ผ่าน API ที่สุ่มมา 50 รายการต่อหนึ่งเวิร์กโฟลว์
ทีมวิจัยได้ทำการประเมินผลการสร้างข้อมูลบนฐานข้อมูล API ของ ToolBench ซึ่งรวบรวม API โลกจริงเอาไว้มากกว่า 16,000 รายการ และได้ทำการเปรียบเทียบ ToolGrad เข้ากับแนวทางเดิมแบบ query-first ที่ใช้การค้นหาแบบ DFS ของ ToolBench ผลปรากฏว่าเฟรมเวิร์ก ToolGrad สามารถทำอัตราการผ่านหรือพาสเรตสูงถึง 99.8% สำหรับกรณีความล้มเหลว 0.2% ที่เกิดขึ้นนั้น เป็นสถานการณ์ที่เอเจนต์ไม่สามารถรับคำตอบที่สำเร็จจาก API ที่เลือกไว้ 3 ตัวตลอดทั้ง 10 รอบของการทำงาน ทำให้ต้องบันทึกตัวอย่างข้อมูลที่ว่างเปล่าเอาไว้
นอกจากนี้ ทีมวิจัยยังได้สร้างชุดข้อมูล ToolGrad-500 ซึ่งเป็นชุดข้อมูลขนาด 500 ตัวอย่างที่สร้างขึ้นด้วยโมเดล Gemini 2.5 Flash-Lite และนำมาใช้ในการฝึกอบรมภายหลังให้กับโมเดล Gemma-3 ในขนาดพารามิเตอร์ 1B, 4B และ 12B พร้อมทั้งประเมินผลบนกระดานผู้นำการเรียกใช้ฟังก์ชันแห่งเบิร์กเลย์ หรือ Berkeley Function Calling Leaderboard ซึ่งใช้ชุดเครื่องมือที่แตกต่างจาก ToolBench ทำให้กลายเป็นการทดสอบนอกกลุ่มตัวอย่างที่มีเครื่องมือที่ไม่เคยเห็นมาก่อน สำหรับสคริปต์การทำซ้ำของคลังข้อมูลนี้มุ่งเป้าไปที่ BFCL เวอร์ชัน 1 และ 2 ผ่านฟอร์กที่ปรับแต่งเป็นพิเศษ โดยรันการอนุมานในอิมเมจ Docker แบบ vLLM และได้รับการตรวจสอบความถูกต้องบนการ์ดจอ NVIDIA A100 40GB เพียงตัวเดียว
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น