Qwen3.8 Flash ชนะ Max Prime ในการทดสอบ Forge app

ผลลัพธ์การทดสอบประสิทธิภาพตระกูลโมเดล Qwen3.8 บนกระดานล่าสุดสร้างความประหลาดใจเมื่อรุ่น Flash ซึ่งมีราคาถูกกว่ามาก สามารถทำคะแนนเหนือรุ่นเรือธงอย่าง Qwen3.8 Max Prime บนแพลตฟอร์มแอปพลิเคชัน Atlassian Forge 1.0 โดย Flash ทำคะแนนไปได้ 0.7961 ขณะที่ Max Prime ได้ 0.6953 ทว่าในการทดสอบบน Gauntlet 7.2 ซึ่งเป็นเว็บแอปพลิเคชันระบบชำระเงิน กลับเป็นฝ่าย Max Prime ที่ทำคะแนนได้ 0.8364 เหนือกว่า Flash ที่ทำได้ 0.6846 โดยมีต้นทุนการรันแตกต่างกันอย่างเห็นได้ชัดคือ 47 เซนต์สำหรับ Flash และ 16.46 ดอลลาร์สำหรับ Max Prime

โมเดล Qwen3.8 Max Prime วางจำหน่ายในฐานะรุ่นที่เร็วกว่าของ Qwen3.8 Max ซึ่งเป็นรุ่นเรือธงขนาด 2.4 ล้านล้านพารามิเตอร์ ส่วนรุ่น Flash มีโมเดลหลักขนาด 1.25 แสนล้านพารามิเตอร์และใช้ 6 พันล้านพารามิเตอร์ต่อโทเค็น ทั้งสองรันผ่านเอเจนต์ goose บนบิวด์เวอร์ชัน 3.0.100 สำหรับ Flash และ 3.0.107 สำหรับ Max Prime ภายใครงบประมาณการเรียกใช้งาน 150 ครั้ง โฮสต์ Alibaba ผ่าน OpenRouter และรันห่างกันหนึ่งวัน โดยในการสร้างแอป Forge ทั้งคู่ทำงานได้ใกล้เคียงกันมากจนกระทั่งติดเพดานข้อจำกัด

เพดานข้อจำกัดดังกล่าวมาจากบรรทัดเดียวในไฟล์ manifest ของ Max Prime ซึ่งเป็นดัชนีการจัดเก็บข้อมูลที่มีแอตทริบิวต์ช่วง (range) สองรายการ ในขณะที่ Atlassian Forge อนุญาตให้มีได้เพียงหนึ่งรายการเท่านั้น เมื่อสอบถามทั้งสองรุ่นเกี่ยวกับกฎดังกล่าวในภายหลังด้วยงบประมาณ 100 ครั้ง เป็นเงินประมาณ 60 เซนต์ ทั้งคู่ส่วนใหญ่ตอบว่าช่วงหนึ่งรายการใช้หนึ่งแอตทริบิวต์ ก่อนจะตอบว่าหนึ่งรายการสำหรับพาร์ทิชันเช่นกัน ซึ่งคำตอบที่ถูกต้องตามเอกสารของ Atlassian คือหลายรายการ โดยเมื่อได้รับเฉพาะสัญญา ทั้งคู่เขียนแอตทริบิวต์การเรียงลำดับสองรายการใน 14 จาก 15 คำตอบ แต่เมื่อใส่ประโยคของ Atlassian เกี่ยวกับช่วงลงในพรอมต์ ทั้งคู่ปฏิบัติตามกฎหนึ่งแอตทริบิวต์ช่วงได้ 8 ครั้งจาก 8 ครั้ง

"Optimizes your index for the use of query conditions. This parameter can only have one attribute."

Atlassian's custom entities reference

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

สำหรับการทดสอบ Atlassian Forge 1.0 นั้นเป็นการสร้างแอป Jira ประเภทบันทึกความคืบหน้าสเปรนต์ (sprint scope-creep ledger) ที่ทำงานในแซนด์บ็อกซ์ไร้อินเทอร์เน็ต ประเมินผลโดยการรันแอปกับไซต์ Jira ที่ถูกจำลองขึ้นสามแห่ง ผลปรากฏว่าคะแนนแกนหลักของทั้งคู่ใกล้เคียงกันมากคือ 0.9537 สำหรับ Flash และ 0.9519 สำหรับ Max Prime โดยไม่มีข้อบกพร่องระดับวิกฤต แต่ความแตกต่างเกิดขึ้นจากระบบจำกัดเพดานคะแนน (capping) ของแต่ละแบนด์