StepFun เปิดตัว Step 5 Preview: โมเดล MoE 600B พารามิเตอร์
StepFun เปิดให้ดาวน์โหลด Step 5 Preview แบบโอเพนเวทส์ ชูจุดเด่นสถาปัตยกรรม MoE 600,000 ล้านพารามิเตอร์ ทำงานใช้งานแอเจนต์ระยะยาว และรองรับบริบทสูงสุด 1 ล้านโทเค็น
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- StepFun ปล่อย Step 5 Preview ในรูปแบบโอเพนเวทส์บน Hugging Face และ ModelScope
- ใช้สถาปัตยกรรม Sparse Mixture-of-Experts (MoE) ขนาดใหญ่รวม 600 พันล้านพารามิเตอร์
- ประมวลผลใช้งานจริงด้วย 27 พันล้านพารามิเตอร์ต่อโทเค็นและรองรับ 1 ล้านโทเค็น
- ออกแบบมาเพื่อรองรับงานเอเจนต์ระยะยาวของนักพัฒนา
วงการปัญญาประดิษฐ์ตื่นตัวอีกครั้งเมื่อ StepFun ประกาศเปิดตัวโมเดลใหม่ในชื่อ Step 5 Preview โดยปล่อยออกมาในรูปแบบโอเพนเวทส์ พร้อมให้เหล่านักพัฒนาสามารถเข้าถึงเช็คพอยต์ทั้งในรูปแบบ FP8 และ BF16 ได้ทันทีผ่านแพลตฟอร์ม Hugging Face และ ModelScope เพื่อนำไปต่อยอดในการพัฒนาแอปพลิเคชันและงานวิจัยต่างๆ
โมเดล Step 5 Preview ถูกพัฒนาขึ้นด้วยสถาปัตยกรรมแบบ sparse Mixture-of-Experts (MoE) ซึ่งถูกออกแบบมาโดยเฉพาะเพื่อรองรับงานประเภทเอเจนต์ระยะยาว (long-horizon agentic work) ที่ต้องอาศัยการประมวลผลต่อเนื่องและการตัดสินใจที่ซับซ้อนในระยะเวลาที่ยาวนาน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในด้านขุมพลังการประมวลผล โมเดลรุ่นนี้มีจำนวนพารามิเตอร์รวมทั้งหมดสูงถึง 600 พันล้านพารามิเตอร์ แต่จะใช้งานพารามิเตอร์เพียง 27 พันล้านพารามิเตอร์ต่อหนึ่งโทเค็นเท่านั้น ซึ่งช่วยให้โมเดลสามารถรักษาประสิทธิภาพขั้นสูงไว้ได้พร้อมกับเพิ่มความคุ้มค่าในการประมวลผล นอกจากนี้ยังรองรับหน้าต่างบริบท (context window) ได้ยาวนานถึง 1 ล้านโทเค็น
การเปิดตัวโมเดลโอเพนเวทส์ที่มีขนาดใหญ่และรองรับบริบทได้ถึง 1 ล้านโทเค็นเช่นนี้สะท้อนให้เห็นถึงแนวโน้มการพัฒนา AI ที่มุ่งเน้นความสามารถในการประมวลผลเอกสารขนาดยักษ์และการทำงานอัตโนมัติซับซ้อนผ่านเอเจนต์ ซึ่งจะช่วยลดข้อจำกัดในการจำข้อมูลย้อนหลังของโมเดลรุ่นก่อนหน้าได้อย่างมีนัยสำคัญ
นักพัฒนาที่สนใจสามารถเข้าไปดาวน์โหลดเช็คพอยต์ของ Step 5 Preview เพื่อทดสอบประสิทธิภาพและนำไปปรับใช้กับโปรเจกต์ของตนเองได้แล้ววันนี้ผ่านช่องทางพับลิกเรอซิโทรีที่ทาง StepFun ได้สนับสนุนไว้
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น