Together AI เปิดตัว Together Compiler เร่งความเร็ว AI สูงสุด 2.6 เท่า
Together AI เปิดตัว Together Compiler ระบบวนซ้ำด้วยเอเจนต์ที่ปรับปรุงการประมวลผล AI แบบเรียลไทม์ เร่งความเร็วได้สูงสุด 2.6 เท่า
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- Together AI เปิดตัว Together Compiler ระบบวนซ้ำด้วยเอเจนต์
- เพิ่มความเร็วในการประมวลผล AI สูงสุด 2.6 เท่า (TPS)
- ปรับปรุงการทำงานอย่างต่อเนื่องตามปริมาณการรับส่งข้อมูล
- ใช้เวลาปรับแต่งน้อยกว่า 24 ชั่วโมงต่อหนึ่งโมเดล
Together AI ได้ประกาศเปิดตัวเครื่องมือใหม่ในชื่อ Together Compiler ซึ่งเป็นระบบวนซ้ำที่ขับเคลื่อนด้วยเอเจนต์ (agent-driven loop) ออกแบบมาเพื่อให้สามารถปรับปรุงการประมวลผล (inference forward pass) ของปัญญาประดิษฐ์ได้อย่างต่อเนื่อง โดยระบบจะทำการปรับแต่งประสิทธิภาพซ้ำไปเรื่อยๆ ตามรูปแบบการรับส่งข้อมูลที่เปลี่ยนแปลงไปหน้างาน
จากการทดสอบประสิทธิภาพพบว่า ระบบคอมไพเลอร์ใหม่นี้สามารถทำความเร็วเหนือกว่าการตั้งค่าที่ดีที่สุดของ InferenceX ได้สูงสุดถึง 2.6 เท่า ในแง่ของปริมาณโทเค็นต่อวินาที (TPS) โดยใช้เวลาในการเรียนรู้และปรับแต่งน้อยกว่า 24 ชั่วโมงต่อหนึ่งโมเดลปัญญาประดิษฐ์
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การประมวลผล AI ในระดับการผลิต (production inference) มักประสบปัญหาคอขวดด้านความเร็วเมื่อปริมาณการใช้งานเปลี่ยนแปลงไป การที่ Together Compiler ใช้เอเจนต์เข้ามาทำหน้าที่คอมไพล์และปรับแต่งโค้ดแบบต่อเนื่อง (continual compilation) ถือเป็นแนวทางใหม่ที่ช่วยให้ระบบฮาร์ดแวร์และซอฟต์แวร์สอดรับกันได้ตลอดเวลาโดยไม่ต้องอาศัยวิศวกรมาจูนระบบด้วยมือ
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น