MiniMax-Music3 โมเดลเพลงโอเพนเวตสร้างเพลงยาว 5 นาที
MiniMax เปิดตัว MiniMax-Music3 โมเดลสร้างเพลงความยาว 5 นาทีจากเนื้อร้องและคำบรรยาย พร้อมแจกโค้ดและน้ำหนักโมเดลให้ใช้งานได้ทันที
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- MiniMax-Music3 ปล่อยน้ำหนักโมเดล โค้ด และช่องทางการให้บริการตั้งแต่วันแรก
- สถาปัตยกรรมใช้ Global LLM ขนาด 8B และ Local LLM ขนาด 0.6B ร่วมกัน
- รองรับการสร้างเพลงความยาวเต็มที่ 5 นาทีจากเนื้อร้องและ Structured Caption
- มีเส้นทางการใช้งาน 3 รูปแบบหลัก ได้แก่ SGLang-Omni, diffusers และ ComfyUI
บริษัท MiniMax ได้สร้างความฮือฮาให้1วงการปัญญาประดิษฐ์ด้วยการประกาศเปิดตัว MiniMax-Music3 ซึ่งเป็นโมเดลสร้างเพลงแบบโอเพนเวต (Open-Weights Music Model) ที่มีความสามารถในการผลิตเพลงความยาวเต็มรูปแบบถึง 5 นาที โดยประมวลผลจากเนื้อร้องและคำอธิบายที่มีโครงสร้างชัดเจน (Structured Caption) ความพิเศษคือการเปิดให้ใช้งานได้จริงตั้งแต่วันแรก ไม่ว่าจะเป็นการเผยแพร่น้ำหนักโมเดล (Weights) โค้ดสำหรับอนุมาน (Inference code) และเส้นทางการให้บริการอีก 3 รูปแบบที่บันทึกไว้เป็นเอกสาร ทำให้สามารถนำไปปรับใช้ได้ทันทีโดยไม่ต้องรอเวอร์ชันทดลองงานวิจัย
ในส่วนของสถาปัตยกรรมภายใน MiniMax-Music3 ได้ผสานการทำงานระหว่างสแตกแบบลำดับชั้นถดถอย (Hierarchical Autoregressive Stack) เข้ากับเส้นทางการสังเคราะห์แบบต่อเนื่อง (Continuous Synthesis Path) สำหรับตัวแปลงโทเค็น (Tokenizer) ระหว่างการฝึกอบรมจะใช้การควอนตัมเซชันของเวกเตอร์เรสิดิว (RVQ) ถึง 8 เลเยอร์ โดยเลเยอร์แรกคือ Semantic Codebook ที่มี 16,384 รายการ ทำหน้าที่แบกรับความหมายหลักและโครงสร้างทางดนตรี ส่วนอีก 7 เลเยอร์ที่เหลือเป็น Acoustic Codebook เลเยอร์ละ 1,024 รายการ ซึ่งทำหน้าที่เข้ารหัสรายละเอียดส่วนที่เหลือ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
การออกแบบระบบ Hybrid-LM จะแบ่งแยกปัญหาการสร้างแบบจำลองออกเป็นส่วนๆ โดยมี Global LLM ขนาด 8B ทำหน้าที่ทำนายเฟรมแรกของโค้ดบุ๊ก RVQ และรักษาโครงสร้างในระยะยาว ขณะที่ Local LLM ขนาด 0.6B จะทำหน้าที่ทำนายโค้ดบุ๊กที่เหลือในแต่ละเฟรม ทั้งนี้ในเอกสารของโมเดลระบุว่า Global LLM ถูกเริ่มต้นมาจาก Qwen3-8B แต่ในโพสต์ของ MiniMax Research กลับระบุว่าเป็น Qwen3.5-8B ทำให้จุดตรวจสอบฐานรากที่แน่นอนยังคงมีความเหลื่อมล้ำกันอยู่บ้าง
การเปิดตัวโมเดลโอเพนเวตที่มีสถาปัตยกรรมไฮบริดระหว่าง LLM ขนาดใหญ่กับโมดูล Flow-Matching เช่นนี้ สะท้อนให้เห็นถึงแนวโน้มที่วงการ AI เริ่มผสานเทคโนโลยีการประมวลผลภาษาธรรมชาติเข้ากับการสังเคราะห์เสียงดนตรีเชิงลึก เพื่อให้ได้ผลลัพธ์ที่มีมิติและโครงสร้างเพลงที่ยาวขึ้นอย่างต่อเนื่อง ต่างจากโมเดลในอดีตที่มักสร้างได้เพียงท่อนสั้นๆ เท่านั้น
ขั้นตอนการสังเคราะห์ถือเป็นจุดออกแบบที่น่าสนใจที่สุด แทนที่จะถอดรหัสจากโทเค็น RVQ แบบไม่ต่อเนื่อง MiniMax เลือกที่จะผสานสถานะซ่อนเร้นขั้นสุดท้าย (Final Hidden States) ของโมเดลภาษาทั้งสอง แล้วนำไปเป็นเงื่อนไขให้กับโมดูล Flow-Matching ขนาด 2.4B ซึ่งจะแมปเข้าไปยังพื้นที่แฝง (Latent Space) ก่อนจะถูกถอดรหัสโดย Flow-VAE ขนาด 123M ที่รับทอดมาจาก MiniMax Speech ส่งผลให้ในขั้นตอนการอนุมาน (Inference) จะไม่มีการโหลดตัวถอดรหัสโทเค็นแบบไม่ต่อเนื่องเข้ามาเลยแม้แต่น้อย
ในด้านการใช้งานจริง ผู้ใช้สามารถป้อนเนื้อร้องพร้อมแท็กแบ่งส่วนบรรทัด เช่น [Intro], [Verse], [Pre-Chorus], [Chorus], [Post-Chorus], [Bridge], [Instrumental], [Solo] และ [Outro] ควบคู่ไปกับ Structured Caption ที่แยกย่อยเป็น Global Metadata, Vocal Details และ Arrangement นอกจากนี้ยังมีเครื่องมือเสริมอย่าง music-caption-rewriter agent skill สำหรับช่วยขยายคำอธิบายสั้นๆ ให้กลายเป็นรูปแบบสามส่วนดังกล่าวแบบออฟไลน์ได้อีกด้วย
ระบบดังกล่าวรองรับช่องทางการใช้งานหลัก 3 เส้นทาง ได้แก่ SGLang-Omni ซึ่งเป็นเซิร์ฟเวอร์อ้างอิงที่ระบุในหน้า GitHub ว่าต้องใช้การ์ดจอ CUDA จำนวน 2 ตัว โดย GPU 0 ใช้รัน Qwen3 และการสร้างแบบถดถอย RVQ ส่วน GPU 1 รัน Flow-matching และการถอดรหัส DAV ส่วนท่อส่งข้อมูลแบบแยกส่วนของ diffusers จะใช้ VRAM ไม่ถึง 24 GB ที่ความแม่นยำเต็มรูปแบบ ลดเหลือประมาณ 22 GB เมื่อใช้ CPU offload อัตโนมัติ และลดลงได้ถึง 8 GB ด้วย group offloading นอกจากนี้ยังมี ComfyUI ที่มาพร้อมเทมเพลต Text to Music แบบเนทีฟซึ่งใช้น้ำหนักแบบ FP16/INT8 ที่แพ็กใหม่จาก Comfy-Org
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น