เจาะลึกระบบควบคุมสีหน้าแบบไม่ฝึกสอนใหม่สำหรับโมเดลใบหน้าพูดได้

ในชุมชนนักพัฒนาซอฟต์แวร์บนแพลตฟอร์ม Dev.to ได้มีการตั้งประเด็นหารือที่น่าสนใจเกี่ยวกับเบื้องหลังการพัฒนาผลิตภัณฑ์ภาพถ่ายใบหน้าพูดได้แบบสมจริง (Photoreal talking-face) โดยผู้สร้างรายหนึ่งได้หยิบยกปัญหาทางเทคนิคในกรณีที่ใช้โมเดลอะแดปเตอร์แพร่กระจายแบบแช่แข็ง (Frozen diffusion talking-face adapter) ซึ่งมีความสามารถในการซิงค์ริมฝีปากกับเสียงได้เป็นอย่างดี แต่กลับประสบปัญหาในการแสดงสีหน้าอารมณ์ที่ดูแบนราบไร้ชีวิตชีวา

เนื่องจากการฝึกสอนโมเดลใหม่ (Retraining) ไม่ใช่ทางเลือกที่สะดวกรวดเร็ว โจทย์หลักจึงอยู่ที่การหาวิธีควบคุมสีหน้าในขั้นตอนการประมวลผลอินเฟอเรนซ์ (Inference-time controller) โดยตรง โดยมีประเด็นคำถามหลักที่ต้องการแลกเปลี่ยนกับผู้มีประสบการณ์ในวงการพัฒนาเทคโนโลยี AI ดังนี้ครับ

ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง

• การจัดการจังหวะเวลา: นักพัฒนาคนอื่น ๆ มีวิธีจัดตารางเวลาการกะพริบตา การขยับคิ้ว และการเคลื่อนไหวของศีรษะจากเสียงพรอโซดี (Prosody) และจังหวะฟีทีมี (Phoneme timing) โดยไม่ต้องฝึกสอนโมเดลใหม่อย่างไร เช่น การใช้กฎเวลาที่ชัดเจน ตารางสถิติ หรือวิธีอื่น ๆ และพารามิเตอร์ใดมีความสำคัญที่สุด
• การแยกสตรีมการเคลื่อนไหว: วิธีป้องกันไม่ให้สตรีมการแสดงอารมณ์ที่มีความเร็วต่ำไปรบกวนหรือขัดขวางการขยับริมฝีปากที่มีความเร็วสูง (เช่น การใช้สตรีมแยก การแยกความถี่ หรือการเกตติ้ง)
• จุดพังในการใช้งานจริง: อะไรคือสิ่งแรกที่มักจะพังทลายในทางปฏิบัติ เช่น ความรู้สึกแบบเครื่องจักรกลที่ซ้ำซาก การรบกวนของริมฝีปาก หรืออาการกระพริบของภาพ และการวัดผลแบบใดบนคลิปเรนเดอร์ที่สามารถตรวจจับปัญหาก่อนที่จะให้มนุษย์ตรวจสอบ
• ชุดควบคุมขั้นต่ำ: มีชุดควบคุมแบบจำกัด (เช่น การกะพริบตา + คิ้ว + ศีรษะ) ที่สามารถยกระดับความรู้สึกในการแสดงอารมณ์ได้อย่างมีนัยสำคัญหรือไม่ ทั้งจากการให้คะแนนโดยมนุษย์แบบปิดตา (Blinded human) หรือผู้ตัดสินอัตโนมัติ และรูปแบบการประเมินผลเป็นอย่างไร

ทั้งนี้ ผู้ตั้งกระทู้เน้นย้ำว่าต้องการแลกเปลี่ยนสถาปัตยกรรมตัวควบคุมและวิธีการประเมินผลจากประสบการณ์จริงของผู้สร้างรายอื่น ๆ เท่านั้น โดยไม่ต้องการคำแนะนำเกี่ยวกับบริการที่โฮสต์สำเร็จรูปแต่อย่างใด

ที่มา: Dev.to