Hierarchical NeRF ด้วย JAX3D: เรนเดอร์ 3 มิติและสร้างภาพ
นักวิจัยเผยแพร่ระบบจำลอง NeRF แบบลำดับชั้นด้วย JAX3D สำหรับการเรนเดอร์ปริมาตรและการสร้างภาพมุมมองใหม่พร้อมโค้ดฉบับเต็ม
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- นักวิจัยพัฒนาท่อส่งการเรนเดอร์ผกผันแบบสมบูรณ์โดยเรียนรู้ฟิลด์ความหนาแน่นและรังสี
- ใช้เครือข่ายหยาบและละเอียดเพื่อเน้นตัวอย่างรอบพื้นผิวที่มีความสำคัญสูง
- ประเมินคุณภาพการสร้างมุมมองใหม่ด้วย PSNR และสกัดเรขาคณิตด้วยวิธี marching cubes
- ระบบทั้งหมดผสานองค์ประกอบทางคณิตศาสตร์เข้ากับการฝึกอบรมเครือข่ายประสาทเทียม JAX
ทีมนักวิจัยได้นำเสนอความสำเร็จในการสร้างท่อส่งการเรนเดอร์ผกผัน (inverse-rendering pipeline) แบบสมบูรณ์ โดยเริ่มต้นจากการเรียนรู้ฟิลด์ความหนาแน่นและความสว่างต่อเนื่องจากภาพสังเกตการณ์มุมมองหลากหลาย และทำการสร้างโครงสร้างใหม่ผ่านกระบวนการเรนเดอร์ปริมาตรแบบลำดับชั้น (hierarchical volume rendering)
กระบวนการทำงานหลักแบ่งออกเป็นขั้นตอนการใช้เครือข่ายแบบหยาบ (coarse network) เพื่อระบุตำแหน่งบริเวณที่มีข้อมูลสำคัญตามแนวรังสีแต่ละเส้น จากนั้นจึงส่งไม้ต่อให้เครือข่ายแบบละเอียด (fine network) ทำหน้าที่เพิ่มความหนาแน่นของตัวอย่างรอบพื้นผิวที่มีส่วนร่วมสูง พร้อมทั้งใช้การเข้ารหัสทิศทางการมองเห็นเพื่อจำลองลักษณะที่ปรากฏตามมุมมองที่เปลี่ยนไป
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ในขั้นตอนการประเมินผลขั้นสุดท้าย ทีมงานได้ตรวจสอบคุณภาพการสร้างมุมมองใหม่ผ่านค่า PSNR ตรวจสอบค่าความลึกและความทึบแสงที่เรียนรู้มา รวมถึงการจำลองพฤติกรรมการสุ่มตัวอย่างความสำคัญ การสร้างวิดีโอวงโคจร 360 องศา และการสกัดรูปทรงเรขาคณิตโดยประมาณด้วยอัลกอริทึม marching cubes
เทคโนโลยี Neural Radiance Fields หรือ NeRF ถือเป็นก้าวสำคัญในวงการคอมพิวเตอร์วิทัศน์ที่ช่วยแปลงภาพถ่าย 2 มิติให้เป็นฉาก 3 มิติสมจริง การนำ JAX เข้ามาประยุกต์ใช้ร่วมกับ JAX3D ในครั้งนี้ช่วยให้กระบวนการคำนวณทางคณิตศาสตร์มีความเร็วสูงและยืดหยุ่นมากยิ่งขึ้น เหมาะสำหรับการพัฒนาโมเดลปัญญาประดิษฐ์ที่ต้องการประมวลผลข้อมูลภาพและกราฟิกซับซ้อนในระดับสูง
โครงการนี้เปิดให้นักพัฒนาและผู้สนใจสามารถเข้าถึงโค้ดต้นฉบับทั้งหมดเพื่อนำไปศึกษาต่อยอดได้ทันที โดยผู้ริเริ่มโครงการมุ่งหวังให้ระบบ NeRF แบบกะทัดรัดแต่ครบถ้วนทางเทคนิคนี้เป็นแนวทางสำคัญในการพัฒนาโครงข่ายประสาทเทียมบนแพลตฟอร์ม JAX ต่อไป
ที่มา: MarkTechPost
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น