สถาปนิกสร้าง AI Agent ทำงานบนหน้าจอและส่งออกไฟล์ IFC ได้
สถาปนิกเบื่อหน่ายงานทำซ้ำ พัฒนา Axio Coder เอเจนต์โอเพนซอร์สสั่งการโปรแกรมไร้ API วาดรูปใน MS Paint และสร้างโมเดล 3 มิติพร้อมไฟล์ BIM
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- สถาปนิกพัฒนา Axio Coder เอเจนต์ AI ควบคุมหน้าจอคอมพิวเตอร์ทำงานแทน
- ใช้ระบบ UI Automation แทนการเดาพิกัดหน้าจอเพื่อกดปุ่มในโปรแกรมไร้ API
- ทำงานเป็นวงจร สร้างเรนเดอร์ ตรวจสอบภาพ และแก้ไขข้อผิดพลาดด้วยตนเอง
- ส่งออกผลงานเป็นไฟล์มาตรฐานอุตสาหกรรมอย่าง IFC, DXF และ STEP สำหรับ BIM
ในวงการพัฒนาซอฟต์แวร์ปัจจุบัน เครื่องมือปัญญาประดิษฐ์จำนวนมากมีความสามารถในการเขียนและแก้ไขไฟล์ในระบบได้เป็นอย่างดี แต่ปัญหาใหญ่ที่ยังไม่มีใครแก้ได้คือการสั่งการโปรแกรมคอมพิวเตอร์ที่ไม่มีระบบ API มารองรับ เช่น โปรแกรม CAD, Photoshop หรือ MS Paint ซึ่งเป็นโปรแกรมหลักที่สถาปนิกและวิศวกรใช้งานอยู่เป็นประจำในชีวิตประจำวัน
ด้วยความเหนื่อยหน่ายกับการทำงานซ้ำๆ ทั้งการวาดแบบเดิม การทำสเปรดชีต และการส่งออกโมเดลซ้ำๆ ด้วยมือ สถาปนิกรายหนึ่งจึงตัดสินใจพัฒนาเครื่องมือของตัวเองขึ้นมาในชื่อ Axio Coder ซึ่งเป็นโปรแกรมเดสก์ท็อปแบบเดี่ยวที่สร้างด้วย Electron และ Python บนสัญญาอนุญาตแบบ AGPL-3.0 เพื่อช่วยแบ่งเบางานที่น่าเบื่อหน่ายเหล่านี้
แนวทางทั่วไปในการทำให้ AI ควบคุมคอมพิวเตอร์มักใช้วิธีจับภาพหน้าจอแล้วคาดเดาพิกัดของพิกเซล แต่ระบบนี้เลือกใช้แนวทางที่แตกต่างออกไปผ่านต้นไม้ UI Automation ของระบบปฏิบัติการ Windows ซึ่งทำให้องค์ประกอบดั้งเดิมทั้งหมดสามารถแจ้งชื่อ ประเภท และค่าของตัวเองให้ระบบปฏิบัติการทราบได้โดยตรง คล้ายกับหลักการทำงานของโปรแกรมอ่านหน้าจอ ทำให้เอเจนต์สามารถค้นหาและสั่งงานปุ่มต่างๆ ได้อย่างแม่นยำ
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
ความสามารถพิเศษของเอเจนต์ตัวนี้คือมันสามารถมองเห็นหน้าจอ หน้า PDF รูปภาพ และโมเดล 3 มิติที่เรนเดอร์จากมุมมองต่างๆ ได้ เพื่อนำมาเปรียบเทียบผลงานที่สร้างขึ้นกับแบบอ้างอิงแบบเคียงข้างกัน กระบวนการนี้ทำให้เกิดวงจรการทำงานแบบสร้างสรรค์ ตรวจสอบ แก้ไข และทำซ้ำ คล้ายกับวิธีการทำงานของมนุษย์จริงๆ จนสามารถวาดภาพจรวดในโปรแกรม Paint ทีละเส้นสโตรกได้อย่างแม่นยำ
การที่ AI สามารถโต้ตอบกับหน้าจอผ่าน UI Automation แทนการคาดเดาพิกัดพิกเซลนับเป็นก้าวสำคัญ เพราะช่วยลดข้อจำกัดของซอฟต์แวร์ปิด (Closed-source software) ที่ไม่มี API เปิดให้พัฒนาต่อยอด การนำ AI มาผสานเข้ากับเวิร์กโฟลว์ BIM ผ่านการสร้างไฟล์ IFC มาตรฐาน จึงช่วยเชื่อมโยงระหว่างการทดลองเขียนโค้ดและการใช้งานจริงของสถาปนิกได้อย่างลงตัว
เมื่อผู้ใช้งานป้อนข้อมูลอ้างอิง ไม่ว่าจะเป็นภาพถ่าย แบบร่าง หรือสเปกที่มีการกำหนดขนาด เอเจนต์จะสร้างโมเดลพารามิเตอร์ขึ้นมา พร้อมทั้งเขียนข้อมูลออกมาในรูปแบบไฟล์ที่อุตสาหกรรมใช้งานจริง ได้แก่ IFC, DXF และ STEP ซึ่งไฟล์เหล่านี้สามารถนำไปใช้งานต่อในโปรแกรม ArchiCAD และกระบวนการทำงานแบบ BIM ได้ทันทีโดยไม่ต้องจำกัดอยู่แค่ในหน้าต่างแชท
ปัจจุบันโปรแกรมดังกล่าวยังคงเป็นแอปพลิเคชันสำหรับผู้ใช้คนเดียวที่มีจุดที่ยังต้องพัฒนาต่อ เช่น เรขาคณิตของ CAD ที่ซับซ้อนมากๆ อาจล้มเหลวและทำให้เอเจนต์ต้องถอยกลับมาตั้งหลัก ผู้พัฒนาเปิดเผยซอร์สโค้ดทั้งหมดผ่านทาง GitHub ภายใต้ชื่อโครงการ Axidesk/Axio-Coder และกำลังพัฒนาความสามารถให้เอเจนต์สามารถเปิดโปรแกรม ทำงาน ส่งออก และตรวจสอบผลลัพธ์ต่อเนื่องหลายโปรแกรมได้เองโดยอัตโนมัติ
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น