appTutorial: แอป AI ท่องจอ Windows ช่วยสอนวิธีใช้ซอฟต์แวร์
นักพัฒนาปล่อย appTutorial แอป AI บน Windows ใช้โมเดล Qwen2.5-VL รันแบบโลคอล ช่วยนำทางและสอนวิธีใช้งานซอฟต์แวร์ที่ซับซ้อนทีละขั้นตอน
ภาพประกอบจากคลังภาพสต็อก ไม่ใช่ภาพจากเหตุการณ์จริง
- appTutorial เป็นแอปผู้ช่วย AI บน Windows ทำงานแบบโลคอลผ่านโมเดล Qwen2.5-VL โดยไม่ต้องพึ่งพาคลาวด์
- ผู้ใช้สามารถกดปุ่มลัดบนแอปที่ใช้งานอยู่เพื่อรับคำแนะนำทีละขั้นตอนและตรวจสอบหน้าจอแบบเรียลไทม์
- โครงการนี้ถูกพัฒนาขึ้นเพื่อเข้าร่วมการแข่งขัน Hacktoberfest Open-Source AI Challenge สัปดาห์ที่ 2
การทำความเข้าใจซอฟต์แวร์ที่ซับซ้อนหรือโปรแกรมเฉพาะทางมักสร้างความยุ่งยากให้กับผู้ใช้งานหลายคน แม้ว่าการค้นหาวิธีแก้ปัญหาบนอินเทอร์เน็ตจะเป็นอีกหนึ่งทางเลือก แต่ก็ขาดความโต้ตอบที่รวดเร็วและไม่สะดวกสบายเพียงพอในการทำงานจริง
ด้วยเหตุนี้ นักพัฒนาจึงได้สร้างสรรค์แอปพลิเคชันที่มีชื่อว่า appTutorial ขึ้นมา เพื่อทำหน้าที่เป็นติวเตอร์ AI บนหน้าจอสำหรับระบบปฏิบัติการ Windows โดยแอปตัวนี้ขับเคลื่อนด้วยโมเดลวิชันแบบเปิดน้ำหนักเบา (Open-weight vision model) และรันบนเครื่องของผู้ใช้โดยตรงผ่าน Ollama ทำให้ไม่ต้องใช้งานคลาวด์ AI หรือพึ่งพา API key แต่อย่างใด
เมื่อผู้ใช้งานกดปุ่มลัดบนโปรแกรมที่กำลังสับสน ไม่ว่าจะเป็น Microsoft Excel, โปรแกรมพัฒนาซอฟต์แวร์ หรือเว็บแอปพลิเคชัน แอปจะทำการจับภาพหน้าจอที่กำลังใช้งานอยู่ ระบุตัวแอปและจุดประสงค์ของผู้ใช้ จากนั้นจึงพาเดินหน้าทำภารกิจทีละขั้นตอน พร้อมทั้งตรวจสอบแต่ละขั้นตอนผ่านหน้าจอสดและไฮไลต์จุดที่ต้องโฟกัสให้เห็นอย่างชัดเจน
การรันโมเดลปัญญาประดิษฐ์แบบโลคอล (Local AI) บนเครื่องของผู้ใช้โดยตรงแทนที่จะส่งข้อมูลไปยังคลาวด์ ช่วยเพิ่มความปลอดภัยของข้อมูลส่วนบุคคลและข้อมูลในองค์กรได้อย่างมีประสิทธิภาพ โดยเฉพาะเมื่อใช้งานร่วมกับซอฟต์แวร์ทำงานที่มีข้อมูลสำคัญ
สำหรับวิธีการติดตั้งและใช้งานเบื้องต้น มีขั้นตอนดังต่อไปนี้:
- ติดตั้ง Ollama จากเว็บไซต์ ollama.com
- ดึงโมเดลผ่านคำสั่ง:
ollama pull qwen2.5vl - โคลนโปรเจกต์จาก GitHub ด้วยคำสั่ง
git clone https://github.com/codename-ryan/appTutorial.gitและเข้าไปยังโฟลเดอร์cd appTutorial - สร้างสภาพแวดล้อมเสมือนจริงด้วย
python -m venv .venvและเปิดใช้งานผ่าน.venv\Scripts\Activate.ps1 - ติดตั้งแพ็กเกจด้วยคำสั่ง
pip install -e . - รันแอปพลิเคชันด้วยคำสั่ง
python -m apptutorial.app
ในด้านสถานะการพัฒนาปัจจุบัน เวอร์ชัน v1 ได้ถูกสร้างขึ้นเรียบร้อยแล้ว โดยมี Microsoft Excel เป็นแอปพลิเคชันที่ผ่านการทดสอบอย่างเจาะลึกที่สุด และผู้สนใจสามารถศึกษาข้อกำหนดฉบับเต็มได้จากไฟล์ SPEC.md ในคลังโค้ด
นักพัฒนาได้นำโมเดล Qwen2.5-VL มาใช้ในการระบุตัวแอป วางแผนบทเรียน และระบุการกระทำของผู้ใช้ โดยมี Ollama ทำหน้าที่โฮสต์โมเดลและเปิดใช้งานเอปพอยต์ พร้อมทั้งใช้การถอดรหัสแบบจำกัดด้วยสเกมา JSON เพื่อให้ได้ผลลัพธ์ที่มีโครงสร้างชัดเจน
นอกเหนือจากนี้ ผู้พัฒนาได้ปรึกษาหารือและให้เพื่อนสนิทรวมถึงคนรู้จักลองใช้งานและทดสอบแอปพลิเคชันดังกล่าว ซึ่งผลลัพธ์ที่ได้คือเสียงตอบรับในเชิงบวกอย่างมาก พร้อมทั้งคำมั่นสัญญาว่าจะนำแอปนี้ไปช่วยอำนวยความสะดวกในการทำงานจริงต่อไป
ที่มา: Dev.to
พบข้อมูลผิดพลาดในบทความนี้? แจ้งปัญหาบทความนี้
ความคิดเห็น
แสดงความคิดเห็น