วัตถุประสงค์
- เพื่อพัฒนาระบบที่สามารถอ่านภาษามือได้อย่างถูกต้องตามแนวทางปฏิบัติของผู้พิการทางการได้ยิน
- เพื่อพัฒนาระบบการขนส่งของระยะไกลด้วย Robodog และ HoloLens 2
- เพื่อพัฒนา HoloLens Application ที่ใช้ในระบบการขนส่งของในระยะไกล
System Scenario
ระบบจะเป็นการจำลองการใช้หุ่นยนต์ในการขนส่งสิ่งของระหว่าง 2 สถานที่ (nodes) โดยที่ผู้ใช้งานทั้งสองฝั่งสามารถรับรู้ถึงสถานะการขนส่งของหุ่นยนต์ และสั่งการหุ่นยนต์ให้สามารถเข้าหาตนเอง/หยุดรอเพื่อ load ของ/ส่งของไปยังปลายทางได้ ด้วยภาษามือ
Sign Language Data Exploration
ผลจากการสำรวจ User (ผู้พิการทางการได้ยิน) เพื่อเก็บข้อมูลลักษณะท่าทางของภาษามือที่จะนำมาใช้ในการสั่ง Robodog Go1 EDU ได้ทั้งหมด 5 ท่าทาง
- นั่ง
- หมอบ (รอ)
- ยืน
- การหยุดการกระทำ (Stop)
- กระโดด
HoloLens Application
เขียนโปรแกรมเพื่อสร้าง Interface ในการสื่อสารผ่าน Unitree Go1 ผ่าน MQTT Broker โดยมีระบบ call robot เพื่อหันหน้าเข้าหา user และ manual control
Interface with HoloLens
เนื่องจากติด system update ของ HoloLens จึงไม่สามารถที่จะ deploy ลง HoloLens ได้
จากการทดสอบผ่าน Emulator ของ Unity พบว่าสามารถ Publish ค่าจาก Application เข้า ROS2 network ได้ทั้งหมด
Future work
- Deploy application เข้า HoloLens (before 9/5/24)
- Develop ระบบทั้งหมดตาม system scenario เพื่อ interface กับ Unitree Go1