Class Project: Robot Teleoperation with Augmented Reality Virtual Surrogates

Inspiration

ใช้แว่น oculus quest 2 ดูมือของผู้ใช้งานและตำแหน่งของหุ่นยนต์ และผู้ใช้งานสามารถชี้เพื่อมาร์คตำแหน่งจุดหมายให้หุ่นยนต์เคลื่อนที่ไปตำแหน่งดังกล่าวได้

เนื่องจาก Oculus Quest 2 ไม่สามารถใช้ระบบ AR ได้หากยังไม่ Build and Run ลงในแว่น ขอบเขตของงานจึงเป็นการสร้างแบบจำลองในสภาพแวดล้อมเสมือนแทน

1.สามารถใช้แว่น Oculus Quest 2 ควบคู้กับ Unity ได้

2.สามารถทำ Hand Tracking ของ Oculus Quest 2 ได้

3.สามารถใช้มือชี้ และทำท่าทางต่างๆเพื่อมาร์คตำแหน่งของจุดหมายได้

4.สามารถทำให้หุ่นยนต์จำลองเคลื่อนที่ไปยังจุดหมายได้อย่างปลอดภัย

1.ตั้งค่า Unity ให้เหมาะสมกับ Oculus Quest 2 และ Import Oculus Integration เข้ามาในโปรเจคให้เรียบร้อย

2. ลบ MainCamera ออกและนำ OVRCameraRig ไปใช้แทนซึ่งเป็นกล้องสำหรับ Oculus Quest 2

3. พร้อมใส่ OVRHandPrefab ใน LeftHandAnchor และ RightHandAnchor จะสามารถทำให้ Oculus Quest 2 Track มือเราได้

4. นำ UIHelper ซึ่งประกอบด้วย laserpointer, sphere และ Eventsystems เข้ามาในโปรเจค

5. แก้ไขโค้ตของตัว

6. นำ Model หุ่นยนต์ของเรามาใส่แทน sphere จะได้ผลดังรูป