Inspiration
reference: Robot Teleoperation with Augmented Reality Virtual Surrogates – HRI’19 – YouTube
Class Project Overview
ใช้แว่น oculus quest 2 ดูมือของผู้ใช้งานและตำแหน่งของหุ่นยนต์ และผู้ใช้งานสามารถชี้เพื่อมาร์คตำแหน่งจุดหมายให้หุ่นยนต์เคลื่อนที่ไปตำแหน่งดังกล่าวได้

อุปกรณ์ที่คาดว่าใช้
- Oculus Quest 2
- Tello Drone
Software
- Unity 2021.3.13f1
จุดประสงค์
- เพื่อเรียนรู้การพัฒนาแอพลิเคชัน VR/AR ใน Oculus Quest 2 โดยใช้ Unity
- เพื่อควบคุมหุ่นยนต์จากระยะห่างโดยที่ไม่จำเป็นต้องเข้าไปปฎิบัติการเอง
ขอบเขตของงาน
เนื่องจาก Oculus Quest 2 ไม่สามารถใช้ระบบ AR ได้หากยังไม่ Build and Run ลงในแว่น ขอบเขตของงานจึงเป็นการสร้างแบบจำลองในสภาพแวดล้อมเสมือนแทน

ความคาดหวังในการทำงาน
1.สามารถใช้แว่น Oculus Quest 2 ควบคู้กับ Unity ได้
2.สามารถทำ Hand Tracking ของ Oculus Quest 2 ได้
3.สามารถใช้มือชี้ และทำท่าทางต่างๆเพื่อมาร์คตำแหน่งของจุดหมายได้
4.สามารถทำให้หุ่นยนต์จำลองเคลื่อนที่ไปยังจุดหมายได้อย่างปลอดภัย
ขั้นตอนการพัฒนา
1.ตั้งค่า Unity ให้เหมาะสมกับ Oculus Quest 2 และ Import Oculus Integration เข้ามาในโปรเจคให้เรียบร้อย
2. ลบ MainCamera ออกและนำ OVRCameraRig ไปใช้แทนซึ่งเป็นกล้องสำหรับ Oculus Quest 2

3. พร้อมใส่ OVRHandPrefab ใน LeftHandAnchor และ RightHandAnchor จะสามารถทำให้ Oculus Quest 2 Track มือเราได้

4. นำ UIHelper ซึ่งประกอบด้วย laserpointer, sphere และ Eventsystems เข้ามาในโปรเจค

5. แก้ไขโค้ตของตัว

6. นำ Model หุ่นยนต์ของเรามาใส่แทน sphere จะได้ผลดังรูป


Demo Class Project
Reference
- Get Started with Oculus in Unity | Oculus Developers
- How to Interact in VR – Oculus Interaction SDK – PART 1 – YouTube
- https://www.youtube.com/watch?v=0UUCkR4ey1U
- https://www.youtube.com/watch?v=E45TzK176IU&t=190s
- https://www.youtube.com/watch?v=1zJw0F_3UZ0
- https://www.youtube.com/watch?v=ms6r59X6rRc
- Oculus Developer Center