หน้าที่ส่วนที่รับผิดชอบ: ส่วนโปรแกรมที่ใช้คู่กับ HoloLens 2
ภาพรวมของระบบ
ระบบนี้จะเป็นการจำลองการใช้หุ่นยนต์ในการขนส่งสิ่งของระหว่าง 2 สถานที่ (nodes) โดยที่ผู้ใช้งานทั้งสองฝั่งสามารถรับรู้ถึงสถานะการขนส่งของหุ่นยนต์ และสั่งการหุ่นยนต์ให้สามารถเข้าหาตนเอง/หยุดรอเพื่อ load ของ/ส่งของไปยังปลายทางได้ ด้วยภาษามือ
Application Design
แอปพลิเคชัน จะประกอบด้วยส่วนแสดง status ของหุ่นยนต์ โดยที่ส่วนรับ input ภาษามือของระบบนั้นจะอยู่กับตัสหุ่นยนต์โดยใช้กล้อง webcam เป็นหลัก
โดยที่ระบบในเป้าหมายสูงสุดจะมีใช้ HoloLens 2 ทั้งหมด 2 ตัวที่อยู่ในเครือข่ายเดียวกัน และส่งข้อมูลตำแหน่งของตนเองไปยัง server เพื่อให้หุ่นยนต์รับรู้ถึงตำแหน่งของ HoloLens แต่ละตัว
โดยในการทดลอง ณ ปัจจุบัน จะใช้ข้อมูล inputs จากปุ่ม เพื่อจำลองการสั่งงาน และยังไม่มีการเชื่อมต่อกับ server\
Proof of Work
มีการเริ่มเขียนแอปพลิเคชันในบางส่วน โดยใช้ปุ่มกดจาก components ของ MRTK toolbox เพื่อใช้แทนข้อมูลขาเข้าที่จะได้รับจากหุ่นยนต์ โดยที่การเขียนโปรแกรมทั้งหมดนั้น จะอ้างอิงจาก tutorials ของ Dilmer Valecillos
โดยตัวโปรแกรมทั้งหมดนั้น สามารถแสดงปุ่มและ interact ปุ่มได้ แต่ยังจำเป็นต้องมี log/debug screen เพื่อดูค่า inputs จากปุ่มที่กดได้ ซึ่ง ณ ปัจจุบัน ยังไม่สามารถแสดงผลผ่าน logger บนหน้าจอผ่าน component ของ MRTK tools ได้
หากอ้างอิงจากคลิปของ Dilmer Valecillos จะเห็นได้ว่าีการใช้งาน component บางอย่างเพื่อใช้เป็น debug area แต่ในคลิปไม่ได้มีการเขียนสคริปต์เพิ่มเติม มีเพียงแต่การลากวาง object ใน inspector เท่านั้น ทำให้จำเป็นต้องหาสคริปต์ว่าสามารถ log ข้อมูลอย่างไรได้บ้าง เพื่อทดสอบ inputs
