Wireless MR Piano

Objective โครงการนี้มีวัตถุประสงค์หลักเพื่อพัฒนาแอปพลิเคชันจำลองการฝึกทักษะดนตรีในรูปแบบ Mixed Reality (MR) บนอุปกรณ์ Meta Quest 2 โดยมุ่งเน้นการบูรณาการระบบซอฟต์แวร์เข้ากับฮาร์ดแวร์ไมโครคอนโทรลเลอร์ ESP32-S3 ที่ทำหน้าที่เป็น USB MIDI Host เพื่อรับส่งข้อมูลจากคีย์บอร์ดภายนอกมาแสดงผลร่วมกับวัตถุเสมือนผ่านระบบ Passthrough การเลือกใช้คีย์บอร์ดแยกอย่าง Yamaha MX61 มีเหตุผลสำคัญเพื่อลดข้อจำกัดด้านคุณภาพและประเภทของเสียงเครื่องดนตรี ช่วยให้ผู้ใช้งานสามารถปรับแต่งหรือนำชุดเสียงที่ต้องการจากเครื่องดนตรีจริงมาต่อพ่วงเพื่อใช้งานได้ทันทีตามความชอบส่วนบุคคล System Scenario Designed System Flow Chart Programming Implementation 1. ส่วนของฮาร์ดแวร์และโปรแกรมควบคุม (ESP32-S3 Bridge) : …

FRA500 : Human-Robotics Interface Class Project [ Wireless MR Piano ]

Wireless MR Piano โปรเจกต์นี้เป็นการพัฒนาระบบ MR ที่ทลายขีดจำกัดเรื่องสายสัญญาณ โดยเชื่อมต่อเครื่องดนตรีจริง เข้ากับแว่น Meta Quest 2 แบบไร้สาย เพื่อสร้างประสบการณ์การเล่นดนตรีในรูปแบบใหม่ System Scenario ระบบนี้ทำงานแบบ Two-way Wireless Communication ผ่านโปรโตคอล UDP และ USB OTG โดยมี ESP32-S3 ทำหน้าที่เป็นตัวเชื่อม ระหว่างเครื่องดนตรี และ MR 1. ข้อมูลจากโลกจริงส่งไปยัง VR (Bottom Flow: …