Wireless MR Piano
โปรเจกต์นี้เป็นการพัฒนาระบบ MR ที่ทลายขีดจำกัดเรื่องสายสัญญาณ โดยเชื่อมต่อเครื่องดนตรีจริง เข้ากับแว่น Meta Quest 2 แบบไร้สาย เพื่อสร้างประสบการณ์การเล่นดนตรีในรูปแบบใหม่
System Scenario
ระบบนี้ทำงานแบบ Two-way Wireless Communication ผ่านโปรโตคอล UDP และ USB OTG โดยมี ESP32-S3 ทำหน้าที่เป็นตัวเชื่อม ระหว่างเครื่องดนตรี และ MR
1. ข้อมูลจากโลกจริงส่งไปยัง VR (Bottom Flow: Keyboard ➔ Meta Quest 2)
เป็นขั้นตอนที่การเล่นดนตรีบนเครื่องจริง ถูกนำไปจำลองผลในโลก MR เพื่อใช้ในการฝึกซ้อมหรือสร้าง Visual Effect
- การดึงข้อมูลจาก Hardware (USB Host MIDI/Audio): เมื่อผู้เล่นกดลิ่มนิ้วบนคีย์บอร์ดจริง ESP32-S3 ที่เชื่อมต่อผ่านพอร์ต Native USB (OTG) จะทำหน้าที่เป็น Host เพื่อดึงข้อมูล Digital Output (ทั้งสัญญาณโน้ต MIDI และสัญญาณเสียง Digital Audio) ออกมาจากเครื่องดนตรี
- การประมวลผลและแพ็กข้อมูล (Data Packaging): ข้อมูลการกด (Note On/Off, Velocity) จะถูกมัดรวมกับข้อมูลเสียงดิบ (Raw Audio Data) เพื่อเตรียมส่งออก
- การส่งออกข้อมูลไร้สาย (Wireless UDP Publish): ข้อมูลทั้งหมดจะถูกส่งผ่านคลื่น Wi-Fi โดยใช้โปรโตคอล UDP ยิงตรงไปยัง IP Address ของ Meta Quest 2 เพื่อความหน่วงที่ต่ำที่สุด (Low Latency)
- การแสดงผลในโลกเสมือน (MR Rendering): เมื่อแว่นได้รับข้อมูล ลิ่มคีย์เสมือนในหน้าจอ MR (ที่วางทับตำแหน่งเดียวกับคีย์บอร์ดจริง) จะ “ยุบลง” ตามน้ำหนักมือจริง พร้อมส่งเสียง Digital Audio ออกที่ลำโพงของแว่นแบบ Real-time
2. ข้อมูลจาก VR ส่งกลับไปยังโลกจริง (Top Flow: Meta Quest 2 ➔ Keyboard)
เป็นขั้นตอนที่ผู้ใช้สั่งการจากโลกเสมือน เพื่อควบคุมเครื่องดนตรีจริงโดยไม่ต้องสัมผัส (Remote Control)
- การตรวจจับท่าทาง (Hand Tracking Interaction): ผู้เล่นใช้มือเปล่าในโหมด Mixed Reality แตะไปที่อากาศ (หรือคีย์บอร์ดจำลอง) ระบบ Meta XR SDK จะคำนวณตำแหน่งปลายนิ้วผ่านระบบ Hand Tracking
- การประมวลผลคำสั่ง (Command Processing): เมื่อมีการ “จิ้ม” หรือ “เลือก” เมนูในโลกเสมือน แอปพลิเคชันใน Unity จะแปลงการกระทำนั้นเป็นคำสั่งควบคุม (เช่น เปลี่ยนเสียงเครื่องดนตรี, สั่งกดโน้ตอัตโนมัติ)
- การส่งคำสั่งกลับ (UDP Feedback): คำสั่งจะถูกส่งกลับผ่าน Wi-Fi ไปยัง ESP32-S3
- การดำเนินการที่ตัวเครื่อง (Hardware Execution): ESP32-S3 รับคำสั่งแล้วส่งสัญญาณ MIDI Command ผ่านสาย USB เข้าสู่คีย์บอร์ดโดยตรง ทำให้เครื่องดนตรีจริงตอบสนองตามที่สั่งจากใน VR ได้ทันที
สมาชิก
ศุภสกร วรอุไร 66340500056