AR Application for Developing Practice skills in Playing Music


ในปัจจุบันเครื่องดนตรีมีบทบาทต่อชีวิตของผู้คนเป็นจำนวนมาก หนึ่งในเครื่องดนตรีที่ผู้คนนิยมเล่นก็ คือ "เปียโน"

เปียโนเป็นเครื่องดนตรีที่มีความหลากหลายของเสียงและใช้ในการฝึกฝนเทียบเสียงของนักดนตรี ในปัจจุบันมีแอปพลิเคชันสำหรับฝึกเล่นเปียโน แต่ก็ยังไม่ตอบโจทย์และไม่สามารถบ่งบอกความผิดพลาดของผู้ใช้ได้ ผู้จัดทำจึงได้นำเทคโนโลยี AR มาประยุกต์ใช้ในการฝึกเล่นเปียโน


สมาชิกผู้จัดทำ

  1. นางสาวนภัสสร เตชะสมบูรณากิจ
  2. นายชรันธร พิมลจินดา
  3. นายธนธานี โพธิ์นาค

วัตถุประสงค์

  • เพื่อพัฒนา Application ฝึกเล่นเปียโนด้วย AR
  • เพื่อทดสอบประสิทธิภาพของ Application ในด้านประสบการณ์ของผู้ใช้ และในการเรียนรู้ฝึกฝนทักษะการเล่นเปียโน

การนำเสนอผลการออกแบบ

  • Hardware ประกอบด้วยกล้องโทรศัพท์ , Leap motion sensor และเปียโนทำหน้าที่เป็น Input ส่วนหน้าจอและลำโพงของโทรศัพท์เป็น Output และคอมพิวเตอร์ทำหน้าที่เป็นตัวประมวลผล
  • Software คือ ส่วนที่จะแสดงผลให้ผู้ใช้งานได้กดตามและเล่นเสียงเพลงออกมา


ผลการทดลอง

เริ่มจากกล้องตรวจจับ Target และสร้างภาพ AR เพื่อให้ผู้ใช้งานได้เห็น จากนั้นเมื่อโปรแกรมเริ่มทำงานแล้วจะมีเพลงและโน๊ตตกลงมาตามจังหวะของเพลงเพื่อให้ผู้เล่นได้กดตาม ในส่วนนี้ Leap motion sensor จะเป็นตัวทำหน้าที่ในการตรวจจับการเคลื่อนไหวของผู้ใช้งาน ว่าผู้ใช้งานสามารถกดตัวโน๊ตได้ถูกต้องหรือไม่ เมื่อเพลงจบแล้วหน้าจอจะแสดงผลว่าผู้เล่นมีความแม่นยำมากน้อยแค่ไหน

0:00
0:00

สรุปผลการทดลอง

จากผลการทดลองมีข้อผิดพลาดเกิดขึ้นคือ Leap motion sensor เชื่อมต่อได้แค่กับคอมพิวเตอร์เท่านั้น ซึ่งวัตถุประสงค์หลักของงานนี้ต้องการเชื่อมต่อกับโทรศัพท์เนื่องจาก AR ที่ใช้นั้นจำเป็นต้องแสดงผลทางโทรศัพท์เพื่อให้สามารถฝึกเล่นเปียโนได้ และยังไม่สามารถทำให้ Leap motion sensor ตรวจจับความแม่นยำการเล่นของผู้เล่นได้จากสาเหตุที่กล่าวไปข้างต้น

ข้อเสนอแนะ

  • เชื่อมต่อ Leap motion sensor เข้ากับคอมพิวเตอร์โดยผ่าน M2M (Machine to Machine) อื่นๆ
  • ใช้ SDK (Software Development Kit) ของ Leap motion sensor ที่สามารถเชื่อมต่อกับโทรศัพท์ได้

ข้อมูลเพิ่มเติม