Keep Posing and Everyone Survives
เกมเกี่ยวกับการถอดรหัสโดยมีผู้เล่น 2 ฝ่าย ได้แก่ฝ่ายแกะรหัส (Web Camera User) และฝ่ายช่วยเหลือ (VR User) มีการสื่อสารจากฝ่ายแกะรหัสส่งข้อมูล คอยสนับสนุนและส่งข้อมูลด้วยรหัสลับจากมือ ส่งข้อมูลไปยังฝ่ายช่วยเหลือที่สามารถติดต่อกลับด้วยแผ่นกระดาน และดำเนินการช่วยเหลือต่อไปให้ได้
(ธีมปัจจุบัน : ไฟไหม้และแผ่นดินไหว)
สมาชิก
| รายชื่อ | รหัสนักศึกษา | หน้าที่ |
|---|---|---|
| เพลงพิณ ขวัญจิรา | 66340500036 | ออกแบบ Webcam User Application |
| อัยย์รดา สินพัฒน์ฐากุล | 66340500064 | ออกแบบ VR User Application |
System Scenario
ระบบนี้ทำงานแบบ Two-way Communication (การสื่อสารสองทาง) ผ่านโปรโตคอล MQTT โดยแยกการทำงานของ Hardware ออกเป็น 2 ฝั่ง ได้แก่ ฝั่งผู้รอดชีวิตในโลกเสมือน (VR User) และฝั่งศูนย์บัญชาการช่วยเหลือ (Webcam User)
- ข้อมูลจาก VR ส่งไปยัง PC (Bottom Flow: VR ➔ Webcam) เป็นขั้นตอนที่ผู้เล่นใน VR รวบรวมข้อมูลสถานการณ์ภัยพิบัติที่อยู่ตรงหน้า แล้วส่งมาขอความช่วยเหลือจากศูนย์บัญชาการ
- การวาดเพื่อสื่อสาร (Drawing Communication): เมื่อผู้เล่น VR พบสัญลักษณ์ประหลาดบนปริศนา จะทำการวาดลอกลายสัญลักษณ์นั้นลงบนกระดานโฮโลแกรม จากนั้นกดปุ่มส่ง (Select Button Sent)
- การจัดการข้อมูล (Data Processing): พิกัดลายเส้นที่วาด (Sent Coordinates Data) จะถูกมัดรวมกับข้อมูลอื่นๆ เช่น การกดปุ่มบนปริศนา (Select Button in Puzzle), การนำทางเมนู (UI Interface), หรือการกดเปิดไมค์ (Mic Button) เข้าสู่กระบวนการจัดการของแอปพลิเคชัน (Application Processing)
- การส่งออกข้อมูล (MQTT Publish): ข้อมูลทั้งหมดจะถูกสรุปรวมที่แพ็กเกจขาออก (VR Player’s Output) แล้วส่งผ่าน MQTT Publish ข้ามเครือข่ายไปปรากฏเป็นภาพวาดบนหน้าจอของฝั่ง PC (VR Player’s Drawing) ให้ฝั่งผู้ช่วยเห็นแบบ Real-time
- ข้อมูลจาก PC ส่งกลับไปยัง VR (Top Flow: Webcam ➔ VR) เป็นขั้นตอนที่ผู้เชี่ยวชาญหน้าคอมพิวเตอร์วิเคราะห์ข้อมูลที่ได้รับ และส่งเครื่องมือหรือรหัสผ่านกลับไปช่วยเหลือผู้เล่นใน VR
- การวิเคราะห์คู่มือ (Hand Book): ผู้เล่นหน้ากล้อง (Webcam User) ดูภาพวาดที่ได้รับมา แล้วเปิดคู่มือฉุกเฉินเพื่อหาวิธีแก้ปัญหาที่ถูกต้อง
- การส่งคำสั่งผ่าน AI (AI Gesture Control): เมื่อรู้คำตอบ ผู้เล่นหน้ากล้องจะทำท่าทางผ่านกล้อง Webcam
- หากส่งรหัสตัวเลข จะใช้มือเดียว (1-Hand Gesture)
- หากส่งเครื่องมือช่วยเหลือ เช่น สแกนความร้อน หรือมองทะลุกำแพง จะใช้สองมือ (2-Hand Gestures)
- การประมวลผลของ AI (AI Processing): ระบบจะดึงพิกัดโครงสร้างกระดูกมือ 3 มิติ (3D hand landmarks) นำไปเข้าโมเดล AI เพื่อแปลผลว่าท่าทางนั้นคือคำสั่งอะไร
- การเปิดไมค์ฉุกเฉิน (Mic Button): หากสถานการณ์วิกฤต ผู้เล่นสามารถคลิกปุ่มไมค์เพื่อสั่งการด้วยเสียงผ่านกระบวนการฝั่งแอปพลิเคชัน (Application Processing)
- การส่งคำสั่งกลับ (MQTT Publish): คำสั่งจาก AI หรือการเปิดไมค์จะถูกรวมที่แพ็กเกจขาออก (PC’s Output) แล้วส่ง MQTT Publish กลับไปยังแว่น VR เพื่อสั่งให้ระบบในเกมทำงานตามเครื่องมือนั้นๆ (Command Execution) ช่วยให้ผู้เล่นรอดชีวิตได้ในที่สุด