Category: <span>FRA 500 Human Robotics Interface</span>

Multi Player Mixed Reality Exploration with Hololens 2

Microsoft Hololens 2 เป็นแว่นตาอัจฉริยะที่พัฒนาขึ้นโดยบริษัท Microsoft ที่สามารถนำวัตถุที่สร้างมาปรากฏซ้อมทับกับภาพความเป็นจริง หรือ mixed reality ทำให้ผู้สวมใส่สามารถที่จะจับต้องหรือมีประติสัมพันธ์กับวัตถุได้ โดยทาง Microsoft ได้ Hololens 2 ขึ้นเพื่อพัฒนาการเรียนรู้ในปัจจุบันให้มีประสิทธิภาพมากขึ้นการได้จำลองสถานการณ์ หรือ สภาพแวดล้อมจำลอง เพื่อให้ผู้ใช้สามารถเข้าถึงการเรียนรู้ในสถานที่จริง โดยไม่ต้องไปสถานที่จริง Mixed Reality หรือ MR คือ เทคโนโลยีความเป็นจริงแบบผสม โดยสามารถสร้างหรือนำเอาวัตถุมาปรากฏอยู่ในโลกความเป็นจริง นอกจากการมองเห็นแล้ว MR ยังครอบคลุมถึงการรับรู้อื่นๆ เช่น การได้ยิน การสัมผัส กลิ่น และรสชาติ …

Class project : AR Telesorting system

AR Telesorting system คือระบบ sorting ผ่าน Augmented Reality ที่สามารถคัดแยกสินค้าและตรวจสอบสถานะการทำงานของsensor,actuator ว่ามีปัญหาหรือไม่ Augmented reality คืออะไร Augmented reality หรือ AR คือ การรวม สภาพแวดล้อมจริง กับ วัตถุเสมือน เข้าด้วยกันในเวลาเดียวกัน โดยวัตถุเสมือนที่ว่านั้น อาจจะเป็น ภาพ, วิดิโอ, เสียง, ข้อมูลต่างๆที่ประมวลผลมาจากคอมพิวเตอร์, มือถือ, เทปเล็ต, หรืออุปกรณ์สวมใส่ขนาดเล็กต่างๆ และทำให้เราสามารถตอบสนองกับสิ่งที่จำลองนั้นได้ โปรแกรมที่ใช้ Vuforia …

ZONA

Objective ภาพพิพิธภัณฑ์ Devio Beacon Tracker Devio Beacon Tracker คือเทคโนโลยีที่ถูกพัฒนาขึ้นมาเพื่อใช้งานร่วมกับสมาร์ทโฟน มีความน่าสนใจตรงที่สามารถส่งสัญญาณ Bluetooth ที่ใช้พลังงานต่ำ (Bluetooth Low Energy) ไปยังสมาร์ทโฟนของผู้รับสัญญาณในรัศมีที่มีสัญญาณส่งไปถึง โดยมี Event ที่สามารถทำได้ 3 อย่างคือ ตาราง Event ของ Devio Beacon Tracker ภาพ Devio Beacon Tracker System Scenario ภาพระบบการทำงานของ ZONA …

CLASS PROJECT – TicTacToe Robot

TicTacToe-Robot ในปัจจุบัน มีหุ่นยนต์ที่ทำงานร่วมกับมนุษย์มากมาย ยกตัวอย่างเช่น หุ่นยนต์ผ่าตัดของแพทย์ หุ่นยนต์บริการในร้านอาหาร และในอนาคตจะมีเพิ่มขึ้นอีกแน่นอน โปรเจ็กต์นี้เป็นต้นแบบของการทำกิจกรรมร่วมกันของมนุษย์และหุ่นยนต์ในรูปแบบของเกม “TicTacToe” หรือที่รู้จักกันในชื่อ “XO” นั่นเอง โดยหุ่นยนต์มีความสามารถในการรับรู้  การเรียนรู้ การให้เหตุผล และการแก้ปัญหาต่างๆได้เอง โดยไม่ต้องพึ่งพามนุษย์ไปสั่งงาน โดยในการทำงานลักษณะนี้ก็ถือว่าเป็น ปัญญาประดิษฐ์  (AI : Artificial Intelligence) นั่นเอง จุดประสงค์ของโปรเจ็กต์ 1.เพื่อความบันเทิงของผู้ใช้งาน 2.เพื่อการศึกษาการทำงานของ Opencv , Minimax Algorithms, การควบคุมแขนกลด้วย Python ขอบเขตของโปรเจกต์ 1.สร้างตารางสำหรับการเล่นได้ผ่านการ Calibrate ในโปรแกรมโดยรับภาพจากกล้อง …

Class Project : TeleManipulation of Robot Hand using Human Gesture

TeleManipulation of Robot Hand using Human Gesture คืออะไร TeleManipulation of Robot Hand using Human Gesture คือการควบคุมการเคลื่อนไหวของหุ่นยนต์จากระยะไกล โดยใช้การตรวจจับท่าทางของมือ ไม่ว่าจะเป็นการขยับตำแหน่งของหุ่นยนต์หรือการบังคับการทำงานของตัวกริปเปอร์ ขอบเขตของโปรเจกต์ System scenario Dataflow Diagram Mediapipe Handpose Detection คืออะไร? Mediapipe Handpose Detection คือ machine learning solution สำหรับการตรวจจับท่าทางของมือ …

Progress Update Class Project

ภาพรวมของโปรเจ็ค เป็นเกมมุมมองบุคคลที่ 1 ที่ต้องให้ผู้เล่นสองคนมายิงลูกบอลไฟใส่กัน ผ่านการเล่นจาก Hololen’s 2 เพื่อให้ผู้เล่นได้สัมผัสประสบการณ์ที่สมจริงผ่านการมองโลกความเป็นจริงผสม หรือ Mixed Reality ที่วัตถุ 3D ที่สร้างด้วยคอมพิวเตอร์ ถูกซ้อนทับในโลกความเป็นจริง สิ่งที่ทำไปแล้ว ปัญหาที่พบ สิ่งที่จะทำต่อ การวัดผล ในการเก็บผลเราจะเก็บข้อมูล ดังนี้ 1. เรื่องการตอบสนองระหว่างผู้เล่นว่ามี Delay มากน้อยแค่ไหน ส่งผลต่อผู้เล่นหรือไม่ 2. การตอบโต้ระหว่างผู้เล่นกับวัตถุ ว่ามี position ที่ตรงกับหรือไม่ ทั้ง 2 ผู้เล่น

Class project: Telemanipulation of Robot Hand using Human Gesture

นาย ธนธัส อนันต์ศิริโรจน์ 63340500022 รับผิดชอบส่วนการ control Universal Robot (Co-op)นาย ภรภัทร พัชรพิมพ์พิสุทธิ์ 63340500046 รับผิดชอบส่วนการ Input Hand-Tracking Gestureนาย ธนัท บำรุงวงศ์สิริ 63340500026  รับผิดชอบส่วนการ Socket communication on LAN การสร้าง Hand Tracking Module สำหรับการ Track Hand และ Gesture โดยใช้กล้อง  ผ่าน …

Class Project : Controlling Robot Dog GO1 by Hand Gesture

System Scenario: Data Flow Diagram: คำสั่งมือที่กำหนด Source Code: https://github.com/sorasitP/RobotDog_GO1_ControlbyHands Control Robot (from unitree_legged_sdk) ใช้ SDK จาก git hub ของ unitree ซึ่งได้ทำการปรับเปลี่ยนในส่วนของการควบคุมแบบ HIGH LEVEL ในไฟล์ example_walk.cpp ใน SDK ให้สามารถอ่านไฟล์ command.txt แล้วสั่งงานหุ่นยนต์สุนัขตามคำสั่งในไฟล์นั้น คำอธิบาย parameter ต่าง ๆ ใน …

Software Review: Simulating Robots with ROS and Unity

ROS คืออะไร ROS หรือที่ย่อมาจาก Robot Operating System(ROS) เป็นระบบที่ออกแบบขึ้นมาเพื่อช่วยให้เกิดความยืดหยุ่นในการเขียนซอฟต์แวร์ควบคุมหุ่นยนต์ ซึ่ง ROS จะมีชุดคำสั่งต่าง ๆ ที่ใช้ในการควบคุมหุ่นยนต์มากมายรวบรวมเอาไว้ ซึ่งสิ่งต่าง ๆ เหล่านี้จะช่วยลดความยุ่งยากในการพัฒนาหุ่นยนต์ที่มีความซับซ้อน และเพิ่มประสิทธิภาพในการพัฒนาหุ่นยนต์ Unity โปรแกรมจำลองโมเดล 3 มิติ Unity เป็นโปรแกรมที่สามารถใช้งานได้ฟรีและมีแหล่งข้อมูลมากมาย ซึ่งตัวโปรแกรม Unity นั้นสามารถทำการจำลองตัวโมเดล 3 มิติของหุ่นยนต์ พร้อมกับสภาพแวดล้อมเสมือนต่าง ๆ อีกทั้งยังมีอุปกรณ์มากมายที่สามารถเขียนใช้งานกับ Unity ROS + Unity !! …