สรุปผลการทดลอง 20/5/2024

scenario กาารทดลอง เนื่องจาก HoloLens ที่เกิดความเสียหาย (ไม่สามารถ windows boot ได้ จำเป็นต้องลง windows ใหม่) ทำให้ scenario ของการทดลองมีการเปลี่ยนแปลง ดังนี้ มีการปรับลด user ในการทดสอบให้เหลือครั้งละ 1 คน โดยมีการทดสอบ 2 ครั้ง คือ การทดสอบผ่าน simulation ใน unity และการทดสอบผ่าน HoloLens Application ผู้ทดสอบจะยืนอยู่ประจำหน้ากล้องและสั่งงาน Unitree Go1 …

2 Hand Avatar Robot : Kinematics

Main Page : https://hcilab.net/class-project/2-hand-avatar-robot/ Kinematics Calculation ในโปรเจท 2 Hands Avatar Robot : Robot ที่ทางกลุ่มเลือกใช้จะเป็น UR5 2 ตัวทำงานร่วมกัน ดังนั้นการที่จะสามารถควบคุม Robot ทั้ง 2 แขน ได้จะต้องคำนวน Forward Kinematics และ Inverse Kinematics ก่อนเป็นอย่างแรก Forward Kinematics เริ่มจาก Specification Sheet ของ …

Structure and Programming Design for Dual arm Robot

Structure and Programming Design for Dual arm Robot Nattawut Hansupo การออกแบบงานโครงสร้าง สำหรับติดตั้งหุ่นยนต์ 2 แขน (Dual Arm Robot) จาก conceptual ในการทำระบบ ได้มีการออกแบบโครงสร้างโดยให้ตัวหุ่นยนต์มีการยืดอยู่บนโครงสร้าง และด้านหน้าเป็น Table ในการวาง Component ต่างๆ อาทิ ขวดน้ำ แก้วน้ำ รวมถึง Camera ที่ใช้ในการ Detect Object โดยโครงสร้างแบ่งออกเป็น …

Inspecting Objects with Vision Camera [2 Hand Avatar Robot]

ผู้รับผิดชอบ — นายพิชามญชุ์ ทาดี [64340700420] วัตถุประสงค์ แผนภาพการทำงาน การทำงานของโปรแกรมและระบบประมวลผลการวิเคราะห์ภาพ Original Image HSV Image Mask Image Result Image Project นี้ ใช้กล้อง EPL-USBFHD04H-SFV(2.8-12) ในการรับภาพ โค้ดนี้เป็นการเตรียมพร้อมสำหรับการจับภาพจากกล้องและการตั้งเวลาเพื่อหยุดการทำงานหลังจากระยะเวลาที่กำหนดไว้ (timeout) เพื่อประมวลผลภาพและจัดการกับข้อมูลที่ได้รับจากกล้องเพิ่มเติม โค้ดนี้เป็นชุดฟังก์ชันสำหรับการสร้างเมทริกซ์การแปลงแบบโฮโมจีนีส (homogeneous transformation matrices) ซึ่งใช้ในงานหุ่นยนต์และการแปลงพิกัดในสามมิติ (3D coordinate transformations) โดยเฉพาะในการคำนวณตำแหน่งและการหมุนของวัตถุ และโค้ดนี้ใช้ในการคำนวณตำแหน่งของวัตถุในระบบพิกัดของหุ่นยนต์จากข้อมูลพิกัดที่ได้จากกล้อง โค้ดนี้เป็นส่วนหนึ่งของการประมวลผลภาพโดยใช้ไลบรารี …

Class Project: Unity HoloLens Application for Control Unitree Go1 Robot

วัตถุประสงค์ System Scenario ระบบจะเป็นการจำลองการใช้หุ่นยนต์ในการขนส่งสิ่งของระหว่าง 2 สถานที่ (nodes) โดยที่ผู้ใช้งานทั้งสองฝั่งสามารถรับรู้ถึงสถานะการขนส่งของหุ่นยนต์ และสั่งการหุ่นยนต์ให้สามารถเข้าหาตนเอง/หยุดรอเพื่อ load ของ/ส่งของไปยังปลายทางได้ ด้วยภาษามือ Sign Language Data Exploration ผลจากการสำรวจ User (ผู้พิการทางการได้ยิน) เพื่อเก็บข้อมูลลักษณะท่าทางของภาษามือที่จะนำมาใช้ในการสั่ง Robodog Go1 EDU ได้ทั้งหมด 5 ท่าทาง HoloLens Application เขียนโปรแกรมเพื่อสร้าง Interface ในการสื่อสารผ่าน Unitree Go1 ผ่าน MQTT …

Progress Update 3/5/24

Deliverable this week HoloLens Application ที่ส่งข้อมูลให้กับ Robodog ผ่าน MQTT Broker ได้สำเร็จ โดยที่ function ทั้งหมดที่ใช้ในการ publish topic จะมีทั้งหมด 4 topic คือ Robodog (ROS2) สามารถรับคำสั่งจาก HoloLens Application ได้สำเร็จ แต่ยังไม่สามารถ deploy ลง HoloLens 2 ได้เนื่องจากติด system update (ไม่สามารถเข้าดู …

Control the robot arm with the keyboard

การควบคุมแขนกลโรบอทผ่าน RTDE (Real-Time Data Exchange) ในสภาพแวดล้อม Python โดยใช้โมดูล keyboard, rtde_control, และ rtde_receive หลักการทำงานมีดังนี้: จากวิดีโอแสดงให้เห็นถึงการทำงานร่วมกันระหว่างผู้ใช้งานกับแขนกล โดยผู้ใช้งานจะควบคุมแขนกลผ่านคีย์บอร์ด ซึ่งการควบคุมประกอบด้วยการกดปุ่มต่างๆ ดังนี้: การเคลื่อนที่ของแขนกลมีความเร็วอยู่ที่ 0.1 และความเร่งอยู่ที่ 0.1

Progress Update 26/4/24

Deliverable this week System Data Flow ทดลองสร้าง HoloLens Server ด้วย PUN2 (Photon Unity Networking) Project ทั้งหมดที่สร้าง ใช้ tutorial มาจาก official Microsoft tutorial: https://learn.microsoft.com/ ปัญหาที่พบ หลังจากขั้นตอนการสร้าง NetworkRoom เพื่อสร้าง Photon Room (Script) component สำหรับ HoloLens 2 ตัวใน environment …