Class Project : Control Robodog with HoloLens and Streaming Robodog’s Vision with WebRTC

Objective โปรเจคนี้มีวัตถุประสงค์เพื่อออกแบบและพัฒนาระบบ Streaming Vision ของหุ่นยนต์ Robodog และควบคุม Robodog ด้วย Hololens ผ่านแอพพลิเคชั่นที่ถูกสร้างด้วยโปรแกรม Unity ผนวกร่วมกับ WebRTC โดยให้ผลคือสามารถแสดงสิ่งที่ Robodog เห็น และสามารถควบคุมหุ่นยนต์ Robodog ผ่าน Hololens ไปพร้อมๆกันได้ System Scenario System Data Flow การเขียนส่งข้อมูลผ่าน UDP การส่ง command ไปหา robodog ด้วยการส่ง Byte ผ่าน …

Class Project: Teleoperation Control for Unitree Go1 Robot Dog

การควบคุมการเคลื่อนที่ของ Unitree Go1 Robot Dog ระยะไกลโดยการตรวจจับท่าทางของมือ หรือการสั่งงานด้วยเสียง โดยใช้ unitree_legged_sdk ในการสื่อสารระหว่าง PC กับบอร์ด Controller ผ่านคำสั่งที่เขียนลงในไฟล์ command.txt Objective System Performance System Scenario System Overview การทำระบบ Hand Tracking แบบ Real-time ด้วย MediaPipe Library ของ Google โดยการใช้งาน MediaPipe Hands …

Class Project: Chatbot for Control Robotics Arm

ที่มาของ Project นี้เริ่มมาจากแนวคิดที่ว่าจะพัฒนา ระบบหุ่นยนต์ที่ช่วยเหลือผู้ป่วยติดเตียงเวลาที่ผู้ป่วยนั้นต้องการความช่วยเหลือและเป็นการแบ่งเบาภาระของพยาบาล โดยระบบหุ่นยนต์จะเป็น Chatbot ที่สามารถโต้ตอบกับผู้ใช้งานและสามารถสั่งงานแขนกลให้ทำหน้าที่ช่วยเหลือในเรื่องของกิจวัตรประจำวันของผู้ป่วยได้ เช่น การหยิบจับวัตถุที่อยู่ใกล้เคียง การพยุงผู้ป่วย การช่วยเหลือผู้ป่วยในการเดิน เป็นต้น โดยใน Class Project นี่ทางผู้พัฒนาจะ Implement Concept เบื้องต้นจากที่กล่าวมา โดยในส่วนของ Chatbot จะเป็นระบบโต้ตอบเบื้องต้นเมื่อมีผู้ใช้งานสั่งงานระบบและในส่วนของการหยิบจับวัตถุวัตถุที่อยู่ใกล้เคียง จะออกแบบระบบที่สามารถทำการหยิบวัตถุภายในระยะที่แขนกลสามารถหยิบได้และอยู่ใน Frame ของกล้องตามที่เราสั่งไปได้ได้ System Scenario System Dataflow Design System Device และ Object ที่ใช้งานทดลอง …

Class Project : FOBI Application For Video Conference

Objective โปรเจคนี้มีวัตถุประสงค์เพื่อออกแบบและพัฒนาระบบ Video Conference โดยการใช้หุ่นยนต์ FOBI เป็นสื่อกลางระหว่าง 2 ผู้ใช้งาน ผ่านแอพพลิเคชั่นที่ถูกสร้างด้วยโปรแกรม Unity และออกแบบระบบออนไลน์ด้วย WebRTC System Scenario เมื่อ User 1 ทำการกดเริ่มในโปรแกรม ก็จะทำการเปิด Video Chat แล้วส่งข้อมูลไปยัง Server ที่ถูกสร้างมาจาก WebRTC (สถานะปัจจุบันยังเป็น Localhost) แล้วทำการส่งข้อมูลไปยังหน้าจอหุ่นยนต์ปลายทาง เพื่อทำการสื่อสารกันระหว่าง User 1 และ 2 System Data …

Class Project : Control Robodog with HoloLens

System Scenario System data flow การเขียนส่งข้อมูลผ่าน UDP การส่ง command ไปหา robodog ด้วยการส่ง Byte ผ่าน Unity C# การออกแบบหน้า UI ที่แสดงผลผ่าน HoloLens การออกแบบท่าทางของมือในการนำไปควบคุม Robodog ท่าทางของมือในการส่งคำสั่งจะมีทั้งหมด 3 ท่า 1. ปลายนิ้วโป้งกับนิ้วชี้ เพื่อส่งคำสั่งให้เดินไปข้างหน้า 2.ปลายนิ้วโป้งกับนิ้วกลาง เพื่อส่งคำสั่งให้เลี้ยวซ้าย 3.ปลายนิ้วโป้งกับนิ้วนาง เพื่อส่งคำสั่งให้เลี้ยวขวา ปัญหาที่พบ สรุปผลการใช้งาน Reference …

Class Project: Master-Slave Control with force-feedback with Falcon

Master control with force-feedback with Falconจะเป็น project ที่จะทำการควบคุม object โดยการใช้ falcon haptics device ซึ่งเมื่อทำการควบคุม object นั้นๆ แล้ว หาก object เคลื่อนที่เข้าใกล้สิ่งกีดขวาง จะมีการส่งแรงมาที่ user โดย falcon haptics device จะฝืดลงเมื่อบังคับทิศทางการเคลื่อนที่ของ object ให้เข้าใกล้สิ่งกีดขวางนั้นๆ ซึ่งการควบคุมนี้จะทำการควบคุม object ที่จะถูก simulate ขึ้นมาใน computer …

UR3e teleoperation with Occulus quest2

Team member นายจรัญวัฒน์ บัวศรี 63340500005 Objective โปรเจคนี้มีจุประสงค์ในการควบคุมแขนหุ่นยนต์แบบ realtime ตามการขยับแขนของผู้ใช้ เพื่อใช้ในสถานการณ์ที่ต้องการความสามารถที่ตัดสินใจแบบมนุษย์แต่แม่นยำแบบเครื่องจักร ยกตัวอย่างเช่น การผ่าตัด การซ่อมแซมจากระยะไกลที่มนุษย์เข้าถึงไมได้ โดยการควบคุมแขนของหุ่นยนต์จะให้ผู้ใช้สวมใส่ Occulus quest 2 ซึ่งเป็นแว่น VR และควบคุมตำแหน่งและทิศทางของปลายแขนด้วยโดยใช้คอนโทลเลอ System scenario ผู้ใช้จะสวมใส่แว่น VR และรับภาพที่ stream มาจากกล้องที่ติดอยู่กับหุ่นยนต์ โดยข้อมูลที่รับส่งจากแว่น VR ไปยังหุ่นยนต์จะใช้ ROS-TCP connector เนื่องจากแว่น VR ไม่ระบบ …

Software Review: AppSheet

AppSheet เป็นแพลตฟอร์มสำหรับสร้าง Applications ซึ่งเป็น No-Code โดยไม่จำเป็นต้องมีพื้นฐานในการเขียนโค้ดและยังใช้เวลาในการสร้างไม่นาน โดยรองรับข้อมูลได้หลายแบบ เช่นข้อมูลพิกัด location, ภาพถ่าย, ลายเซ็น, เวลาปัจจุบัน, บาร์โค้ด, QRcode, Barcode, RFID และอื่น ๆ รวมถึงรองรับการทำ Automation เบื้องต้น เช่น การส่งอีเมล ,สร้างไฟล์เอกสารอัตโนมัติ หรือแม้แต่การแจ้งเตือนผ่าน Line AppSheet เหมาะกับงานแบบไหน ? App templates https://www.appsheet.com/Templates ตัวอย่างการสร้าง Applications ในการติดตามสถานะของสินค้าโดยใช้ …

Hardware Review: VIVE Tracker 2.0 (2018)

Vive Tracker เป็นอุปกรณ์ติดตามการเคลื่อนไหวแบบไร้สายสำหรับ VR เพื่อใช้ในการจับการเคลื่อนไหวของร่างกาย สามารถติดตามจุดสำคัญอย่าง ช่วงลำตัวหรือตามข้อเท้าหรือใช้เป็นเซนเซอร์ที่ใช้ติดสิ่งต่างๆ เพื่อให้กลายเป็นวัตถุในโลกเสมือนจริง Specification อุปกรณ์ภายในกล่อง รายละเอียดของ Vive Tracker How to Pair Tracker state of VIVE Tracker การติด VIVE Tracker เข้ากับอุปกรณ์เสริม หมุนให้แน่นจนกระทั่ง Vive Tracker ยึดเข้าที่อย่างแน่นหนา (Pogo Pin รองรับการเชื่อมต่อไฟฟ้าสำหรับอุปกรณ์เสริมที่ต่ออยู่ การประยุกต์ใช้งานร่วมกับอุปกรณ์ต่าง ๆ น.ส.สุภาวดี …

Software Review – EEGLAB Toolbox

What is EEGLAB Toolbox? EEGLAB เป็นเครื่องมือสำหรับการประมวลผลสัญญาณคลื่นสมองจาก EEG หรือสัญญาณกล้ามเนื้อ EMG ที่สามารถวิเคราะห์องค์ประกอบอิสระ (ICA) การวิเคราะห์เวลา/ความถี่ของสัญญาณได้ โดย EEGLAB เป็นที่นิยมอย่างมากในการใช้วิเคราะห์สัญญาณคลื่นสมองเนื่องจากตัว EEGLAB นั้นสามารถวิเคราะห์สัญญาณจากหลายแหล่งได้พร้อมกันและมี GUI interface ใน MATLAB ที่สามารถใช้งานได้ง่าย อีกทั้งตัวของ EEGLAB เองก็ยังมี feature ที่ช่วยในการวิเคราะห์สัญญาณไม่ว่าจะเป็น การทำ ICA, การแสดง Time-Frequency ของสัญญาณและการทำ Spectral analysis ของสัญญาณคลื่นสมอง …