COMPUTER VISION IMPLEMENTATION IN A HAND GESTURE-BASED INDOOR DRONE NAVIGATION SYSTEM

• Main Author: Rizky Andhira Kusumah, Adhitya
• Format: Final Project
• Language: Indonesia
• Subjects: Teknik (Rekayasa, enjinering dan kegiatan berkaitan)
• Online Access: https://digilib.itb.ac.id/gdl/view/82152
• Institution: Institut Teknologi Bandung

Permintaan drone dalam aktivitas sipil semakin meningkat selama beberapa tahun terakhir dengan penggunaan mulai dari inspeksi gudang, pembuatan film, hingga perawatan pesawat udara. Riset ini bertujuan untuk mengembangkan suatu sistem navigasi drone yang intuitif dan real-time untuk operasi dalam ruang dengan fokus pada inspeksi visual airframe pesawat udara di dalam hanggar. Sistem yang diusulkan menggunakan model Convolutional Neural Network (CNN) yang dibuat secara khusus untuk menginterpretasikan gestur tangan yang ditangkap melalui siaran video secara langsung dan menerjemahkannya menjadi perintah kendali drone. Dataset pelatihan model dibuat menggunakan rekaman video beberapa orang sukarelawan yang mendemonstrasikan gestur tangan yang telah ditentukan dan terdiri dari 1000 sampel gambar yang terbagi dalam 10 kelas gestur tangan. Model CNN yang dibuat terdiri dari lima convolutional layer serta tiga dense layer dan dilatih menggunakan dataset yang dibuat melalui platform Google Colaboratory untuk mempercepat proses pelatihan. Model tersebut mencapai akurasi sebesar 95% dengan waktu inferensi selama 23ms yang menunjukkan kemampuannya untuk aplikasi real-time. Implementasi model tersebut pada suatu sistem navigasi drone yang dikembangkan dalam Python menunjukkan performa real-time yang baik dengan latency sebesar 24ms.