Implementasi Algoritma Faster Region-Based Convolutional Neural Network (Faster R-CNN) untuk Deteksi Citra Tarian Baksa Kembang

Abstract

Perkembangan pada bidang kecerdasan buatan memunculkan disiplin ilmu yang memungkinkan komputer untuk mengenali, mengamati dan observasi pada suatu objek yang disebut dengan bidang computer vision. Object detection/deteksi objek adalah penerapan dari computer vision yang populer karena kemampuannya untuk meniru kemampuan mata manusia dalam memahami objek yang dilihatnya. Algoritma CNN yang populer dalam computer vision telah dikembangkan berupa algoritma Faster R-CNN yang dapat digunakan untuk pendeteksian objek dengan lebih cepat. Penelitian ini berfokus pada implementasi Algoritma Faster R-CNN pada bidang kebudayaan berkhusus pada tari baksa kembang, tarian penyambutan tamu khas Kalimantan Selatan. Model yang dibangun menggunakan data dari ekstraksi frame video tari tradisional Indonesia yang dikumpulkan dan dilabeli untuk dapat ditraining. Untuk membentuk model dengan performa yang terbaik, dilakukan pengujian indikator yang akan mempengaruhi performa model. Pengujian indikator memuat pengujian pembagian data, epoch, learning rate, pemilihan arsitektur, dan juga jumlah step. Model yang dibangun dengan indikator terbaik akan diterapkan dalam pengujian Confusion Matrix. Model Faster R-CNN dengan arsitektur Resnet 152, pembagian data 80% training dan 20% testing, learning rate 0,002, epoch 1000, dan step 30000 menghasilkan model yang paling optimal dari model dengan indikator lainnya yang diuji pada penelitian ini. Model mendapatkan AP (Average Precision) sebesar 58%, AP.50 sebesar 98%, dan AP.75 sebesar 64%. Model yang sama menghasilkan Box Classifier Localization loss sebesar 0,117 dan Box Classifier Classification Loss 0,118. Model yang diuji dengan confusion matrix mendapatkan rata-rata Recall sebesar 86,718%, Precision 82,317%, Accuracy sebesar 89,091%, dan Specificity sebesar 91,398%. Durasi pendeteksian membutuhkan waktu rata-rata 8,48 detik.