Perbandingan Model BERT pada Analisis Sentimen Data Tweet Indonesia Mengenai Sirkuit Internasional Mandalika

Abstract

Sirkuit Internasional Mandalika menjadi topik yang populer dibicarakan masyarakat Indonesia pada awal tahun 2022 karena menjadi salah satu tuan rumah untuk pegelaran kompetisi internasional MotoGP 2022. Kehadiran kompetisi balap motor kelas dunia ini memunculkan berbagai opini masyarakat Indonesia tentang Sirkuit Internasional Mandalika melalui platform Twitter yang dapat dijadikan sebagai sumber data untuk penelitian analisis sentimen pada data teks berbahasa Indonesia. Model transformers yang populer saat ini, yakni mBERT, IndoBERT, dan IndoBERTweet mampu memberikan nilai performa baik yang berpotensial untuk meningkatkan hasil kinerja dari penelitian sebelumnya namun masih jarang ditemukan penelitian analisis sentimen dengan topik ini yang membandingkan ketiga model tersebut. Oleh karena itu, penelitian ini mengusulkan melakukan perbandingan kinerja ketiga model tersebut menggunakan dataset penelitian sebelumnya dengan eksperimen pada hyperparameter dari penerapan fine-tuning yang bertujuan untuk menemukan model terbaik berdasarkan nilai akurasi. Model IndoBERT dengan rasio pembagian data 90:10, epoch 5, dan batch size 16 menjadi model yang memberikan hasil kinerja terbaik berupa nilai accuracy sebesar 82.23?ngan nilai precision pada kelas positif 81.05?n pada kelas negatif 83.58%, nilai recall pada kelas positif 84.93?n pada kelas negatif 79.43%, nilai f1-score pada kelas positif 82.94?n pada kelas negatif 81.45?serta nilai R2 sebesar 28.90%.

Kata Kunci: Analisis Sentimen, Sirkuit Internasional Mandalika, Transformers.