Analisis Kemampuan Model Hybrid CNN-GRU dalam Memahami Dinamika Temporal Suara Burung Berbasis Audio Spectrogram

Abstract

Klasifikasi suara burung berbasis audio spectrogram umumnya mengandalkan Convolutional Neural Network (CNN) untuk mengekstraksi fitur spasial, namun pendekatan tersebut belum optimal dalam memanfaatkan informasi urutan waktu yang terkandung pada sinyal audio, padahal pola vokalisasi burung memiliki karakteristik temporal yang kompleks. Penelitian ini bertujuan menganalisis kemampuan model hybrid Convolutional Neural Network-Gated Recurrent Unit (CNN-GRU) dalam memahami dinamika temporal suara burung. Penelitian menggunakan pendekatan kuantitatif dengan metode eksperimen pada dataset 850 rekaman suara dari lima spesies burung urban Indonesia yang diperoleh dari Xeno-Canto, kemudian ditambah melalui augmentasi data menjadi 1.000 sampel untuk mengatasi ketidakseimbangan kelas. Audio diolah melalui normalisasi, resampling, penghilangan noise, dan dikonversi menjadi mel-spectrogram menggunakan Short-Time Fourier Transform (STFT) sebagai masukan model. Kemampuan model dalam memahami dinamika temporal dianalisis melalui visualisasi hidden state GRU menggunakan t-SNE serta pengujian Frame Shuffle Test. Hasil pengujian menunjukkan model memperoleh akurasi 76%, dengan precision, recall, dan F1-score masing-masing sebesar 77%, 76%, dan 76% pada data uji. Visualisasi hidden state GRU menunjukkan representasi internal model berubah secara bertahap mengikuti urutan frame, sedangkan pengacakan urutan frame menyebabkan penurunan nilai confidence dan perubahan kelas prediksi. Temuan ini membuktikan bahwa model CNN-GRU tidak hanya mengandalkan fitur spasial dari spectrogram, tetapi juga secara aktif memanfaatkan hubungan temporal antarframe dalam proses klasifikasi, sehingga integrasi GRU pada arsitektur hybrid terbukti mampu menangkap dinamika temporal suara burung secara efektif.