AUTOMATIC LIP READING BAHASA INDONESIA DENGAN METODE PEMBELAJARAN MESIN

• Main Author: Fadillah, Ivan
• Format: Final Project
• Language: Indonesia
• Online Access: https://digilib.itb.ac.id/gdl/view/51402
• Institution: Institut Teknologi Bandung

Lip reading atau membaca gerakan bibir menjadi suatu hal yang sangat penting ketika informasi yang disampaikan seseorang tidak terdengar dengan jelas. Akan tetapi, membaca gerakan bibir ini sulit untuk dilakukan bahkan oleh seorang profesional sekalipun. Hal ini dikarenakan pandangan manusia yang subjektif dan efek visual manusia terhadap pergerakan fonem-fonem yang diucapkan seseorang memiliki banyak multi tafsir atau ambigu. Oleh karena kesulitan itu, perlu dibuat model yang secara otomatis yang dapat membaca gerakan bibir (lip reading). Saat ini sudah ada beberapa penelitian model lip reading otomatis, akan tetapi model yang saat ini dibangun beberapa hanya dapat memprediksi kalimat-kalimat bahasa Inggris dan untuk penelitian bahasa Indonesia masih sedikit sekali dan masih perlu dilakukan improvement. Untuk itu, pada tugas akhir ini dilakukan peningkatan akurasi untuk model lip reading bahasa Indonesia. Pembuatan model lip reading bahasa Indonesia ini memanfaatkan sekumpulan dataset video berbahasa Indonesia yaitu dataset AVID yang diperoleh dari penelitian Maulana dan Fanany, (2017). Proses ini diawali dengan beberapa proses preprocessing seperti deteksi wajah, ekstraksi landmark wajah, melakukan alignment wajah dan pemotongan daerah bibir. Hasil pemotongan ini kemudian diekstraksi dengan Spatio Temporal Convolutional Neural Network (STCNN) untuk mendapat fitur yang siap dilatih dengan algoritma Recurrent Neural Network (RNN) dan Connectionist Temporal Classification (CTC). Dari hasil eksperimen yang telah dilakukan pada tugas akhir ini, arsitektur LipNet yang dikombinasikan dengan model correction word memberikan model lip reading bahasa Indonesia dengan performa yang paling baik yaitu dengan pencapaian Word of Error Rate (WER) sebesar 8.26 % yang dievaluasi dari dataset AVID. Evaluasi dari model tersebut memperlihatkan bahwa model yang dihasilkan memiliki performa yang lebih baik dibanding pengamatan langsung yaitu dengan pencapaian Word of Error Rate (WER) sekitar 52.98% (Maulana dan Fanany, 2017).