IMAGE CAPTIONING PADA DIBETIC FOOT ULCER MENGGUNAKAN MODEL VGG16 DAN BIDIRECTIONAL LONG SHORT TERM MEMORY
DOI:
https://doi.org/10.70248/jrsit.v2i3.1899Abstract
Penelitian ini bertujuan untuk mengembangkan sistem image captioning yang mampu mendeskripsikan gambar luka Diabetic Foot Ulcer (DFU) secara akurat dengan mengombinasikan metode VGG16 dan Bidirectional Long Short Term Memory (BiLSTM). Data gambar DFU dikumpulkan dari platform Kaggle, sementara data caption diperoleh melalui diskusi dengan ahli medis dari Fakultas Kedokteran Universitas Islam Sultan Agung, Semarang. Data gambar diproses melalui tahapan resize dan normalisasi, sedangkan data teks mengalami proses lowercasing, penghapusan karakter non-alfabet, serta penambahan token startseq dan endseq sebelum dilakukan tokenisasi dan padding. VGG16 digunakan sebagai model ekstraksi fitur visual karena kemampuannya dalam menangkap karakteristik gambar secara mendalam, sementara BiLSTM dipilih untuk mengolah teks caption guna memahami konteks secara dua arah. Model dievaluasi menggunakan metrik BLEU guna mengukur kesesuaian antara caption yang dihasilkan dengan referensi ahli. Hasil penelitian menunjukkan bahwa kombinasi VGG16 dan BiLSTM menghasilkan caption yang lebih akurat dibandingkan metode lainnya, dengan skor BLEU yang menunjukkan peningkatan kualitas deskripsi luka DFU. Dengan pendekatan ini, sistem yang dikembangkan berpotensi menjadi alat bantu dalam diagnosis dan dokumentasi medis luka DFU secara otomatis dan efisien.
Kata Kunci: Image Captioning, VGG16, BiLSTM, Diabetic Foot Ulcer, BLEU Score
References
Agustari, F., Novitasari, D., & Sembayang, S. M. (2022). Pencegahan Komplikasi Kaki Diabetik Melalui Edukasi Perawatan Kaki Pada Penderita Diabetes Melitus Tipe 2. Jurnal Pengabdian Kepada Masyarakat (JPKM) - Aphelion, 4(Desember), 603–608.
Agustina, R., Magdalena, R., & Pratiwi, N. K. C. (2022). Klasifikasi Kanker Kulit menggunakan Metode Convolutional Neural Network dengan Arsitektur VGG-16. ELKOMIKA: Jurnal Teknik Energi Elektrik, Teknik Telekomunikasi, & Teknik Elektronika, 10(2), 446. https://doi.org/10.26760/elkomika.v10i2.446
Alghifari, D. R., Edi, M., & Firmansyah, L. (2022). Implementasi Bidirectional LSTM untuk Analisis Sentimen Terhadap Layanan Grab Indonesia. Jurnal Manajemen Informatika (JAMIKA), 12(2), 89–99. https://doi.org/10.34010/jamika.v12i2.7764
Farhan, N. M., & Setiaji, B. (2023). Indonesian Journal of Computer Science. Indonesian Journal of Computer Science, 12(2), 284–301.
Ferani, C., #1, K., Ratri, R., Wardani, S., & Kom, M. T. (2022). Penerapan VGG16 untuk Klasifikasi Pneumonia pada Citra X-ray. Institut Teknologi Harapan Bangsa.
Ge, K., & Han, Q. B. (2024). Hidden code vulnerability detection: A study of the Graph-BiLSTM algorithm. Information and Software Technology, 175(March 2024). https://doi.org/10.1016/j.infsof.2024.107544
Lan, W., Tao, Y., Liang, B., Zhu, R., Wei, Y., & Shen, B. (2024). Shear wave velocity prediction based on bayesian-optimized multi-head attention mechanism and CNN-BiLSTM. Computers and Geosciences, 195(November 2024), 105787. https://doi.org/10.1016/j.cageo.2024.105787
Noorizki, A. Z., & Kusumawati, W. I. (2023). Perbandingan Performa Algoritma VGG16 Dan VGG19 Melalui Metode CNN Untuk Klasifikasi Varietas Beras. Journal of Computer, Electronic, and Telecommunication, 4(2). https://doi.org/10.52435/complete.v4i2.387
Nugroho, K. S., Akbar, I., Suksmawati, A. N., & Istiadi. (2023). Deteksi Depresi dan Kecemasan Pengguna Twitter Menggunakan Bidirectional LSTM. Ciastech, 287–296.
Pratiwi, V. R., & Pardede, J. (2022). Image Captioning Menggunakan Metode Inception-V3 dan Transformer. Prosiding Diseminasi FTI, 1–14.
Raharjo, B. (2022). Deep Learning dengan Python.
Rif’at, I. D., Hasneli N, Y., & Indriati, G. (2023). Gambaran Komplikasi Diabetes Melitus Pada Penderita Diabetes Melitus. Jurnal Keperawatan Profesional, 11(1), 52–69. https://doi.org/10.33650/jkp.v11i1.5540
Rolangon, A., Weku, A., & Sandag, G. A. (2023). Perbandingan Algoritma LSTM Untuk Analisis Sentimen Pengguna Twitter Terhadap Layanan Rumah Sakit Saat Pandemi Covid-19. TeIKa, 13(01), 31–40. https://doi.org/10.36342/teika.v13i01.3063
Said, M., Haskas, Y., & Restika, I. (2024). Hubungan Perilaku Pencarian Pengobatan dan Perawatan Kaki Terhadap Resiko Ulkus Kaki Diabetes. JIMPK : Jurnal Ilmiah Mahasiswa & Penelitian Keperawatan, 4(1), 3.
Satria, M. R., & Pardede, J. (2022). Image Captioning Menggunakan Metode ResNet50 Dan Long Short-Term Memory. Jurnal Tera, 2(2), 84–94.
Supirman, S., Lubis, C., Yuliarto, D., & Perdana, N. J. (2023). Klasifikasi Penyakit Kulit Menggunakan Convolutional Neural Network (Cnn) Dengan Arsitektur Vgg16. Simtek : Jurnal Sistem Informasi Dan Teknik Komputer, 8(1), 135–140. https://doi.org/10.51876/simtek.v8i1.217
Taufiqur, A., & Hatta, D. (2022). Image Captioning For Mobile Application. Automata, 3(2), 1–8.
Vitniawati, V., Rahayu, S. M., & Tambunan, I. (2023). Analysis of Risk Factors of Diabetic Foot Ulcer in Diabetes Mellitus Patients. Jurnal Ilmu Keperawatan Dan Kebidanan, 14(2), 458–463. https://doi.org/10.26751/jikk.v14i2.2051
Wang, X., Yuan, C.-X., Xu, B., & Yu, Z. (2022). Diabetic foot ulcers: Classification, risk factors and management. World Journal of Diabetes, 13(12), 1049–1065. https://doi.org/10.4239/wjd.v13.i12.1049
Widi Wiguna, C., Dedy Irawan, J., & Orisa, M. (2023). Penerapan Metode Convolutional Neural Network Pada Aplikasi Deteksi Wajah Buronan Berbasis Web. JATI (Jurnal Mahasiswa Teknik Informatika), 6(2), 1051–1058. https://doi.org/10.36040/jati.v6i2.5438
