KLASIFIKASI CITRA TANAMAN RIMPANG BERKHASIAT OBAT MENGGUNAKAN METODE HYBRID RESNET-50 DAN VISION TRANSFORMER (ViT-B/16)
DOI:
https://doi.org/10.70248/jcsit.v3i4.4682Abstract
Tanaman rimpang berkhasiat obat merupakan bagian penting dari kekayaan hayati Indonesia yang dimanfaatkan sebagai bahan pangan sekaligus obat tradisional. Namun, identifikasi jenis tanaman rimpang masih menjadi tantangan karena banyak kelas memiliki karakteristik visual yang sangat mirip sehingga menimbulkan tingkat kemiripan antar kelas (inter-class similarity) yang tinggi. Penelitian ini mengusulkan model klasifikasi citra digital menggunakan arsitektur Hybrid ResNet-50 dan Vision Transformer (ViT-B/16) untuk menggabungkan representasi fitur lokal dan fitur global dalam proses identifikasi tanaman rimpang. Dataset penelitian terdiri atas 5.507 citra digital yang mewakili 10 kelas tanaman rimpang. Tahap praproses meliputi resize citra menjadi 224 × 224 piksel, normalisasi piksel, augmentasi data, serta pembagian dataset menjadi 70% data training, 15% data validation, dan 15% data testing. Model dilatih menggunakan optimizer AdamW dan fungsi loss CrossEntropyLoss. Hasil pengujian menunjukkan bahwa model Hybrid ResNet-50 dan Vision Transformer memperoleh akurasi sebesar 98,06% pada data testing dengan 809 citra berhasil diklasifikasikan dengan benar dan 16 citra mengalami kesalahan klasifikasi dari total 825 citra uji. Evaluasi dilakukan menggunakan metrik Accuracy, Precision, Recall, F1-Score, dan Confusion Matrix.Hasil penelitian menunjukkan bahwa kombinasi ResNet-50 dan Vision Transformer mampu meningkatkan kemampuan model dalam membedakan tanaman rimpang yang memiliki kemiripan tekstur, bentuk, dan warna. Model kemudian diimplementasikan pada aplikasi web RIMPANGAI sebagai media identifikasi tanaman rimpang dan penyedia informasi mengenai khasiat serta cara pengolahannya
References
Ahmad, G., Alfarisy, F., Kalinaki, K., Malik, O. A., Putra, R. K., Nuryono, A. A., Alfarisy, G. A. F., Kalinaki, K., Malik, O. A., Putra, R. K., & Nuryono, A. A. (2025). Open Plant Species Recognition Using Vision Transformer Network and Top-K Logit Disparity Score "Open Plant Species Recognition Using Vision Transformer Network and Top-K Logit Disparity Score. Innovative Informatics and Artificial Intelligence Research (IIAIR), 1(1), 12–18.
Algiffary, A., & Sutabri, T. (2023). Indonesian Journal of Computer Science. Indonesian Journal of Computer Science, 12(2), 284–301. http://ijcs.stmikindonesia.ac.id/ijcs/index.php/ijcs/article/view/3135
Ario, M., Rahadianto, E., Sejati, P. W., Fauzi, A. I., Atmojo, T., Widayanti, T., & Yudanegara, R. A. (2026). Klasifikasi Tanaman menggunakan Metode Deep Learning Residual Network ( ResNet ) Berbasis Data Time Series Penginderaan Jauh di Desa Girimulyo , Lampung Timur. 15(1), 70–78.
Bagus Baihaqi, M., Litanianda, Y., & Triyanto, A. (2022). Pada Teachable Untuk Identifikasi Tanaman Aglonema Berbasis Android. Komputek, 70–80. http://studentjournal.umpo.ac.id/index.php/komputek
Darmatasia, & H, M. H. (2025). Model Efisien Berbasis Mobile Vision Transformer (Mobilevit) Untuk Klasifikasi Jenis Tanah Dari Citra. Jurnal INSTEK (Informatika Sains Dan Teknologi), 10(2), 518–533. https://doi.org/10.24252/instek.v10i2.61891
Day, N., Mahardika, G., Ramadhana, F., & Eva Yulia Puspaningrum. (2025). Klasifikasi Penyakit Daun Cabai Menggunakan Vision Transformer. Prosiding Seminar Nasional Informatika Bela Negara, 5(1), 131–135. https://doi.org/10.33005/santika.v5i1.751
Deep, I., Untuk, L., Citra, K., Menggunakan, U., Convolutional, A., & Network, N. (2021). Journal of dinda. 1(2), 52–62.
DESTIAWAN, S. (2024). Identifikasi Jenis-Jenis Kayu Menggunakan Convolutional Neural Network Dengan Arsitektur Resnet-50. 10(1), 1341–1346.
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). an Image Is Worth 16X16 Words: Transformers for Image Recognition At Scale. ICLR 2021 - 9th International Conference on Learning Representations.
Fadhil Elrizanda. (2024). Exploring Residual Networks (ResNet): A Breakthrough in Deep Learning. 2017, 256. https://elrizanda.hashnode.dev/exploring-residual-networks-resnet-a-breakthrough-in-deep-learning
Fadhila, A., Mabe Parenreng, M., Teknik Elektro, J., & Negeri Ujung Pandang, P. (2023). Pengenalan Tanaman Herbal Daun Merica dan Daun Sirih Menggunakan Metode Convolutional Neural Network (CNN). Prosiding Seminar Nasional Teknik Elektro Dan Informatika (SNTEI), 9(1), 109–113.
Grace, S. J., & Gunawan, D. (2025). Perbandingan Cnn, Resnet50, Dan Vision Transformer Untuk Klasifikasi Kanker Payudara Berbasis Web. Rabit : Jurnal Teknologi Dan Sistem Informasi Univrab, 10(2), 945–956. https://doi.org/10.36341/rabit.v10i2.6420
Hasbi, A., & Tumanggor, B. (2026). Implementation of the Vision Transformer ( ViT ) Method in Soil Type Classification. 5(1), 574–583.
Imaduddin, Z. (2015). Aplikasi Mobile Untuk Deteksi Dan Klasifikasi Daun Secara Real Time. Jurnal Teknologi Terpadu, 1(1). https://doi.org/10.54914/jtt.v1i1.33
Kamilia Zulfiani, H., Sucipto, S., & Abdullah, A. (2025). Identifikasi Daun Herbal Untuk Tanaman Obat Menggunakan Metode Convolutional Neural Network (Cnn). JATI (Jurnal Mahasiswa Teknik Informatika), 9(6), 10429–10435. https://doi.org/10.36040/jati.v9i6.16481
Pujiati, R., & Rochmawati, N. (2022). Identifikasi Citra Daun Tanaman Herbal Menggunakan Metode Convolutional Neural Network (CNN). Journal of Informatics and Computer Science (JINACS), 3(03), 351–357. https://doi.org/10.26740/jinacs.v3n03.p351-357
Rahayu, M. I., Jaenal, R., & Risyandi, M. H. (2023). Identifikasi Tanaman Obat Herbal Berbasis Citra. Jurnal Teknologi Informasi Dan Komunikasi, 12(2), 57–63. https://doi.org/10.58761/jurtikstmikbandung.v12i2.5763
Setiawan, H., Kurniabudi, Sharipuddin, & Gunardi. (2026). Perancangan Aplikasi Computer Vision Berbasis Convolutional Neural Network Untuk Deteksi Kematangan Kelapa Sawit. Jurnal Informatika Dan Rekayasa Komputer(JAKAKOM), 6(1), 1890–1900. https://doi.org/10.33998/jakakom.2026.6.1.2568
Setiyono, B., Arif, M. R., Aini, Q. Q., Soegianto, T. H., Ohanna, J., Gunawan, R. A. F., & Rizkia, A. P. (2023). Identifikasi Tanaman Obat Indonesia Melalui Citra Daun Menggunakan Metode Convolutional Neural Network (CNN). Jurnal Teknologi Informasi Dan Ilmu Komputer, 10(2), 385–392. https://doi.org/10.25126/jtiik.20236809
Sugiartawan, P., Ayu, I. D., Murdhani, S., Ayu, P., & Putu, G. (2025). Classification of Moringa Leaf Quality Using Vision Transformer ( ViT ). 7(June), 128–136.
