DETEKSI TIMPA GAMBAR DENGAN TEKS MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK DAN OPTICAL CHARACTER RECOGNITION
Abstract
Penyebaran disinformasi melalui manipulasi timpa gambar dengan teks semakin marak dan sulit dideteksi karena artefak visualnya yang sangat halus dan rentan tersamarkan oleh kompresi citra. Penelitian ini mengusulkan arsitektur multi-stream network multimodal untuk mendeteksi manipulasi tersebut. Kebaruan (novelty) dan kontribusi utama penelitian ini terletak pada integrasi adaptif antara analisis anomali visual tingkat piksel dan anomali tipografi menggunakan gated attention mechanism. Metode usulan menggabungkan Convolutional Neural Network (CNN) berarsitektur EfficientNet-B3 yang dipertajam Sobel filter sebagai pengekstraksi fitur visual, dengan Optical Character Recognition (OCR) berbasis EasyOCR sebagai pengekstraksi fitur statistik teks. Evaluasi terhadap dataset Real Text Manipulation (RTM) membuktikan bahwa model multimodal usulan lebih unggul dibandingkan model CNN tunggal. Pada ambang batas optimal 0,4961, model mencapai akurasi 73,18% dan F1-score 0,7959. Integrasi OCR terbukti sangat efektif menambal kelemahan deteksi visual murni dengan lonjakan tingkat recall mencapai 79,05%. Meskipun pengujian generalisasi pada dataset media sosial dan generative AI masih mengalami penurunan akibat domain gap kompresi ekstrem, integrasi CNN dan OCR secara signifikan berkontribusi meningkatkan sensitivitas deteksi manipulasi teks untuk keperluan forensik digital
References
Y. Yang, T. Davis, and M. Hindman, “Visual misinformation on Facebook,” no. December 2022, pp. 316–328, 2023.
L. Putra Surya, Mahsun, A. Sirulhaq, and Saharudin, “TINDAK PIDANA VERBAL DUNIA MAYA ( CYBER CRIME ) PADA MEDIA SOSIAL FACEBOOK : KAJIAN LINGUISTIK FORENSIK Jurnal Kreativitas Pendidikan Modern,” vol. 7, no. 3, pp. 59–81, 2025.
Komdigi, “Penanganan Konten Hoaks Tahun 2023,” J. Stud. Komun. dan Media, vol. 28, no. 2, pp. 167–182, 2024.
Komdigi, “Kominfo Klarifikasi 1.923 Konten Hoaks Sepanjang Tahun 2024.” Accessed: May 06, 2026. [Online]. Available: https://www.komdigi.go.id/berita/siaran-pers/detail/komdigi-identifikasi-1923-konten-hoaks-sepanjang-tahun-2024
M. A. I. (MAFINDO), “Laporan Pemetaan Hoaks 2023,” 2024. [Online]. Available: https://www.mafindo.or.id/
M. Zhu, M. Li, and Z. Wang, “Image tampering detection based on RDS-YOLOv5 feature enhancement transformation,” pp. 1–15, 2024.
R. Jadhav, V. Meshram, A. Bhosle, K. Patil, S. Dash, and S. Jadhav, “Explainable multilingual and multimodal fake-news detection : toward robust and trustworthy AI for combating misinformation,” no. December, pp. 1–20, 2025, doi: 10.3389/frai.2025.1690616.
Y.-Y. Bae, D.-J. Cho, and K.-H. Jung, “Enhancing Document Forgery Detection with Edge-Focused Deep Learning,” 2025, [Online]. Available: https://doi.org/10.3390/sym17081208
L. Wang, Z. Li, and W. Zhao, “Research on identity document image tampering detection based on texture understanding and multistream networks,” vol. 34, no. 4, pp. 1–21, 2025, doi: 10.1117/1.JEI.34.4.043018.
D. Luo et al., “Toward real text manipulation detection: New dataset and new solution,” Pattern Recognit., vol. 157, p. 110828, 2025, doi: https://doi.org/10.1016/j.patcog.2024.110828.
