PENDEKATAN MLP DALAM KLASIFIKASI BAHASA ISYARAT: ANALISIS JARAK EUCLIDEAN LANDMARK TANGAN

Kadek Feny Sugiantari, Putu Hendra Suputra, Luh Joni Erawati Dewi, Gede Bakti Pratama Putra

Abstract


Perkembangan teknologi Computer Vision dalam Kecerdasan Buatan (AI) mendorong inovasi teknologi yang inklusif dalam komunikasi bagi penyandang disabilitas, seperti tunarungu dan tunawicara. Penelitian ini mengembangkan model klasifikasi bahasa isyarat angka SIBI, khususnya angka 0-9 yang menggunakan jarak Euclidean antar landmark tangan sebagai fitur. Proses penelitian mencakup pengumpulan data, ekstraksi landmark tangan dengan Mediapipe, ekstraksi fitur jarak Euclidean, pelatihan model dengan Multi Layer Perceptron, evaluasi, dan implementasi real-time. Hasil penelitian menunjukkan model berhasil mengklasifikasikan pose angka 0-9 dan non-pose, dengan akurasi 87.17% dan penerapan threshold pada tahap evaluasi serta implementasi real-time untuk memastikan semua input data terklasifikasi dengan tingkat kepercayaan tinggi. Hasil penelitian ini dapat menunjang proses pembelajaran bahasa isyarat SIBI bagi penyandang disabilitas.

Full Text:

PDF

References


Adeyanju, I. A., Bello, O. O., & Adegboye, M. A. (2021). Machine learning methods for sign language recognition: A critical review and analysis. Intelligent Systems with Applications, 12, 200056. https://doi.org/10.1016/j.iswa.2021.200056

Agustiani, A. D., Putri, S. M., Hidayatullah, P., & Sholahuddin, M. R. (2024). Penggunaan MediaPipe untuk Pengenalan Gesture Tangan Real-Time dalam Pengendalian Presentasi. 16(2).

Aisyah Muhammad Amin, N., Pribadi, F., & Kunci, K. (2022). Urgensi Bahasa Isyarat dalam Pendidikan Formal sebagai Media Komunikasi dan Transmisi Informasi Penyandang Disabilitas Rungu dan Wicara. Jurnal Hasil Pemikiran, Penelitian, Dan Pengembangan Keilmuan Sosiologi Pendidikan, 9(1), 77–86.

Athiroh, A. (2022). Meningkatkan Akurasi Pembacaan Bahasa Isyarat Angka Dengan Menggunakan Model Landmark Tangan dan Algoritma Thresholding. Universitas Pendidikan Indonesia. Diakses dari: https://repository.upi.edu/perpustakaan.upi.edu.

Ardiansyah, A. R., Nur’azizan, A. H., & Fernandis, R. (2024). Implementasi Deteksi Bahasa Isyarat Tangan Menggunakan OpenCV dan MediaPipe. Stains (Seminar Nasional Teknologi & Sains), 3(1), 331–337.

Arpita Halder, & Akshit Tayade. (2021). Real-time Vernacular Sign Language Recognition using MediaPipe and Machine Learning. International Journal of Research Publication and Reviews, 2(5), 9–17. www.ijrpr.com

Chen, R. C., Manongga, W. E., Dewi, C., & Chen, H. Y. (2022). Automatic Digit Hand Sign Detection With Hand Landmark. Proceedings - International Conference on Machine Learning and Cybernetics, 2022-September(September), 6–11. https://doi.org/10.1109/ICMLC56445.2022.9941325

Gulo, S. H., & Lubis, A. H. (2024). Penerapan Multi-Layer Perceptron untuk Mengklasifikasi Penduduk Kurang Mampu. Explorer, 4(2), 51–59.

Heri Pratikno, Muhammad Rifki Pratama, Yosefine Triwidyastuti, & Musayyanah. (2023). Pengenalan Gestur Jari Tangan Sebagai Media Pembelajaran Berhitung Bagi PAUD Berbasis Visi Komputer Dan Deep Learning. Journal of Computer Electronic and Telecommunication, 4(1). https://doi.org/10.52435/complete.v4i1.355

Insani, C. N., Arifin, N., & Rasyid, M. R. (2023). Deteksi Gerakan Bahasa Isyarat Menggunakan Euclidean Distance. Informatik : Jurnal Ilmu Komputer, 19(1), 99–106. https://doi.org/10.52958/iftk.v19i1.5658

Maryamah, M., Pratama, M. A., Erfit, M. R., Farhani, N. M., & Hartono, I. A. (2023). Klasifikasi Abjad SIBI (Sistem Bahasa Isyarat Indonesia) menggunakan Mediapipe dengan Metode Deep Learning. Prosiding Seminar Nasional Sains Data, 3(1), 134–141. https://doi.org/10.33005/senada.v3i1.102

Mediapipe. (2023). "Hands". Tersedia pada https://mediapipe.readthedocs.io/en/latest/solutions/hands.html (diakses tanggal 20 September 2024).

Miharja, I. A. (2024). Sistem Pembacaan Deretan Empat Angka Secara Computer Vision Melalui Deteksi Gesture Jari Tangan Menggunakan Mediapipe. Tugas Akhir, Fakultas Teknologi dan Informatika, Universitas Dinamika. Diakses dari: https://repository.dinamika.ac.id/id/eprint/7752/1/20410200016-2024-UNIVERSITASDINAMIKA.pdf.

Nautica, M. R. P. (2022). Hand Gesture Detection Sebagai Alat Bantu Ajar Berhitung Menggunakan Mediapipe dan Convolutional Neural Network Secara Realtime. Tugas Akhir, Fakultas Teknologi dan Informatika, Universitas Dinamika. Diakses dari: https://repository.dinamika.ac.id/id/eprint/6650/13/18410200038-2022-UNIVERSITAS%20DINAMIKA.pdf.

Pardede, D., Hayadi, B. H., & Iskandar. (2022). Kajian Literatur Multi Layer Perceptron Seberapa Baik Performa Algoritma Ini. Journal of Ict Aplications and System, 1(1), 23–35. https://doi.org/10.56313/jictas.v1i1.127

Rajalingam, B., Kumar, R. S., Deepan, P., Santosh Kumar Patra, P., & Bavankumar, S. (2022). A Smart System for Sign Language Recognition using Machine Learning Models. Proceedings - 2022 4th International Conference on Advances in Computing, Communication Control and Networking, ICAC3N 2022, December, 1125–1131. https://doi.org/10.1109/ICAC3N56670.2022.10074007

Wishnumurti, R. B. (2023). Deteksi Pose dan Penjumlahan Jari dari Gerakan Tangan. 13519203.




DOI: http://dx.doi.org/10.31000/jika.v9i2.13368

Article Metrics

Abstract - 518 PDF - 335

Refbacks

  • There are currently no refbacks.


Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

INDEX BY :