ANALISIS REAL-TIME DETEKSI GERAKAN BAHASA ISYARAT DI INDONESIA MENGGUNAKAN MEDIAPIPE DAN BIDIRECTIONAL GATED RECURRENT UNIT (BIGRU)

Qodri, Hazlan Muhammad (2024) ANALISIS REAL-TIME DETEKSI GERAKAN BAHASA ISYARAT DI INDONESIA MENGGUNAKAN MEDIAPIPE DAN BIDIRECTIONAL GATED RECURRENT UNIT (BIGRU). Other thesis, UPN "Veteran" Yogyakarta.

	Text Skripsi Final_Hazlan Muhammad Qodri_123190080.pdf Restricted to Repository staff only Download (175MB)
	Text Cover_123190080_Hazlan Muhammad Qodri.pdf Download (133kB)
	Text Abstrak_123190080_Hazlan Muhammad Qodri.pdf Download (123kB)
	Text Lembar Pengesahan Pembimbing_123190080_Hazlan Muhammad Qodri.pdf Download (6MB)
	Text Lembar Pengesahan Penguji_123190080_Hazlan Muhammad Qodri.pdf Download (6MB)
	Text Daftar Isi_123190080_Hazlan Muhammad Qodri.pdf Download (85kB)
	Text Daftar Pustaka_123190080_Hazlan Muhammad Qodri.pdf Download (112kB)

Abstract

Komunikasi dengan teman tuli sering kali menantang karena teman tuli menggunakan
bahasa isyarat yang sulit dipahami oleh orang yang tidak tuli. Metode klasifikasi pemrosesan
urutan gambar yang umum digunakan seperti RNN, LSTM, dan GRU dianggap berhasil
untuk identifikasi bahasa isyarat namun memiliki keterbatasan dalam efisiensi. BiGRU,
dengan pemrosesan dua arah dan arsitekturnya yang fleksibel, lebih cocok untuk menangani
data berurutan dan aplikasi waktu nyata seperti deteksi bahasa isyarat secara langsung.
Penelitian ini menggunakan dataset dari 10 kelas, termasuk kata-kata umum dari
Sekolah Luar Biasa (SLB) di Sukabumi seperti “Saya”, “Tolong”, “Kasih”, “Halo”, “Hari
Ini”, “Kamu”, “Maaf”, “Makan”, “Teman”, dan “Terima kasih”, untuk bahasa isyarat
BISINDO dan SIBI. Dengan menggunakan MediaPipe, penanda isyarat tangan diekstraksi
dan disimpan sebagai NumPy array, dengan fokus pada posisi tangan dan jari yang penting.
Untuk mencegah data leakage, akan dibagi data asli sebanyak 270 untuk pelatihan dan 30
untuk pengujian sebelum proses augmentasi yang menggunakan empat fungsi rotasi,
pembesaran, pengecilan, serta penyesuaian kecerahan dan kontras, menggandakan data asli
pelatihan yang berjumlah 270 menjadi 3510. Dari jumlah 3510 buah ini akan dibagi lagi
menjadi 3159 untuk pelatihan dan 351 untuk validasi, model dibangun dengan dua lapisan
BiGRU dan dua lapisan Dense.
Kombinasi ini menghasilkan performa proses pelatihan Bidirectional Gated Recurrent
Unit (BiGRU) dengan epoch sebesar 120 yang mempunyai nilai categorical accuracy
sebesar 99.99%, validation categorical accuracy sebesar 99,90%, dan loss sebesar 0.000004
pada BISINDO serta categorical accuracy sebesar 100%, validation categorical accuracy
sebesar 99.72%, dan loss sebesar 6.9496e-05 pada SIBI. Hal ini dibuktikan oleh hasil
pengujian sistem yang menunjukkan bahwa model BiGRU mampu mengklasifikasi gerakan
pada bahasa isyarat BISINDO dan SIBI dengan baik. Pada pengujian sistem BISINDO, hasil
menunjukkan bahwa seluruh gerakan yang diuji berhasil terdeteksi dengan rata-rata akurasi
100%. Pada pengujian sistem SIBI, hasil menunjukkan bahwa seluruh gerakan yang diuji
berhasil terdeteksi dengan rata-rata akurasi 99.93%.
Kata Kunci: BISINDO, SIBI, pendeteksian bahasa isyarat, MediaPipe, BiGRU, real-time

Item Type:	Thesis (Other)
Uncontrolled Keywords:	BISINDO, SIBI, pendeteksian bahasa isyarat, MediaPipe, BiGRU, real-time
Subjects:	H Social Sciences > H Social Sciences (General) T Technology > T Technology (General)
Divisions:	Faculty of Engineering, Science and Mathematics > School of Engineering Sciences
Depositing User:	A.Md.SI Indah Lestari Wulan Aji
Date Deposited:	23 Dec 2024 01:05
Last Modified:	23 Dec 2024 01:08
URI:	http://eprints.upnyk.ac.id/id/eprint/41891

Actions (login required)

View Item