PENERJEMAHAN GESTUR DINAMIS SIBI MENGGUNAKAN MEDIAPIPE DAN LONG SHORT-TERM MEMORY SECARA REAL- TIME

Kurniawan, Rivano Ardiyan Taufiq (2023) PENERJEMAHAN GESTUR DINAMIS SIBI MENGGUNAKAN MEDIAPIPE DAN LONG SHORT-TERM MEMORY SECARA REAL- TIME. Other thesis, UPN "Veteran" Yogyajarta.

	Text 1. COVER.pdf Download (101kB)
	Text 2. PENGESAHAN PEMBIMBING.pdf Download (512kB)
	Text 3. PENGESAHAN PENGUJI.pdf Download (525kB)
	Text 4. ABSTRAK.pdf Download (111kB)
	Text 5. DAFTAR ISI.pdf Download (93kB)
	Text 6. DAFTAR PUSTAKA.pdf Download (108kB)
	Text 7. SKRIPSI FULL_RIVANO ARDIYAN TAUFIQ KURNIAWAN_123190084.pdf Restricted to Repository staff only Download (3MB)

Abstract

vii
ABSTRAK
Dalam kasus penerjemahan bahasa isyarat ke dalam bentuk tekstual, metode klasifikasi
Artificial Neural Network dan Convolutional Neural Network masih memiliki beberapa
kekurangan yang membuatnya kurang handal dalam menangani data yang bersifat
sequential dan dinamis. Oleh karena itu, diperlukan metode yang lebih handal untuk
menangani data sequential seperti gestur dinamis SIBI.
Penelitian ini menerapkan metode Long Short-Term Memory (LSTM) yang memiliki
arsitektur fleksibel dan dapat menyesuaikan secara dinamis untuk mengakomodasi beragam
panjang input sequence. Hal tersebut membuat LSTM handal dalam menangani data
sequential serta memungkinkan untuk diimplementasikan pada sistem yang berjalan secara
real-time. Penelitian ini menggunakan dataset gestur Sistem Isyarat Bahasa Indonesia
dengan enam kelas yang diambil langsung oleh penulis. Total 180 data asli diaugmentasi
dengan empat varian menjadi 3060 data (510 data untuk setiap kelas). Dengan framework
MediaPipe, dilakukan ekstraksi landmarks tangan dari setiap data untuk kemudian disimpan
sebagai data numerik dalam format NumPy array. Sehingga, alih-alih mengklasifikasikan
keseluruhan citra yang rawan oleh adanya background noise, klasifikasi hanya berfokus
pada landmarks yang mengindikasikan posisi tangan pada citra.
Model dibangun menggunakan tiga lapisan LSTM dan tiga lapisan Dense dengan
pembagian data sebesar 2616 untuk training, 153 untuk testing, dan 291 untuk validation.
Kombinasi ini menghasilkan nilai categorical accuracy sebesar 99.85%, loss sebesar
0.0059, dan keseluruhan nilai performance matrix sebesar 100% setelah pelatihan dengan
150 epoch.
Kata Kunci: pengenalan bahasa isyarat, SIBI, LSTM, MediaPipe, real-time
viii
ABSTRACT
In the case of sign language translation into textual form, Artificial Neural Network
and Convolutional Neural Network classification methods still have some shortcomings that
make them less reliable in handling sequential and dynamic data. Therefore, a more reliable
method is needed to handle sequential data such as SIBI dynamic gestures.
This research applies the Long Short-Term Memory (LSTM) method which has a
flexible architecture and can adjust dynamically to accommodate various input sequence
lengths. This makes LSTM reliable in handling sequential data and allows it to be
implemented in system that run in real-time. This research uses the Indonesian Sign
Language System gesture dataset with six classes taken directly by the author. A total of 180
original data were augmented with four variants into 3060 data (510 data for each class).
Using the MediaPipe framework, hand landmarks were extracted from each data and then
stored as numerical data in NumPy array format. Thus, instead of classifying the entire
image which is prone to background noise, the classification focuses only on the landmarks
that indicate the hand position in the image.
The model was built using three LSTM layers and three Dense layers with a data split
of 2616 for training, 153 for testing, and 291 for validation. This combination produces a
categorical accuracy value of 99.85%, a loss of 0.0059, and an overall performance matrix
value of 100% after training with 150 epochs.
Keywords: sign language recognition, SIBI, LSTM, MediaPipe, real-time

Item Type:	Thesis (Other)
Uncontrolled Keywords:	sign language recognition, SIBI, LSTM, MediaPipe, real-time
Subjects:	Z Bibliography. Library Science. Information Resources > ZA Information resources
Divisions:	Faculty of Engineering, Science and Mathematics > School of Engineering Sciences
Depositing User:	Eko Yuli
Date Deposited:	24 Nov 2023 02:46
Last Modified:	24 Nov 2023 02:46
URI:	http://eprints.upnyk.ac.id/id/eprint/38199

Actions (login required)

View Item