IMPLEMENTASI METODE EKSTRAKSI KEY POINT COORDINATE PADA PENGENALAN BAHASA ISYARAT MENGGUNAKAN MULTI-LAYER PERCEPTRON

Andikha, Muhammad Fajar (2024) IMPLEMENTASI METODE EKSTRAKSI KEY POINT COORDINATE PADA PENGENALAN BAHASA ISYARAT MENGGUNAKAN MULTI-LAYER PERCEPTRON. Other thesis, UPN "Veteran" Yogyakarta.

	Text SKRIPSI_MUHAMMAD FAJAR ANDIKHA_123200054.pdf Restricted to Repository staff only Download (13MB)
	Text ABSTRAK.pdf Download (241kB)
	Text COVER.pdf Download (309kB)
	Text LEMBAR PENGESAHAN PEMBIMBING.pdf Download (415kB)
	Text LEMBAR PENGESAHAN PENGUJI.pdf Download (426kB)
	Text DAFTAR ISI.pdf Download (612kB)
	Text DAFTAR PUSTAKA.pdf Download (341kB)

Abstract

Bahasa isyarat tangan merupakan salah satu bentuk komunikasi yang digunakan oleh
kaum tunarungu dan tunawicara, namun keterbatasan pemahaman masyarakat umum sering
kali menyebabkan diskriminasi terhadap penyandang disabilitas. Untuk mengatasi masalah
ini, penelitian ini bertujuan mengembangkan alat penerjemah bahasa isyarat menggunakan
teknologi vision-based hand gesture recognition berbasis pengenalan static gesture dan
dynamic gesture dengan menerapkan metode ekstraksi key point coordinates. Teknologi ini
diharapkan mampu mengatasi kekurangan pada metode sebelumnya yang membutuhkan
perangkat keras khusus dan mahal.
Metodologi penelitian ini meliputi beberapa tahap. Pertama, pengumpulan data
dilakukan melalui koordinat titik kunci (key point coordinates) menggunakan MediaPipe.
Selanjutnya, data diproses melalui beberapa tahapan pre-processing, seperti convert to
relative coordinates, convert to one-dimensional list, normalize value, serta data splitting
untuk pelatihan dan pengujian. Model Multi-layer Perceptron (MLP) kemudian dilatih
dengan data yang sudah diproses, dan dievaluasi menggunakan metrik performa seperti
accuracy, precision, dan recall.
Hasil evaluasi menunjukkan bahwa model MLP memiliki akurasi yang tinggi dalam
mendeteksi bahasa isyarat, baik pada static gesture maupun dynamic gesture dengan
mengimplementasikan metode ekstraksi key point coordinates. Pada model static gesutre,
accuracy keseluruhan mencapai 0,98, dengan sebagian besar kelas memiliki nilai precision
sebesar 1,00 dan recall tertinggi sebesar 1,00, serta recall terendah sebesar 0,91. Sementara
itu, untuk dynamic gesture, accuracy mencapai 0,98. Nilai precision tertinggi pada kelas 'j'
dan 'z' dengan nilai 0,99. Kemudian, nilai recall, kelas 'stop' memiliki nilai tertinggi yaitu
1,00, diikuti kelas 'j' sebesar 0,99, dan kelas 'z' sebesar 0,96.
Kata Kunci: Computer Vision, Hand Gesture Recognition, Multi-layer Perceptron, Key
Point Coordinates, MediaPipe

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Computer Vision, Hand Gesture Recognition, Multi-layer Perceptron, Key Point Coordinates, MediaPipe
Subjects:	H Social Sciences > H Social Sciences (General)
Divisions:	Faculty of Engineering, Science and Mathematics > School of Engineering Sciences
Depositing User:	A.Md.SI Indah Lestari Wulan Aji
Date Deposited:	08 Nov 2024 06:13
Last Modified:	08 Nov 2024 06:21
URI:	http://eprints.upnyk.ac.id/id/eprint/41603

Actions (login required)

View Item