PENGEMBANGAN METODE BI-DIRECTIONAL CROSS-ATTENTION UNTUK FUSI FITUR MULTIMODAL PADA MODEL FACE ANTI SPOOFING

Made Vidyatma Adhi Krisna, . (2025) PENGEMBANGAN METODE BI-DIRECTIONAL CROSS-ATTENTION UNTUK FUSI FITUR MULTIMODAL PADA MODEL FACE ANTI SPOOFING. Tugas Akhir thesis, Universitas Pembangunan Nasional Veteran Yogyakarta.

	Text Cover_123220038.pdf Download (394kB)
	Text Abstrak_123220038.pdf Download (401kB)
	Text Halaman Pengesahan_123220038.pdf Download (567kB)
	Text Daftar Isi_123220038.pdf Download (291kB)
	Text Daftar Pustaka_123220038.pdf Download (577kB)
	Text Fulltext_123220038.pdf Restricted to Repository staff only Download (10MB)

Abstract

Keamanan sistem pengenalan wajah semakin rentan terhadap presentation attack seperti
foto, video, dan topeng tiga dimensi, sehingga memunculkan kebutuhan mendesak terhadap
mekanisme face anti-spoofing (FAS) yang andal. Pendekatan unimodal yang hanya memanfaatkan
citra RGB terbukti kurang efektif dalam mendeteksi serangan canggih, khususnya pada kondisi
pencahayaan yang bervariasi dan serangan berkualitas tinggi. Untuk mengatasi keterbatasan ini,
penelitian ini mengusulkan metode FAS berbasis fusi multimodal dengan memanfaatkan citra
RGB, inframerah (IR), dan depth yang dikombinasikan melalui mekanisme bi-directional cross
attention. Metode ini diharapkan mampu meningkatkan pemahaman kontekstual antar-modalitas
sehingga sistem lebih robust terhadap variasi serangan dan kondisi lingkungan.
Penelitian ini dilaksanakan dengan pendekatan eksperimental dan prototyping yang
mencakup tahapan studi literatur, akuisisi dan pra-pemrosesan data, perancangan arsitektur model,
implementasi, pelatihan, dan evaluasi. Dataset yang digunakan meliputi CASIA-SURF yang
merupakan benchmark publik untuk penelitian FAS multimodal. Setiap sampel diproses melalui
tahap cropping wajah, resizing, normalisasi, serta data augmentation untuk meningkatkan
keragaman data. Ekstraksi fitur dilakukan secara independen untuk masing-masing modalitas
menggunakan Convolutional Neural Network (CNN) sebelum digabungkan melalui modul bi
directional cross-attention yang memungkinkan interaksi dua arah antar-modalitas. Proses
pelatihan dilakukan secara end-to-end dengan optimisasi AdamW, loss function berbasis binary
cross-entropy, serta mekanisme early stopping untuk mencegah overfitting.
Hasil pengujian menunjukkan bahwa metode yang diusulkan mampu mencapai performa
yang kompetitif, dengan nilai APCER sebesar 0,2291%, BPCER sebesar 0,2186%, ACER sebesar
0,2239%, dan AUC mencapai 99,99%. Evaluasi dilakukan pada skenario intra-dataset untuk
mengukur kemampuan generalisasi model, sementara analisis ablation study membuktikan
efektivitas mekanisme bi-directional cross-attention dalam meningkatkan kinerja deteksi
serangan. Kontribusi utama penelitian ini adalah pengembangan strategi fusi yang dapat
memperkuat sistem FAS multimodal terhadap berbagai jenis serangan, sekaligus memberikan
fondasi untuk integrasi ke aplikasi keamanan biometrik di dunia nyata.

Item Type:	Tugas Akhir (Tugas Akhir)
Additional Information:	Made Vidyatma Adhi Krisna (Penulis - 123220038) Dhimas Arief Dharmawan (Pembimbing)
Uncontrolled Keywords:	face anti-spoofing, multimodal fusion, bi-directional cross-attention, deep learning, biometric
Subjek:	Q Science > Q Science (General) Q Science > QA Mathematics > QA75 Electronic computers. Computer science
Divisions:	Fakultas Teknik Industri > (S1) Informatika
Depositing User:	A.Md Eko Suprapti
Date Deposited:	18 Nov 2025 02:18
Last Modified:	18 Nov 2025 02:18
URI:	http://eprints.upnyk.ac.id/id/eprint/45482

Actions (login required)

View Item