Deteksi Spoofing pada Citra Multimodal Berbasis Convolutional Neural Network dan Supervised Contrastive Learning

Aqsha Jauzaarafa' Setya Hadi, . (2026) Deteksi Spoofing pada Citra Multimodal Berbasis Convolutional Neural Network dan Supervised Contrastive Learning. Skripsi thesis, Universitas Pembangunan Nasional Veteran Yogyakarta.

	Text Cover_123220016.pdf Download (161kB)
	Text Abstrak_123220016.pdf Download (190kB)
	Text Halaman Pengesahan_123220016.pdf Download (365kB)
	Text Daftar Isi_123220016.pdf Download (289kB)
	Text Daftar Pustaka_123220016.pdf Download (213kB)
	Text Fulltext_123220016.pdf Restricted to Repository staff only Download (7MB)

Abstract

Sistem pengenalan wajah banyak dimanfaatkan sebagai metode autentikasi biometrik dalam berbagai aplikasi seperti pembayaran digital, kontrol akses, dan keamanan perangkat pintar. Namun, penggunaannya diiringi ancaman serangan spoofing, yaitu upaya pemalsuan identitas dengan menampilkan wajah tidak asli (spoof) agar dikenali sebagai wajah asli (live). Penelitian terdahulu pada deteksi spoofing wajah berbasis citra multimodal masih didominasi pendekatan loss Binary Cross-Entropy (BCE) sehingga struktur representasi fitur pada ruang embedding belum optimal. Sementara itu, penerapan Supervised Contrastive Learning (SCL) yang berpotensi menghasilkan ruang embedding lebih terstruktur masih terbatas. Oleh karena itu, penelitian ini bertujuan untuk menerapkan SCL guna meningkatkan kualitas representasi fitur dan performa sistem deteksi spoofing wajah berbasis citra multimodal.
Metode yang diusulkan menerapkan Supervised Contrastive Learning (SCL) sebagai strategi utama dalam pembelajaran representasi fitur dengan memanfaatkan arsitektur Convolutional Neural Network (CNN) berbasis ResNet-18 sebagai ekstraktor fitur pada dataset CASIA-SURF yang terdiri dari modalitas RGB, infrared (IR), dan depth. Representasi fitur dari setiap modalitas digabungkan menggunakan fusi concatenation. Pelatihan dilakukan dalam dua tahap, yaitu pembelajaran representasi menggunakan Supervised Contrastive Loss dan pelatihan downstream task menggunakan BCEWithLogits. Evaluasi dilakukan dengan membandingkan model SCL terhadap model baseline tanpa SCL menggunakan metrik APCER, BPCER, ACER, dan AUC serta dilengkapi studi ablasi.
Hasil evaluasi menunjukkan model SCL memperoleh APCER sebesar 0.28%, BPCER sebesar 0.34%, ACER sebesar 0.31%, dan AUC sebesar 0.9998, mengungguli model baseline dengan ACER sebesar 0.39%. Representasi fitur yang dihasilkan lebih terstruktur dengan minim tumpang tindih, didukung peningkatan Fisher Ratio dan between-class distance secara signifikan. Studi ablasi menunjukkan bahwa integrasi multimodal, fusi concatenation, serta konfigurasi parameter yang digunakan memberikan performa paling optimal. Dengan demikian, metode yang diusulkan efektif meningkatkan kualitas representasi fitur dan performa sistem deteksi spoofing wajah berbasis citra multimodal.

Kata Kunci: face anti-spoofing, supervised contrastive learning, citra multimodal, representasi fitur, CASIA-SURF.

Item Type:	Tugas Akhir (Skripsi)
Additional Information:	Aqsha Jauzaarafa' Setya Hadi (123220016 - Penulis) ; Dhimas Arief Dharmawan (Pembimbing)
Uncontrolled Keywords:	face anti-spoofing, supervised contrastive learning, citra multimodal, representasi fitur, CASIA-SURF
Subjek:	Q Science > QA Mathematics > QA75 Electronic computers. Computer science
Divisions:	Fakultas Teknik Industri > (S1) Informatika
Depositing User:	Indah Lestari
Date Deposited:	17 Apr 2026 09:40
Last Modified:	17 Apr 2026 09:40
URI:	http://eprints.upnyk.ac.id/id/eprint/47840

Actions (login required)

View Item