Implementasi Fusion Multimodal RGB-NIR Berbasis Convolutional Block Attention Module (CBAM) Pada YOLOv8 Untuk Deteksi Sampah Plastik

Manuel, Jovano Dion (2026) Implementasi Fusion Multimodal RGB-NIR Berbasis Convolutional Block Attention Module (CBAM) Pada YOLOv8 Untuk Deteksi Sampah Plastik. Skripsi thesis, UPN Veteran Yogyakarta.

	Text 123220103_Cover - Jovano Dion Manuel.pdf Download (148kB)
	Text 123220103_Abstrak - Jovano Dion Manuel.pdf Download (202kB)
	Text 123220103_Halaman Pengesahan - Jovano Dion Manuel.pdf Download (777kB)
	Text 123220103_Daftar Isi - Jovano Dion Manuel.pdf Download (258kB)
	Text 123220103_Daftar Pustaka - Jovano Dion Manuel.pdf Download (181kB)
	Text 123220103_Fulltext - Jovano Dion Manuel.pdf Restricted to Repository staff only Download (3MB)

Abstract

Pemilahan sampah plastik pada fasilitas daur ulang menghadapi tantangan besar pada tahap klasifikasi jenis polimer seperti PET, HDPE, PVC, dan PP akibat kemiripan visual yang tinggi dari segi warna, bentuk, dan tekstur permukaan objek. Kondisi tersebut menyebabkan objek sulit dibedakan secara konsisten oleh mata manusia maupun model deteksi berbasis citra RGB konvensional. Arsitektur deteksi standar seperti YOLOv8 belum secara eksplisit memanfaatkan mekanisme atensi untuk memfokuskan representasi fitur pada area yang relevan, sehingga rentan terhadap kesalahan klasifikasi pada polimer sejenis. Permasalahan tersebut mendorong penelitian mengenai penerapan fusi berbasis atensi pada YOLOv8 dalam mengintegrasikan data multimodal RGB dan Near-Infrared (NIR) untuk meningkatkan kinerja klasifikasi sampah plastik.
Penelitian eksperimental ini menggunakan data sekunder berupa pasangan citra RGB dan NIR sampah plastik yang mencakup sepuluh kategori polimer dengan anotasi bounding box. Tahap pra-pemrosesan data meliputi konversi format anotasi COCO ke YOLO, penyeragaman dimensi citra melalui interpolasi bilinear, serta augmentasi data menggunakan teknik mosaic dan mixup secara daring selama pelatihan. Metode pengembangan sistem dilakukan dengan merancang arsitektur FusedYOLOv8, yaitu modifikasi YOLOv8 menggunakan dual-stream backbone secara paralel. Fitur kedua modalitas digabungkan melalui fusi pada level P3, P4, dan P5 menggunakan modul Convolutional Block Attention Module (CBAM) untuk memperkuat selektivitas fitur secara kanal dan spasial. Model dilatih selama 50 epoch menggunakan optimizer AdamW, kemudian dievaluasi menggunakan metrik precision, recall, F1-score, dan mAP, disertai studi ablasi.
Hasil pengujian menunjukkan model FusedYOLOv8 memperoleh nilai mAP@0.5 sebesar 0,9148, mAP@0.5:0.95 sebesar 0,8930, dan F1-score sebesar 0,9093. Hasil ini lebih tinggi dibanding model berbasis RGB saja dengan mAP@0.5 tertinggi 0,7531 maupun NIR saja dengan mAP@0.5 tertinggi 0,6783. Temuan ini menjawab permasalahan penelitian bahwa integrasi data multimodal RGB dan NIR memberikan informasi komplementer, di mana karakteristik spasial RGB dan spektral NIR secara bersama-sama meminimalkan kesalahan klasifikasi pada polimer yang identik secara visual. Kontribusi penelitian ini adalah desain modifikasi arsitektur fusi dual-stream YOLOv8 berbasis atensi CBAM untuk mengoptimalkan ekstraksi fitur multimodal. Evaluasi model menunjukkan keandalan yang cukup baik dengan nilai precision sebesar 0,8593 dan recall sebesar 0,9196, meskipun masih terdapat batasan berupa kesalahan klasifikasi minor pada kategori Trans_bottle dengan PPC dan PS.

Item Type:	Tugas Akhir (Skripsi)
Uncontrolled Keywords:	Deteksi Objek, YOLOv8, Fusi Multimodal, RGB-NIR, CBAM
Subjek:	Q Science > QA Mathematics > QA75 Electronic computers. Computer science
Divisions:	Fakultas Teknik Industri > (S1) Informatika
Depositing User:	UPA Perpustakaan
Date Deposited:	15 Oct 2026 03:41
Last Modified:	15 Oct 2026 03:41
URI:	http://eprints.upnyk.ac.id/id/eprint/49918

Actions (login required)

View Item