IMPLEMENTASI FINE-TUNING PARTIAL FREEZE DAN FOCAL LOSS PADA MODEL VISION TRANSFORMER UNTUK DETEKSI CITRA BURUNG AI-GENERATED

Nathaleon, Ranggainaya Dian Kuncoro (2026) IMPLEMENTASI FINE-TUNING PARTIAL FREEZE DAN FOCAL LOSS PADA MODEL VISION TRANSFORMER UNTUK DETEKSI CITRA BURUNG AI-GENERATED. Skripsi thesis, UPN Veteran Yogyakarta.

[thumbnail of 123220015_Cover - Nathaleon Kuncoro (Leon).pdf] Text
123220015_Cover - Nathaleon Kuncoro (Leon).pdf

Download (156kB)
[thumbnail of 123220015_Abstrak - Nathaleon Kuncoro (Leon).pdf] Text
123220015_Abstrak - Nathaleon Kuncoro (Leon).pdf

Download (181kB)
[thumbnail of 123220015_Halaman Pengesahan - Nathaleon Kuncoro (Leon).pdf] Text
123220015_Halaman Pengesahan - Nathaleon Kuncoro (Leon).pdf

Download (255kB)
[thumbnail of 123220015_Daftar Isi - Nathaleon Kuncoro (Leon).pdf] Text
123220015_Daftar Isi - Nathaleon Kuncoro (Leon).pdf

Download (269kB)
[thumbnail of 123220015_Daftar Pustaka - Nathaleon Kuncoro (Leon).pdf] Text
123220015_Daftar Pustaka - Nathaleon Kuncoro (Leon).pdf

Download (192kB)
[thumbnail of 123220015_Fulltext - Nathaleon Kuncoro (Leon).pdf] Text
123220015_Fulltext - Nathaleon Kuncoro (Leon).pdf
Restricted to Repository staff only

Download (4MB)
Official URL: https://upnyk.ac.id/

Abstract

Perkembangan pesat teknologi Generative AI telah memunculkan tantangan serius terhadap integritas media digital. Model generatif seperti Stable Diffusion, BigGAN, dan VQ-Diffusion kini mampu menghasilkan citra sintetis dengan tingkat fotorealisme tinggi sehingga sulit dibedakan dari citra asli, bahkan oleh manusia. Penelitian ini mengusulkan pendekatan deteksi citra kecerdasan buatan (AI) berbasis Vision Transformer ViT-Base/16 dengan strategi fine-tuning berupa partial freezing dan Focal Loss pada domain spesifik citra burung. Penelitian dirancang dalam bentuk studi ablasi dengan enam konfigurasi: full fine-tuning dengan Cross-Entropy Loss sebagai baseline , tiga variasi partial freezing dengan pembekuan 4, 6, dan 8 blok transformer, full fine-tuning dengan Focal Loss , serta kombinasi partial freezing terbaik dan Focal Loss. Dataset yang digunakan adalah Unbiased Tiny GenImage (23.328 citra, 8 sumber) untuk konteks data umum, dan dataset citra burung (11.314 citra; ImageNet, Stable Diffusion, BigGAN, VQ-Diffusion) untuk konteks data spesifik dengan pembagian 70:15:15.
Evaluasi dilakukan dalam empat skenario: (1) model umum diuji pada data GenImage umum, (2) model umum diuji pada seluruh data burung, (3) model umum diuji pada split uji stratified data burung, dan (4) model baru yang dilatih khusus pada data burung diuji pada split uji yang sama. Hasil Skenario 1 dan 1.1 menunjukkan keterbatasan generalisasi model umum pada domain spesifik dengan akurasi sekitar 53%, mengonfirmasi bahwa representasi fitur umum tidak cukup untuk deteksi lintas domain. Skenario 2 membuktikan bahwa fine-tuning berbasis data spesifik secara signifikan meningkatkan performa; konfigurasi S3 (Focal Loss Only) mencapai akurasi tertinggi sebesar 98,65% dan F1-Macro 98,64% dengan jumlah kesalahan hanya 23 dari 1.698 data uji.
Analisis per-generator menunjukkan bahwa VQ-Diffusion merupakan generator paling sulit dideteksi ( recall 0,9231), sementara Stable Diffusion dan BigGAN dapat dideteksi denganbaik. Hasil juga menunjukkan bahwa partial freezing berkorelasi negatif dengan performa pada domain spesifik, bertentangan dengan hipotesis awal karena ukuran data latih yang memadai memungkinkan full fine-tuning berjalan optimal. Focal Loss terbukti efektif meningkatkan recall kelas AI tanpa mengorbankan precision, terutama pada sampel yang sulit dideteksi.

Item Type: Tugas Akhir (Skripsi)
Uncontrolled Keywords: citra kecerdasan buatan generatif, Vision Transformer, partial freezing, Focal Loss, deteksi citra AI, domain spesifik, fine-tuning
Subjek: Q Science > QA Mathematics > QA75 Electronic computers. Computer science
Divisions: Fakultas Teknik Industri > (S1) Informatika
Depositing User: UPA Perpustakaan
Date Deposited: 13 Nov 2026 07:29
Last Modified: 13 Nov 2026 07:29
URI: http://eprints.upnyk.ac.id/id/eprint/50467

Actions (login required)

View Item View Item