EVALUASI PENGARUH TEKNIK SAMPLING GENERASI TEKS TERHADAP PERFORMA DAN ROBUSTNESS MODEL ROBERTA DALAM DETEKSI ULASAN PALSU PADA SKENARIO CROSS-DATASET

RAHMAT, SYARIF HIDAYATULLAH (2026) EVALUASI PENGARUH TEKNIK SAMPLING GENERASI TEKS TERHADAP PERFORMA DAN ROBUSTNESS MODEL ROBERTA DALAM DETEKSI ULASAN PALSU PADA SKENARIO CROSS-DATASET. Skripsi thesis, UPN Veteran Yogyakarta.

[thumbnail of 123220118_Cover - Syarief Hidayat.pdf] Text
123220118_Cover - Syarief Hidayat.pdf

Download (147kB)
[thumbnail of 123220118_Abstrak - Syarief Hidayat.pdf] Text
123220118_Abstrak - Syarief Hidayat.pdf

Download (127kB)
[thumbnail of 123220118_Halaman Pengesahan - Syarief Hidayat.pdf] Text
123220118_Halaman Pengesahan - Syarief Hidayat.pdf

Download (154kB)
[thumbnail of 123220118_Daftar Isi - Syarief Hidayat.pdf] Text
123220118_Daftar Isi - Syarief Hidayat.pdf

Download (223kB)
[thumbnail of 123220118_Daftar Pustaka - Syarief Hidayat.pdf] Text
123220118_Daftar Pustaka - Syarief Hidayat.pdf

Download (198kB)
[thumbnail of 123220118_Fulltext - Syarief Hidayat.pdf] Text
123220118_Fulltext - Syarief Hidayat.pdf
Restricted to Repository staff only

Download (7MB)
Official URL: https://www.upnyk.ac.id/

Abstract

Ulasan pelanggan merupakan salah satu komponen penting dalam ekosistem e-commerce yang berperan dalam membantu konsumen mengambil keputusan pembelian. Namun, meningkatnya jumlah ulasan palsu (fake reviews) menjadi permasalahan serius karena dapat menyesatkan konsumen serta menurunkan tingkat kepercayaan terhadap platform digital. Oleh karena itu, diperlukan metode deteksi yang tidak hanya memiliki performa tinggi pada data latih, tetapi juga mampu melakukan generalisasi dengan baik pada data dari distribusi yang berbeda.
Penelitian ini bertujuan untuk mengevaluasi pengaruh teknik sampling pada proses generasi teks, khususnya Top-k dan Top-p, terhadap performa serta kemampuan generalisasi model berbasis transformer, yaitu RoBERTa, dalam mendeteksi ulasan palsu pada skenario cross-dataset. Dataset sumber yang digunakan adalah dataset Salminen yang berisi ulasan asli dan ulasan palsu berbasis Top-k. Sementara itu, dataset pembanding dibentuk melalui generasi ulasan palsu menggunakan model GPT-2 dengan teknik Top-p. Dataset Ott digunakan sebagai data target dalam pengujian cross-dataset untuk menguji kemampuan generalisasi model terhadap distribusi data yang berbeda.
Tahapan penelitian meliputi proses generasi teks sintetis, preprocessing ringan, pembagian data dengan rasio 80:20 untuk data latih dan validasi, tokenisasi menggunakan tokenizer RoBERTa, serta proses fine-tuning model roberta-base. Evaluasi model dilakukan menggunakan berbagai metrik kinerja, yaitu accuracy, precision, recall, F1-score, confusion matrix, serta persentase accuracy yang dipertahankan untuk mengukur tingkat penurunan performa pada skenario cross-dataset.
Hasil pengujian intra-dataset menunjukkan bahwa model RoBERTa dengan teknik Top-k memiliki performa yang lebih baik, dengan nilai accuracy sebesar 0,956844 dan F1-score sebesar 0,958428, dibandingkan dengan model Top-p yang memperoleh accuracy sebesar 0,920490 dan F1-score sebesar 0,925742. Namun, pada pengujian cross-dataset, model RoBERTa Top-p menunjukkan kemampuan generalisasi yang lebih baik dengan accuracy sebesar 0,701250 dan F1-score sebesar 0,641679, lebih tinggi dibandingkan model Top-k yang memperoleh accuracy sebesar 0,648125 dan F1-score sebesar 0,491418. Selain itu, model Top-p mampu mempertahankan accuracy sebesar 76,18%, lebih tinggi dibandingkan Top-k yang hanya sebesar 67,74%.
Berdasarkan hasil tersebut, dapat disimpulkan bahwa teknik Top-k lebih efektif dalam kondisi distribusi data yang sama (intra-dataset), sedangkan teknik Top-p lebih unggul dalam meningkatkan kemampuan generalisasi model terhadap perubahan distribusi data (cross-dataset).

Item Type: Tugas Akhir (Skripsi)
Uncontrolled Keywords: ulasan palsu, e-commerce, RoBERTa, GPT-2, Top-k, Top-p, cross-dataset, generalisasi model, klasifikasi teks
Subjek: Q Science > QA Mathematics > QA76 Computer software
Divisions: Fakultas Teknik Industri > (S1) Informatika
Depositing User: UPA Perpustakaan
Date Deposited: 12 Nov 2026 03:43
Last Modified: 12 Nov 2026 03:43
URI: http://eprints.upnyk.ac.id/id/eprint/50384

Actions (login required)

View Item View Item