Lima cara mengestimasi error classifier: holdout, random subsampling, K-fold, leave-one-out, dan bootstrap. Slide Barakbah, tekniknya mengutip Gutierrez-Osuna.
Judul slide: Validation Model of Classification Analysis. Ali Ridho Barakbah, Knowledge Engineering Laboratory, Department of Information and Computer Engineering, Politeknik Elektronika Negeri Surabaya. Daftar isinya lima model: holdout, random subsampling, K-fold cross validation, leave-one-out cross validation, bootstrap. Tiap slide teknik mengutip Ricardo Gutierrez-Osuna, Pattern Analysis, CSE@TAMU.
Holdout membagi dataset jadi dua. Training set melatih classifier. Test set mengestimasi error rate classifier yang sudah dilatih. Gambarnya satu batang: training di kiri, test di kanan, lebih pendek.
Dua kelemahan holdout. Pada dataset yang jarang, menyisihkan sebagian untuk testing memotong data latih. Karena cuma satu kali train-and-test, estimasi error menyesatkan kalau split-nya kebetulan jelek. Slide menyebutnya “unfortunate” split.
Random subsampling mengulang K split pada seluruh dataset. Tiap split memilih sejumlah contoh yang tetap, acak, tanpa replacement. Classifier dilatih ulang dari nol pada contoh training, lalu Ei dihitung dari contoh test. Estimasi error adalah rata-rata Ei. Slide bilang estimasi ini jauh lebih baik daripada holdout. E = (1/K) Σ Ei, i dari 1 sampai K.
Gambar random subsampling: tiga eksperimen. Sel test berwarna abu-abu dan tersebar di sepanjang batang, bukan satu blok utuh. Di eksperimen 1, satu sel di kanan ditandai “Test example”.
K-fold membuat partisi K bagian. Dari K eksperimen, tiap kali K−1 fold dipakai training dan satu fold yang berbeda dipakai testing. Gambar untuk K = 4: empat batang, blok test abu-abu bergeser dari kiri ke kanan. Eksperimen 4, blok paling kanan ditandai “Test examples”.
K-fold mirip random subsampling. Bedanya, setiap contoh pada akhirnya dipakai untuk training dan untuk testing. Error tetap rata-rata error pada contoh test, rumus yang sama: E = (1/K) Σ Ei.
Leave-one-out adalah K-fold dengan K sama dengan jumlah contoh. Dataset N contoh dikerjakan N eksperimen. Tiap eksperimen: N−1 contoh untuk training, satu contoh sisanya untuk testing. Di PDF, huruf pada frasa “perform N Experiments” tidak tercetak. Gambar menulis Experiment N, dan rumusnya E = (1/N) Σ Ei. Satu sel test bergeser: eksperimen 1 di ujung kiri, eksperimen N di ujung kanan, panah “Single test example”.
Fold banyak: bias estimator error kecil, jadi estimasinya akurat, tetapi variansnya besar dan waktu hitungnya besar karena eksperimennya banyak. Fold sedikit: jumlah eksperimen dan waktu berkurang, varians kecil, tetapi bias besar. Slide menyebut bias itu konservatif, lebih besar daripada error yang sebenarnya.
Pilihan K bergantung ukuran dataset. Dataset besar, 3-fold sudah cukup akurat. Dataset sangat jarang, pakai leave-one-out supaya pelatihan memakai sebanyak mungkin contoh. Pilihan yang umum di slide: K = 10.
Bootstrap mengambil sampel ulang dengan replacement. Dari N contoh, dipilih N contoh (boleh berulang) untuk training. Contoh yang tidak terpilih jadi testing. Jumlah contoh test itu berubah dari fold ke fold. Proses diulang sebanyak K fold. Error lagi-lagi rata-rata error pada data test. Di PDF, N dan K pada bullet bootstrap tidak tercetak. Gambar menandai fold terakhir sebagai Experiment K, dan jumlah bulatan training sama dengan jumlah contoh di dataset lengkap.
Gambar bootstrap memakai x1 sampai x5. Training set selalu lima bulatan, dengan pengulangan: ada x yang muncul lebih dari sekali. Test set adalah x yang tidak ikut training, dan jumlahnya beda tiap eksperimen. Di gambar, eksperimen 1 punya dua contoh test, eksperimen 2 satu, eksperimen 3 dua, eksperimen K tiga.
Slide terakhir, Performance Analysis of Classification. Yang umum dipakai adalah error rate/ratio. Dataset-nya supervised. Dipakai menganalisis precision hasil suatu algoritma klasifikasi. Rumus di slide: Error = (missclassified / Number of data) × 100%.