Introduction to Classification

• Definisi (Tan, Steinbach, Kumar): training set berisi record. Satu atribut adalah kelas, sisanya atribut biasa. Model memetakan atribut ke kelas. Record yang belum pernah dilihat harus dapat kelas seakurat mungkin. Data dibagi training (bangun model) dan test (ukur akurasi).
• Ilustrasi slide: 10 baris berlabel Yes/No (Attrib1, Attrib2, Attrib3), lalu 5 baris Tid 11–15 yang kelasnya masih “?”. Model dilatih di kiri, dipakai di kanan.
• Contoh tugas: speech recognition, sidik jari, OCR, tumor benign/malignant, transaksi kartu kredit sah atau curang, struktur sekunder protein (alpha-helix, beta-sheet, random coil), kategori berita (finance, weather, entertainment, sports).
• Contoh ikan di konveyor, optical sensing, kelas salmon atau sea bass. Fitur panjang saja overlap besar (garis putus-putus l*). Lightness memisahkan lebih bersih (batas x*). Dua fitur sekaligus, width dan lightness: garis lurus masih meloloskan titik lawan; batas yang menempel ke setiap titik (ada tanda “?” di celah) juga rapuh; batas lengkung yang lebih halus duduk di antara keduanya.
• Tiga langkah proses: learning (data berlabel diinduksi jadi model), validation (label disembunyikan, akurasi diukur), testing (data baru tanpa label). Dalam konteks performa, validation sering disebut testing. Akurasi cukup, model dipakai memprediksi kelas yang belum diketahui. Klasifikasi ditandai data latih yang punya label, lalu pola atribut dibaca dari label itu.
• Istilah tabel olahraga: attribute = kolom fitur; target attribute = kelas (Sport? Yes/No); instance = nilai satu atribut, misalnya Sky {cerah, hujan}; record/tuple = satu baris (D1–D6).
• Ide dasar ML: dari baris itu orang bisa jawab “langit cerah, olahraga?” dan “langit cerah dan suhu normal, olahraga?”. Algoritma ML membangun hipotesis dari keputusan yang sudah ada di data belajar. Contoh EnjoySport: <Sunny, Warm, ?, ?, ?, ?> dijawab Yes; <?, Cold, High, ?, ?, ?> dijawab No, karena baris senada di data berlabel demikian.
• Find-S: algoritma hipotesis paling sederhana, cari kesamaan nilai atribut, dijalankan per kelas. Untuk kelas Yes, hipotesis berakhir <Sunny, Warm, ?, Strong, ?, ?>. Kelas No hanya satu baris, hipotesisnya menyalin baris itu: <Rainy, Cold, High, Strong, Warm, Change>. Sederhana, tetapi mengabaikan data negatif, dan tidak untuk data yang tidak konsisten.
• Candidate-Elimination memegang dua batas. S mulai dari semua φ (paling spesifik), G dari semua ? (paling umum). Contoh positif menggeneralisasi S. Contoh negatif menyempitkan G supaya hipotesis tetap menolak baris negatif. Data negatif ikut menguatkan hipotesis. Kalau data tidak konsisten, S dan G tidak ketemu. Sulit diprogram.
• Nearest neighbor mengklasifikasi data baru dari similarity ke labeled data. Distance-nya Euclidean. Nama lain di slide: lazy, memory-based, instance-based, exemplar-based, case-based, experience-based. 1-NN mengambil 1 nearest training data. k-NN (k > 1) mengambil k nearest training data, lalu voting class label.
• Contoh hipertensi. Lima training data: (berat 70, umur 20) No, (85, 20) No, (70, 50) No, (100, 50) Yes, (100, 80) Yes. Data baru: berat 80, umur 85. 1-NN → Yes, nearest training data adalah titik Yes (100, 80). k = 3 → Yes (dua Yes, satu No). k = 5 memakai kelima training data → No (tiga No, dua Yes). Nilai k mengubah keputusan.
• NN sederhana dan bisa dihitung analitis, serta bisa diparalelkan. Slide menulis error rate di atas Bayes dan di bawah dua kali Bayes. Kekurangannya: memori dan komputasi besar, karena seluruh training data disimpan dan dibandingkan setiap ada data baru.

Alur sensor ikan, lalu dua kotak di slide: preprocessing dan classification. Slide juga menggambar panah balik dari evaluasi ke langkah sebelumnya.

flowchart TD
  In["Citra ikan di konveyor"]
  Pre["Preprocessing"]
  Feat["Feature extraction"]
  Cls["Classification"]
  Sal["salmon"]
  Bass["sea bass"]
  In --> Pre --> Feat --> Cls
  Cls --> Sal
  Cls --> Bass

flowchart TD
  Start["start"] --> pre
  subgraph pre["Preprocessing"]
    Collect["collect data"] --> Features["choose features"] --> Model["choose model"]
  end
  pre --> cls
  subgraph cls["Classification"]
    Train["train classifier"] --> Eval["evaluate classifier"]
  end
  cls --> End["end"]