5-NN pada data Iris

1. Aturan hitung

Iris: 150 baris, 4 atribut, 3 class. Data-nya 6. iris.csv. Setosa, versicolor, dan virginica masing-masing 50, dengan label Iris-setosa, Iris-versicolor, dan Iris-virginica. Classifier-nya k-NN, k = 5. Error ratio dirata-rata untuk holdout, K-fold, dan leave-one-out.

Holdout memakai 80% baris pertama tiap class untuk training, sisanya test. 50 × 0,8 = 40, jadi tiap class 40 training dan 10 test. K-fold memakai K = 10. Partisinya berurutan dan tidak diacak. Fold 1 baris 1–15, fold 2 baris 16–30, tiap fold 15 baris. Leave-one-out memakai K = 150.

Jaraknya Euclidean pada empat atribut mentah: sepal length, sepal width, petal length, petal width. Sama seperti Euclidean di tugas 5-NN, tanpa penskalaan. Kalau dua training data sama jauh, nomor baris yang lebih kecil yang diambil. Voting seri tidak terjadi pada ketiga model di bawah.

Error = (jumlah salah / jumlah data test) × 100%

Untuk K-fold dan leave-one-out, rata-ratanya E = (1/K) Σ E_i. Tiap fold ukurannya sama, jadi angka itu sama dengan jumlah salah dibagi seluruh baris. 6. iris.csv terurut: baris 1–50 Iris-setosa, 51–100 Iris-versicolor, 101–150 Iris-virginica.

2. Holdout

Training: baris 1–40, 51–90, dan 101–140 (120 baris). Test: 41–50 setosa, 91–100 versicolor, 141–150 virginica (30 baris). Tiga puluh prediksi sama dengan class. Dua puluh tujuh voting 5 lawan 0. Tiga yang lebih tipis tetap benar: baris 143 voting 4 virginica lawan 1 versicolor, baris 147 dan 150 voting 3 virginica lawan 2 versicolor.

error = 0 / 30 × 100% = 0%

Lima baris yang salah di leave-one-out (71, 73, 84, 107, 120) masuk training potongan ini, jadi holdout tidak menguji mereka. Holdout per class tetap 0%. Kalau 80% diambil dari urutan file sekaligus, test-nya baris 121–150, semuanya virginica, training virginica tinggal 20 baris, dan 6 dari 30 salah: error 20%.

3. K-fold

Sepuluh fold berurutan. Salah ada 10, semuanya versicolor tertukar dengan virginica. Setosa tidak ada yang salah. Fold 1–3 murni setosa, E_i = 0. Salah menumpuk di fold 5, 6, 8, dan 9.

E = (1/10) × (0 + 0 + 0 + 0 + 20 + 13,33 + 0 + 13,33 + 20 + 0) = 6,67%

Sama dengan 10/150 × 100%.

4. Leave-one-out

Seratus lima puluh eksperimen. Tiap kali 149 baris melatih, satu baris diuji. Lima salah: 71, 73, dan 84 versicolor terprediksi virginica. Baris 107 dan 120 virginica terprediksi versicolor. Kelima baris itu juga salah di K-fold. Lima salah tambahan di K-fold (69, 78, 127, 128, 134) benar ketika tetangga di fold yang sama boleh ikut voting.

E = 5 / 150 × 100% = 3,33%

5. Rata-rata error

Setosa tidak salah di ketiga model. Semua salah ada di batas versicolor dan virginica. Holdout 0% karena baris batas itu masuk training. K-fold mengangkat satu blok 15 baris sekaligus, jadi sepuluh salah. Leave-one-out menyisakan tetangga di dekat baris uji, jadi lima salah.

$ python3 tugas.py

Holdout          salah  0 / 30   error   0.00%
K-fold K=10      salah 10 / 150  error   6.67%
Leave-one-out    salah  5 / 150  error   3.33%

6. Kode

Classifier di knn.py. Tiga model di holdout.py, kfold.py, dan leave_one_out.py. tugas.py menjalankan ketiganya. Label class di file masih berawalan Iris-. load memotong awalan itu, jadi voting memakai setosa, versicolor, virginica.

def predict(point, train):
    nearest = sorted(
        train,
        key=lambda tr: (math.dist(point[1:5], tr[1:5]), tr[0]),
    )[:KNN]
    return Counter(tr[5] for tr in nearest).most_common(1)[0][0]

for label in (
    "setosa",
    "versicolor",
    "virginica",
):
    items = by[label]
    n = round(len(items) * 0.8)
    train += items[:n]
    test += items[n:]

size = len(rows) // FOLDS
test = rows[fold * size:(fold + 1) * size]
train = rows[:fold * size] + rows[(fold + 1) * size:]

for i, point in enumerate(rows):
    train = rows[:i] + rows[i + 1:]
    pred = predict(point, train)