พื้นฐานการเรียนรู้ของเครื่อง

ตัวอย่างที่ 1 แยกรอยร้าวจากรอยเปื้อนด้วยสองลักษณะเด่น

ลักษณะเด่นสมมติสองตัวจากภาพย่อย: ความยาวต่อความกว้างของรอย และความเข้มของขอบ (ข้อมูลจำลอง 200 ตัวอย่าง)

import numpy as np

rng = np.random.default_rng(5)
n = 200
elong = np.r_[rng.normal(2, 0.8, n // 2), rng.normal(4, 0.8, n // 2)]   # ความยาวต่อความกว้าง
edge = np.r_[rng.normal(1, 0.6, n // 2), rng.normal(2.5, 0.6, n // 2)]  # ความเข้มของขอบ
y = np.r_[np.zeros(n // 2), np.ones(n // 2)]                            # 1 = รอยร้าว
X = np.c_[np.ones(n), (elong - elong.mean()) / elong.std(), (edge - edge.mean()) / edge.std()]

w, lr = np.zeros(3), 0.5
for it in range(1, 501):
    p = 1 / (1 + np.exp(-X @ w))
    w -= lr * X.T @ (p - y) / n
    if it in (1, 10, 100, 500):
        loss = -np.mean(y * np.log(p + 1e-12) + (1 - y) * np.log(1 - p + 1e-12))
        print(f"iteration {it:>3}: loss {loss:.3f}, accuracy {((p > 0.5) == y).mean():.3f}")
print("weights (bias, elongation, edge):", np.round(w, 2))

iteration   1: loss 0.693, accuracy 0.500
iteration  10: loss 0.241, accuracy 0.980
iteration 100: loss 0.102, accuracy 0.980
iteration 500: loss 0.083, accuracy 0.980
weights (bias, elongation, edge): [0.09 4.25 3.11]

ความสูญเสียลดเร็วในช่วงแรกแล้วค่อย ๆ ช้าลง ความแม่นยำนิ่งหลังไม่กี่สิบรอบ น้ำหนักของทั้งสองลักษณะเด่นเป็นบวก แปลว่ารอยที่ยาวแคบและขอบคมมีแนวโน้มเป็นรอยร้าว การปรับมาตรฐานลักษณะเด่น (ลบค่าเฉลี่ยหารส่วนเบี่ยงเบนมาตรฐาน) ก่อนฝึกทำให้ gradient descent ลู่เข้าเร็วขึ้น

ตัวอย่างที่ 2 เลือกดีกรีของพหุนามด้วย 5-fold

ความสัมพันธ์สมมติระหว่างความลึกของรอยร้าวกับระยะจากขอบคาน 30 จุด (ข้อมูลจำลอง)

import numpy as np

rng = np.random.default_rng(2)
x = np.linspace(0, 1, 30)
y = 5 * x + 2 * np.sin(5 * x) + rng.normal(0, 0.6, 30)
folds = np.array_split(rng.permutation(30), 5)
for degree in (1, 3, 9):
    tr_err, va_err = [], []
    for f in folds:
        tr = np.setdiff1d(np.arange(30), f)
        c = np.polyfit(x[tr], y[tr], degree)
        tr_err.append(np.sqrt(np.mean((np.polyval(c, x[tr]) - y[tr]) ** 2)))
        va_err.append(np.sqrt(np.mean((np.polyval(c, x[f]) - y[f]) ** 2)))
    print(f"degree {degree}: train RMSE {np.mean(tr_err):.2f}, validation RMSE {np.mean(va_err):.2f}")

degree 1: train RMSE 1.09, validation RMSE 1.22
degree 3: train RMSE 0.55, validation RMSE 0.61
degree 9: train RMSE 0.46, validation RMSE 0.74

ดีกรี 1 ผิดทั้งชุดฝึกและชุดตรวจสอบ คือ underfitting ดีกรี 9 ผิดน้อยที่สุดบนชุดฝึกแต่ผิดมากขึ้นบนชุดตรวจสอบ คือ overfitting ดีกรีกลาง ๆ ให้ความคลาดเคลื่อนบนชุดตรวจสอบต่ำสุด หลักเดียวกันใช้กับโครงข่ายประสาทเทียม: ดูความสูญเสียของชุดตรวจสอบ ไม่ใช่ของชุดฝึก