วิเคราะห์ความผิดปกติ

ทำไมต้องรู้

การตรวจโซลาร์ฟาร์มหนึ่งครั้งได้ภาพหลายพันภาพ หรือวิดีโอหลายชั่วโมง คนดูทุกภาพไม่ไหว AI ช่วยคัดภาพที่น่าสงสัยได้ แต่ AI ทุกตัวทั้งพลาดและเตือนผิด คำถามสำคัญไม่ใช่ “AI แม่นไหม” แต่เป็น “พลาดกี่จุด เตือนผิดกี่จุด และเรารับได้แค่ไหน” ซึ่งขึ้นกับว่าการพลาดความเสียหายหนึ่งจุดแพงกว่าการส่งคนไปตรวจจุดที่ไม่มีอะไรเท่าใด

Confusion matrix

เมื่อเทียบผลของ AI กับการตรวจยืนยันของผู้เชี่ยวชาญ ได้สี่กลุ่ม

• TP (true positive) AI บอกผิดปกติ และผิดปกติจริง
• FP (false positive) AI บอกผิดปกติ แต่ปกติ คือการเตือนผิด
• FN (false negative) AI บอกปกติ แต่ผิดปกติจริง คือการพลาด
• TN (true negative) AI บอกปกติ และปกติจริง

ตามนิยามในเอกสารของ scikit-learn precision คือสัดส่วนที่เตือนแล้วถูก recall คือสัดส่วนของความผิดปกติจริงที่หาเจอ และ F1 คือค่าเฉลี่ยฮาร์มอนิกของทั้งสอง ในงานตรวจสินทรัพย์ TN มักมีจำนวนมหาศาล ค่า accuracy จึงดูสูงเสมอและไม่มีประโยชน์นัก

results = {  # threshold: (TP, FP, FN)
    0.3: (46, 30, 4),
    0.5: (42, 12, 8),
    0.7: (33, 4, 17),
}
for th, (tp, fp, fn) in results.items():
    p, r = tp / (tp + fp), tp / (tp + fn)
    f1 = 2 * p * r / (p + r)
    print(f"threshold {th}: precision {p:.3f}, recall {r:.3f}, F1 {f1:.3f}, "
          f"missed {fn}, false alarms {fp}")

threshold 0.3: precision 0.605, recall 0.920, F1 0.730, missed 4, false alarms 30
threshold 0.5: precision 0.778, recall 0.840, F1 0.808, missed 8, false alarms 12
threshold 0.7: precision 0.892, recall 0.660, F1 0.759, missed 17, false alarms 4

จากวิดีโอสู่ภาพที่วิเคราะห์ได้

วิดีโอ 30 เฟรมต่อวินาทีมีภาพซ้ำกันมาก การวิเคราะห์ทุกเฟรมเปลืองเวลาและนับความผิดปกติจุดเดียวซ้ำหลายครั้ง จึงควรสุ่มเฟรมให้ภาพต่อเนื่องซ้อนกันพอดีกับที่ต้องการ

FOOT_ALONG, OVERLAP, SPEED, FPS = 20.0, 0.80, 5.0, 30

interval_s = FOOT_ALONG * (1 - OVERLAP) / SPEED
step = int(interval_s * FPS + 1e-9)
print(f"need one frame every {interval_s:.2f} s = one in every {step} frames at {FPS} fps")
print(f"a 10-minute video: {10 * 60 * FPS:,} frames -> {10 * 60 * FPS // step:,} frames to analyse")

need one frame every 0.80 s = one in every 24 frames at 30 fps
a 10-minute video: 18,000 frames -> 750 frames to analyse

ข้อจำกัดของภาพ

หน่วยความรู้เรื่องข้อจำกัดของภาพ RGB และภาพความร้อนเตือนว่า สีบนภาพไม่ใช่ค่าที่วัด ภาพความร้อนที่ส่งออกเป็นภาพสีโดยไม่มีข้อมูลเรดิโอเมตริกอ่านอุณหภูมิไม่ได้ สิ่งที่ถูกบังไม่ปรากฏในภาพไม่ได้แปลว่าไม่มี และการเทียบภาพสองครั้งที่ใช้ชุดสีหรือสเกลต่างกันสรุปแนวโน้มไม่ได้ รายงานจึงต้องแยก “สิ่งที่เห็น” “สิ่งที่ถูกบัง” และ “สิ่งที่ยังไม่ทราบ”

ปฏิบัติการประจำโมดูล

ข้อผิดพลาดที่พบบ่อย

สรุป

• Confusion matrix แยก TP, FP, FN, TN precision บอกความถูกของการเตือน recall บอกการหาเจอ
• threshold แลก precision กับ recall ต้องเลือกตามต้นทุนของการพลาดและการเตือนผิด
• สุ่มเฟรมจากวิดีโอตามการซ้อนภาพที่ต้องการ และรวมการตรวจพบซ้ำ
• สีไม่ใช่ค่าวัด และสิ่งที่ถูกบังไม่ได้แปลว่าไม่มี

แบบฝึกตรวจความเข้าใจ

1. TP = 30, FP = 10, FN = 20 precision และ recall เท่าใด
2. จากข้อ 1 F1 เท่าใด
3. ถ้าการพลาดความเสียหายแพงมาก ควรเลือก threshold สูงหรือต่ำ
4. footprint 15 m ซ้อน 75% บิน 5 m/s วิดีโอ 30 fps ต้องใช้ทุกกี่เฟรม
5. ทำไม accuracy จึงทำให้เข้าใจผิดในงานตรวจสินทรัพย์