ทดสอบและ V&V

ตัวอย่างที่ 1 recall และ precision ของตัวตรวจจับ

ภาพทดสอบที่มีรอยร้าวติดป้ายไว้ 200 จุด ระบบตรวจพบ 184 จุด และแจ้งผิด 21 จุด (ข้อมูลสมมติ)

import math

TP, FN, FP = 184, 16, 21
REQ = 0.90

def wilson(k, n, z=1.96):
    p = k / n
    d = 1 + z * z / n
    c = (p + z * z / (2 * n)) / d
    h = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / d
    return c - h, c + h

recall = TP / (TP + FN)
precision = TP / (TP + FP)
lo, hi = wilson(TP, TP + FN)
print(f"recall {recall:.3f}, 95% Wilson CI [{lo:.3f}, {hi:.3f}]; precision {precision:.3f}")
if lo >= REQ:
    print("R1 verified with 95% confidence")
elif recall >= REQ:
    print("R1 met on this sample but not with 95% confidence: report as 'met, not yet demonstrated'")
else:
    print("R1 not met")
need = next(n for n in range(100, 5000, 10) if wilson(round(0.92 * n), n)[0] >= REQ)
print(f"if true recall stays near 0.92, about {need} labelled cracks are needed to show R1 with 95% confidence")

recall 0.920, 95% Wilson CI [0.874, 0.950]; precision 0.898
R1 met on this sample but not with 95% confidence: report as 'met, not yet demonstrated'
if true recall stays near 0.92, about 830 labelled cracks are needed to show R1 with 95% confidence

ค่าเฉลี่ยผ่านข้อกำหนด แต่ขอบล่างของช่วงความเชื่อมั่นต่ำกว่า 0.90 จึงยังยืนยันไม่ได้อย่างมั่นใจ รายงานที่ซื่อตรงต้องเขียนว่า “ผ่านบนชุดทดสอบนี้ แต่ยังพิสูจน์ด้วยความเชื่อมั่น 95% ไม่ได้” และบอกว่าต้องการข้อมูลเพิ่มเท่าใด

ตัวอย่างที่ 2 R4: หนึ่งรอบ 2 km ไม่เกิน 15 นาที

บินจริง 10 รอบ ใช้ขอบเขตบนแบบด้านเดียว 95% ของค่าเฉลี่ย ค่า $t_{0.95,9}=1.833$ จากตารางของ NIST

import statistics as st

times = [13.2, 13.8, 12.9, 14.1, 13.5, 13.0, 14.4, 13.6, 13.3, 13.9]   # นาที
LIMIT, T95_DF9 = 15.0, 1.833
n, mean, s = len(times), st.mean(times), st.stdev(times)
upper = mean + T95_DF9 * s / n ** 0.5
print(f"mean {mean:.2f} min, sd {s:.2f}, 95% upper bound of the mean {upper:.2f} min")
print("R4 verified (mean)" if upper <= LIMIT else "R4 not verified")
print(f"longest single round {max(times)} min; rounds over limit: {sum(t > LIMIT for t in times)}")

mean 13.57 min, sd 0.49, 95% upper bound of the mean 13.85 min
R4 verified (mean)
longest single round 14.4 min; rounds over limit: 0

ขอบบนของค่าเฉลี่ยต่ำกว่าเกณฑ์ชัดเจน และไม่มีรอบใดเกิน จึงยืนยัน R4 ได้ แต่ต้องบอกเงื่อนไขการทดสอบด้วย เช่น ความเร็วลมและน้ำหนักบรรทุก เพราะข้อกำหนดเวลาบินขึ้นกับสภาพเหล่านี้