ชุดข้อมูลและ labeling

ตัวอย่างที่ 1 ผู้ติด label สองคนตรงกันแค่ไหน

ผู้ติด label สองคนจำแนกภาพย่อย 100 ภาพเป็น รอยร้าว ไม่มี หรือคราบ และวาดกรอบรอยร้าวสามรายการเดียวกัน (ข้อมูลจำลอง) Cohen’s kappa (Cohen, 1960) ปรับความตรงกันที่เกิดจากความบังเอิญออก

a = ["crack"] * 40 + ["none"] * 50 + ["stain"] * 10
b = ["crack"] * 34 + ["none"] * 6 + ["none"] * 44 + ["crack"] * 4 + ["stain"] * 2 + ["stain"] * 8 + ["none"] * 2
n = len(a)
labels = sorted(set(a) | set(b))
po = sum(x == y for x, y in zip(a, b)) / n
pe = sum((a.count(c) / n) * (b.count(c) / n) for c in labels)
print(f"observed agreement {po:.2f}, chance agreement {pe:.2f}, kappa {(po - pe) / (1 - pe):.2f}")

def iou(p, q):                                  # กรอบ (x1, y1, x2, y2) หน่วยพิกเซล
    ix = max(0, min(p[2], q[2]) - max(p[0], q[0]))
    iy = max(0, min(p[3], q[3]) - max(p[1], q[1]))
    inter = ix * iy
    union = (p[2] - p[0]) * (p[3] - p[1]) + (q[2] - q[0]) * (q[3] - q[1]) - inter
    return inter / union

pairs = [((100, 100, 200, 160), (104, 98, 206, 158)), ((50, 50, 90, 80), (60, 55, 110, 85)),
         ((300, 200, 340, 260), (330, 240, 380, 300))]
for k, (p, q) in enumerate(pairs, 1):
    print(f"box {k}: IoU between annotators {iou(p, q):.2f}")

observed agreement 0.86, chance agreement 0.42, kappa 0.76
box 1: IoU between annotators 0.85
box 2: IoU between annotators 0.38
box 3: IoU between annotators 0.04

ความตรงกัน 86% ดูสูง แต่เมื่อหักส่วนที่ตรงกันโดยบังเอิญแล้ว kappa เหลือราว 0.76 (kappa เท่ากับ 1 คือตรงกันทุกภาพ และเท่ากับ 0 คือตรงกันไม่ต่างจากความบังเอิญ) ส่วนกรอบรายการที่ 2 และ 3 มี IoU ต่ำ แปลว่าผู้ติด label เข้าใจขอบเขตของรอยร้าวต่างกัน ต้องทบทวนคู่มือเรื่องการวาดกรอบก่อนติด label ภาพที่เหลือ

ตัวอย่างที่ 2 แบ่ง 12 เที่ยวบินเป็นชุดฝึก ตรวจสอบ และทดสอบ

แต่ละเที่ยวบินมีจำนวนภาพและสัดส่วนภาพที่มีรอยร้าวต่างกัน (ข้อมูลจำลอง) เรียงเที่ยวบินตามสัดส่วนรอยร้าว แล้วแจกเข้าชุดตามรูปแบบวนซ้ำ ฝึก ฝึก ตรวจสอบ ฝึก ฝึก ทดสอบ

flights = {"F01": (118, 0.138), "F02": (135, 0.245), "F03": (137, 0.160), "F04": (66, 0.107),
           "F05": (110, 0.060), "F06": (124, 0.220), "F07": (77, 0.228), "F08": (103, 0.130),
           "F09": (131, 0.201), "F10": (94, 0.246), "F11": (134, 0.243), "F12": (89, 0.234)}   # ภาพ, สัดส่วนรอยร้าว
pattern = ["train", "train", "val", "train", "train", "test"]
split = {"train": [], "val": [], "test": []}
for i, f in enumerate(sorted(flights, key=lambda k: flights[k][1])):
    split[pattern[i % len(pattern)]].append(f)

total = sum(n for n, _ in flights.values())
for name, fs in split.items():
    imgs = sum(flights[f][0] for f in fs)
    cracks = sum(flights[f][0] * flights[f][1] for f in fs)
    print(f"{name:<5} flights {', '.join(fs):<32} images {imgs:>4} ({imgs / total:.0%}), crack rate {cracks / imgs:.3f}")
assert not (set(split["train"]) & set(split["test"]))

train flights F05, F04, F01, F03, F06, F07, F11, F02 images  901 (68%), crack rate 0.180
val   flights F08, F12                         images  192 (15%), crack rate 0.178
test  flights F09, F10                         images  225 (17%), crack rate 0.220

ชุดฝึกกับชุดตรวจสอบได้สัดส่วนรอยร้าวใกล้กันมาก ชุดทดสอบสูงกว่าเล็กน้อย และไม่มีเที่ยวบินใดอยู่ทั้งชุดฝึกและชุดทดสอบ เมื่อมีเที่ยวบินน้อย การแบ่งทำได้หยาบ ทั้งสัดส่วนภาพและสัดส่วนคลาสจึงไม่ตรงเป้าพอดี ในงานจริงควรเก็บข้อมูลจากหลายเที่ยวบินและหลายสถานที่ และระบุในเอกสารชุดข้อมูลว่าแบ่งอย่างไร