Deep learning และ object detection

ตัวอย่างที่ 1 ขนาดและพารามิเตอร์ของชั้นแรก ๆ

def conv_out(i, k, s, p):
    return (i + 2 * p - k) // s + 1

def conv_params(k, c_in, c_out):
    return k * k * c_in * c_out + c_out

print("640 px, k=3, s=1, p=1 ->", conv_out(640, 3, 1, 1))
print("640 px, k=3, s=2, p=1 ->", conv_out(640, 3, 2, 1))
print("layer 3x3, RGB -> 32 channels:", conv_params(3, 3, 32), "parameters")
print("layer 3x3, 32 -> 64 channels:", conv_params(3, 32, 64), "parameters")
full = 640 * 640 * 3 * 32
print(f"a fully connected layer from a 640x640 RGB image to 32 outputs would need {full:,} weights")

640 px, k=3, s=1, p=1 -> 640
640 px, k=3, s=2, p=1 -> 320
layer 3x3, RGB -> 32 channels: 896 parameters
layer 3x3, 32 -> 64 channels: 18496 parameters
a fully connected layer from a 640x640 RGB image to 32 outputs would need 39,321,600 weights

ชั้นคอนโวลูชันมีพารามิเตอร์น้อยมากเมื่อเทียบกับชั้นเชื่อมต่อเต็ม เพราะใช้ตัวกรองชุดเดียวกันทั่วภาพ ระยะก้าว 2 ลดขนาดภาพลงครึ่งหนึ่ง โครงข่ายตรวจจับจึงลดขนาดแผนที่ลักษณะเด่นทีละขั้นเพื่อเห็นบริบทกว้างขึ้น

ตัวอย่างที่ 2 NMS แล้วคำนวณ AP ที่ IoU 0.5

ภาพหนึ่งมีรอยร้าว 4 จุด ตัวตรวจจับทำนาย 7 กรอบ (ข้อมูลจำลอง)

import numpy as np

def iou(p, q):
    ix = max(0, min(p[2], q[2]) - max(p[0], q[0]))
    iy = max(0, min(p[3], q[3]) - max(p[1], q[1]))
    inter = ix * iy
    return inter / ((p[2] - p[0]) * (p[3] - p[1]) + (q[2] - q[0]) * (q[3] - q[1]) - inter)

dets = [(0.95, (100, 100, 200, 160)), (0.90, (105, 102, 203, 165)), (0.85, (300, 200, 340, 260)),
        (0.80, (500, 50, 560, 110)), (0.60, (302, 198, 345, 262)), (0.55, (700, 300, 760, 350)),
        (0.40, (900, 400, 950, 460))]
gts = [(102, 101, 201, 162), (301, 201, 342, 259), (700, 305, 758, 352), (80, 500, 140, 560)]

kept = []
for score, box in sorted(dets, reverse=True):          # NMS แบบละโมบ
    if all(iou(box, k) < 0.5 for _, k in kept):
        kept.append((score, box))
print("after NMS:", [s for s, _ in kept])

used, tp = set(), []
for score, box in kept:
    g = max(range(len(gts)), key=lambda j: iou(box, gts[j]))
    hit = iou(box, gts[g]) > 0.5 and g not in used
    used.add(g) if hit else None
    tp.append(hit)
ctp = np.cumsum(tp)
prec = ctp / np.arange(1, len(tp) + 1)
rec = ctp / len(gts)
for s, p, r in zip([s for s, _ in kept], prec, rec):
    print(f"score {s:.2f}: precision {p:.2f}, recall {r:.2f}")
p_interp = np.maximum.accumulate(prec[::-1])[::-1]
ap = np.sum(np.diff(np.r_[0, rec]) * p_interp)
print(f"AP@0.5 = {ap:.3f}")

after NMS: [0.95, 0.85, 0.8, 0.55, 0.4]
score 0.95: precision 1.00, recall 0.25
score 0.85: precision 1.00, recall 0.50
score 0.80: precision 0.67, recall 0.50
score 0.55: precision 0.75, recall 0.75
score 0.40: precision 0.60, recall 0.75
AP@0.5 = 0.688

NMS ตัดกรอบซ้ำสองกรอบที่ทับกรอบที่คะแนนสูงกว่า จากนั้นมีคำทำนายถูก 3 จาก 5 และพบรอยร้าว 3 จาก 4 จุด AP ต่ำกว่า 1 เพราะมีคำทำนายผิดคะแนนสูงแทรกอยู่ และมีรอยร้าวที่ไม่ถูกตรวจพบเลย ค่า AP ของเครื่องมือจริงคำนวณจากทุกภาพในชุดทดสอบรวมกัน และแต่ละเครื่องมืออาจใช้วิธีประมาณพื้นที่ต่างกันเล็กน้อย ต้องระบุว่าใช้เกณฑ์ใดเมื่อรายงาน