Computer vision

ทำไมต้องรู้

กล้องเป็นเซนเซอร์ที่ถูกและให้ข้อมูลมากที่สุดบนโดรน การมองเห็นด้วยคอมพิวเตอร์ (computer vision) ทำให้โดรนหาผู้ประสบภัย นับต้นไม้ ตรวจรอยร้าว หรือตามวัตถุได้ งานเหล่านี้มีตั้งแต่การประมวลผลภาพแบบดั้งเดิมที่อธิบายได้ทุกขั้น ไปจนถึงการเรียนรู้เชิงลึกที่แม่นกว่าแต่ต้องใช้ข้อมูลและการประเมินอย่างระมัดระวัง ผู้ใช้งานต้องรู้ว่าแต่ละวิธีทำอะไรได้และพลาดตรงไหน

คอนโวลูชันและการประมวลผลภาพ

คอนโวลูชัน (convolution) คือการเลื่อนตัวกรองขนาดเล็ก (kernel) ไปทั่วภาพ แล้วคูณและรวมค่าในแต่ละตำแหน่ง ตัวกรองต่างกันให้ผลต่างกัน เช่น เบลอภาพ หรือหาขอบ ตัวกรอง Sobel ในแนวนอนให้ค่าสูงตรงที่ความสว่างเปลี่ยนจากซ้ายไปขวา

import numpy as np

image = np.array([[10, 10, 10, 200, 200],
                  [10, 10, 10, 200, 200],
                  [10, 10, 10, 200, 200],
                  [10, 10, 10, 200, 200]], dtype=float)
sobel_x = np.array([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], dtype=float)
out = np.zeros((image.shape[0] - 2, image.shape[1] - 2))
for i in range(out.shape[0]):
    for j in range(out.shape[1]):
        out[i, j] = np.sum(sobel_x * image[i:i + 3, j:j + 3])
print(out)

[[  0. 760. 760.]
 [  0. 760. 760.]]

ค่าเป็นศูนย์ในบริเวณที่ความสว่างคงที่ และสูงตรงรอยต่อระหว่าง 10 กับ 200 ซึ่งคือขอบของวัตถุ ใน CNN ตัวกรองแบบนี้ไม่ได้ออกแบบโดยคน แต่เรียนรู้จากข้อมูลเอง

import cv2

rng = np.random.default_rng(345)
frame = np.full((120, 160, 3), (60, 130, 70), np.uint8)
frame = np.clip(frame.astype(int) + rng.integers(-15, 16, frame.shape), 0, 255).astype(np.uint8)
truth = [(20, 30, 16, 12), (90, 70, 20, 14), (130, 20, 10, 10)]
for x, y, w, h in truth:
    frame[y:y + h, x:x + w] = (20, 120, 240)

hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv, (5, 150, 150), (25, 255, 255))
count, labels, stats, centroids = cv2.connectedComponentsWithStats(mask)
found = sorted(tuple(int(v) for v in s[:4]) for s in stats[1:])
print("objects found:", count - 1)
print("boxes (x, y, w, h):", found)

objects found: 3
boxes (x, y, w, h): [(20, 30, 16, 12), (90, 70, 20, 14), (130, 20, 10, 10)]

โครงข่ายประสาทแบบคอนโวลูชัน

CNN (convolutional neural network) ซ้อนชั้นคอนโวลูชันหลายชั้น ชั้นต้นเรียนจับขอบและสี ชั้นลึกเรียนจับรูปทรงและวัตถุ ชั้น pooling ย่อขนาดข้อมูล และชั้นเชื่อมเต็ม (fully connected) ตัดสินคลาส

จำแนก ตรวจจับ และแบ่งส่วน

• จำแนกภาพ (image classification) ตอบว่าทั้งภาพเป็นอะไร เช่น “มีพื้นที่น้ำท่วม”
• ตรวจจับวัตถุ (object detection) ตอบว่ามีวัตถุอะไร อยู่ตรงไหน เป็นกรอบสี่เหลี่ยมพร้อมคะแนนความมั่นใจ
• แบ่งส่วนภาพ (segmentation) ระบุคลาสของทุกพิกเซล เช่น น้ำ ถนน อาคาร

ตระกูล YOLO เป็นตัวตรวจจับที่นิยมบนโดรน รุ่นล่าสุดของ Ultralytics ขณะเขียนคือ YOLO26 (มกราคม 2026) ใบอนุญาต AGPL-3.0 ถ้าใช้ในผลิตภัณฑ์ที่ไม่เปิดโค้ดต้องซื้อใบอนุญาตแบบ Enterprise ตามที่หน่วยความรู้ “Computer Vision และการต่อยอดสู่ Edge AI” ของคลังความรู้โดรนเตือนไว้

ตัวตรวจจับมักให้กรอบหลายกรอบซ้อนบนวัตถุเดียว NMS (non-maximum suppression) เก็บกรอบที่คะแนนสูงสุด แล้วตัดกรอบอื่นที่ทับกับกรอบนั้นมากเกินเกณฑ์ ความทับวัดด้วย IoU คือพื้นที่ส่วนทับหารด้วยพื้นที่ส่วนรวม

def iou(a, b):
    ax, ay, aw, ah = a
    bx, by, bw, bh = b
    inter_w = max(0, min(ax + aw, bx + bw) - max(ax, bx))
    inter_h = max(0, min(ay + ah, by + bh) - max(ay, by))
    inter = inter_w * inter_h
    return inter / (aw * ah + bw * bh - inter)


def nms(boxes, scores, iou_threshold=0.5):
    order = sorted(range(len(boxes)), key=lambda i: scores[i], reverse=True)
    keep = []
    for i in order:
        if all(iou(boxes[i], boxes[k]) < iou_threshold for k in keep):
            keep.append(i)
    return keep


candidates = [(88, 69, 22, 15), (90, 70, 20, 14), (92, 72, 19, 13), (20, 30, 16, 12)]
scores = [0.81, 0.93, 0.66, 0.88]
print("IoU of box 0 and box 1:", round(iou(candidates[0], candidates[1]), 3))
print("kept after NMS:", [(candidates[i], scores[i]) for i in nms(candidates, scores)])

IoU of box 0 and box 1: 0.848
kept after NMS: [((90, 70, 20, 14), 0.93), ((20, 30, 16, 12), 0.88)]

สามกรอบแรกทับวัตถุเดียวกัน NMS เก็บเฉพาะกรอบคะแนน 0.93 และเก็บกรอบที่อยู่วัตถุอื่นไว้ เกณฑ์ IoU ของ NMS ต้องเลือกให้เหมาะ ถ้าต่ำเกินไป วัตถุสองชิ้นที่อยู่ติดกันจะถูกตัดเหลือชิ้นเดียว

ติดตามวัตถุและหลอมรวมข้อมูล

การตรวจจับทีละเฟรมไม่รู้ว่ากรอบในเฟรมนี้กับเฟรมก่อนเป็นวัตถุเดียวกันหรือไม่ การติดตาม (tracking) เชื่อมผลข้ามเฟรม และใช้แบบจำลองการเคลื่อนที่ช่วยลดสัญญาณรบกวน ตัวกรองคาลมาน (Kalman filter) ที่ Kalman เสนอในปี 1960 ผสานการทำนายจากแบบจำลองกับค่าที่วัดได้ โดยให้น้ำหนักตามความไม่แน่นอนของแต่ละฝั่ง หลักเดียวกันนี้ใช้ หลอมรวมข้อมูลเซนเซอร์ (sensor fusion) เช่น รวม GNSS กับ IMU ในตัวควบคุมการบิน

steps, speed, meas_sd = 30, 2.0, 1.5
truth_pos = speed * np.arange(steps)
measured = truth_pos + rng.normal(0, meas_sd, steps)

F = np.array([[1.0, 1.0], [0.0, 1.0]])
H = np.array([[1.0, 0.0]])
Q = np.diag([0.01, 0.01])
R = np.array([[meas_sd ** 2]])
x = np.array([measured[0], 0.0])
P = np.diag([R[0, 0], 4.0])
estimates = []
for z in measured:
    x = F @ x
    P = F @ P @ F.T + Q
    K = P @ H.T @ np.linalg.inv(H @ P @ H.T + R)
    x = x + (K @ (np.array([z]) - H @ x)).ravel()
    P = (np.eye(2) - K @ H) @ P
    estimates.append(x[0])
estimates = np.array(estimates)

rmse = lambda e: np.sqrt(np.mean(e ** 2))
print(f"RMSE of raw measurements (last 20 frames) {rmse(measured[10:] - truth_pos[10:]):.2f} m")
print(f"RMSE of Kalman estimates (last 20 frames) {rmse(estimates[10:] - truth_pos[10:]):.2f} m")
print(f"estimated speed {x[1]:.2f} m per frame")

RMSE of raw measurements (last 20 frames) 1.61 m
RMSE of Kalman estimates (last 20 frames) 0.68 m
estimated speed 1.97 m per frame

กิจกรรมในชั้นเรียน

ข้อผิดพลาดที่พบบ่อย

สรุป

• คอนโวลูชันเลื่อนตัวกรองไปทั่วภาพ การประมวลผลภาพแบบดั้งเดิมอธิบายได้แต่เปราะต่อแสง
• CNN เรียนตัวกรองจากข้อมูลเอง พัฒนาจาก LeNet ถึง ResNet และตัวตรวจจับเช่น YOLO
• จำแนก ตรวจจับ และแบ่งส่วนตอบคำถามต่างกัน ตัวตรวจจับต้องใช้จุดตัดความมั่นใจและ NMS
• ตัวกรองคาลมานผสานการทำนายกับค่าวัด ใช้ติดตามวัตถุและหลอมรวมข้อมูลเซนเซอร์

แบบฝึกตรวจความเข้าใจ

1. งาน “ระบุว่าแต่ละพิกเซลเป็นน้ำหรือไม่” คืองานชนิดใด
2. กรอบสองกรอบพื้นที่ 50 พิกเซล² เท่ากัน ทับกัน 25 พิกเซล² มี IoU เท่าใด
3. ทำไมจึงแยกสีในปริภูมิ HSV แทน BGR
4. NMS ทำหน้าที่อะไร
5. ตัวกรองคาลมานให้น้ำหนักกับค่าวัดมากขึ้นเมื่อใด