Edge AI บนโดรน

ทำไมต้องรู้

โมเดลตรวจจับวัตถุที่ได้ความแม่นยำสูงบนคอมพิวเตอร์ตั้งโต๊ะ อาจช้าเกินไปเมื่อย้ายขึ้นบอร์ดบนโดรนที่มีกำลังไฟไม่กี่สิบวัตต์ ถ้าตรวจพบคนหรือสิ่งกีดขวางช้าไปครึ่งวินาที โดรนที่บิน 8 m/s ก็เคลื่อนไปแล้ว 4 m การนำ AI ขึ้นอุปกรณ์ปลายทาง (edge AI) จึงเป็นการแลกกันระหว่างความเร็ว ความแม่นยำ หน่วยความจำ และพลังงาน ซึ่งต้องวัดจริง ไม่ใช่อ่านจากโฆษณา

จากโมเดลสู่บอร์ด

1. ฝึกและประเมิน บนเครื่องที่มีกำลังสูง (UAT 315)
2. ส่งออก เป็นรูปแบบกลาง เช่น ONNX แล้วตรวจว่าผลลัพธ์ตรงกับโมเดลเดิม
3. ปรับให้เหมาะ กับฮาร์ดแวร์ เช่น ใช้ ONNX Runtime บน CPU หรือ TensorRT บน GPU ของ NVIDIA และลดความละเอียดตัวเลขด้วย quantization
4. วัดบนบอร์ดจริง ทั้งความเร็ว ความแม่นยำ หน่วยความจำ อุณหภูมิ และกำลังไฟ

บอร์ดยอดนิยม เช่น Jetson Orin Nano Super ซึ่ง NVIDIA ระบุประสิทธิภาพไว้ที่ 67 TOPS เป็นตัวเลข INT8 แบบ sparse ไม่ได้บอกความเร็วของโมเดลของเรา ตัวเลขที่ใช้ตัดสินใจต้องมาจากการวัดโมเดลจริงบนบอร์ดจริง

Quantization

Quantization เก็บน้ำหนักและค่าในโมเดลด้วยจำนวนเต็ม 8 บิตแทนทศนิยม 32 บิต ประหยัดหน่วยความจำ 4 เท่าและคำนวณได้เร็วขึ้นบนฮาร์ดแวร์ที่รองรับ ONNX Runtime ใช้การแปลงเชิงเส้น $x\approx s(q-z)$ เมื่อ $s$ คือ scale และ $z$ คือ zero-point (ค่าจำนวนเต็มที่แทน 0.0) งานของ Jacob และคณะ (2018) วางหลักการคำนวณด้วยจำนวนเต็มล้วนที่ใช้กันทั่วไป

import numpy as np

rng = np.random.default_rng(348)
w = rng.normal(0, 0.8, 1000).astype(np.float32)        # น้ำหนักสมมติ 1000 ค่า
lo, hi = float(w.min()), float(w.max())
scale = (hi - lo) / 255
zero_point = int(round(-lo / scale))
q = np.clip(np.round(w / scale) + zero_point, 0, 255).astype(np.uint8)
restored = scale * (q.astype(np.float32) - zero_point)
err = np.abs(restored - w)
print(f"range [{lo:.3f}, {hi:.3f}], scale {scale:.5f}, zero-point {zero_point}")
print(f"max error {err.max():.5f} (half a step = {scale / 2:.5f}); memory {w.nbytes} -> {q.nbytes} bytes")

range [-2.329, 2.248], scale 0.01795, zero-point 130
max error 0.00896 (half a step = 0.00897); memory 4000 -> 1000 bytes

วัดเวลาหน่วงให้ถูก

เวลาที่โมเดลใช้คำนวณ (inference) ไม่เท่ากับเวลาตั้งแต่ได้ภาพจนได้ผล (end-to-end) ซึ่งรวมการเตรียมภาพ และการประมวลผลหลัง เช่น กรองกรอบที่ซ้อนกัน ต้องวัดหลัง warm-up และรายงาน p95 คือค่าที่ 95% ของตัวอย่างไม่เกิน เพราะค่าเฉลี่ยซ่อนเฟรมที่ช้าผิดปกติไว้

def p95(x):
    s = np.sort(x)
    return s[int(np.ceil(0.95 * len(s))) - 1]            # nearest-rank


n = 400
pre = rng.normal(4.0, 0.5, n)
fp32 = rng.gamma(9, 4.6, n)
int8 = rng.gamma(9, 2.0, n)
post = rng.normal(3.0, 0.4, n)
budget = 1000 / 30
for name, inference in (("FP32", fp32), ("INT8", int8)):
    e2e = pre + inference + post
    print(f"{name}: inference median {np.median(inference):.1f} ms | end-to-end mean {e2e.mean():.1f}, "
          f"p95 {p95(e2e):.1f} ms | over {budget:.1f} ms: {(e2e > budget).mean():.0%} | "
          f"distance at 8 m/s during p95: {8 * p95(e2e) / 1000:.2f} m")

FP32: inference median 40.8 ms | end-to-end mean 49.8, p95 73.5 ms | over 33.3 ms: 90% | distance at 8 m/s during p95: 0.59 m
INT8: inference median 17.7 ms | end-to-end mean 25.3, p95 36.1 ms | over 33.3 ms: 10% | distance at 8 m/s during p95: 0.29 m

Model card

Mitchell และคณะ (2019) เสนอ model card เอกสารสั้นที่มากับโมเดลทุกรุ่น สำหรับโดรนควรมีอย่างน้อย

• รุ่นและที่มา รุ่นโมเดล ชุดข้อมูลที่ใช้ฝึก และรุ่นซอฟต์แวร์
• เงื่อนไขทดสอบ บอร์ด ขนาดภาพ runtime ความละเอียดตัวเลข จำนวนรอบ warm-up และจำนวนตัวอย่าง
• ผลลัพธ์ ความแม่นยำแยกตามสภาพ (กลางวัน เย็น หมอก) และเวลาหน่วง p95
• ข้อจำกัดและการใช้ที่ไม่ควรทำ เช่น ไม่ได้ทดสอบเวลากลางคืน
• เกณฑ์หยุดใช้และถอยกลับ เช่น ถ้าความแม่นยำภาคสนามต่ำกว่าเกณฑ์ ให้กลับไปใช้รุ่นก่อน

ปฏิบัติการประจำโมดูล

ข้อผิดพลาดที่พบบ่อย

สรุป

• ขั้นตอนคือฝึก ส่งออก ONNX ปรับให้เหมาะกับฮาร์ดแวร์ แล้ววัดบนบอร์ดจริง
• INT8 quantization ใช้ $x\approx s(q-z)$ ลดหน่วยความจำ 4 เท่า แต่ต้องประเมินความแม่นยำใหม่
• เวลาหน่วงต้องวัดแบบ end-to-end หลัง warm-up และรายงาน p95 เทียบงบเวลาต่อเฟรม
• Model card บอกเงื่อนไขทดสอบ ผล ข้อจำกัด และเกณฑ์หยุดใช้

แบบฝึกตรวจความเข้าใจ

1. ค่าน้ำหนักอยู่ในช่วง −1.0 ถึง 1.55 scale สำหรับ INT8 เท่าใด
2. ถ้า scale = 0.02 และ zero-point = 50 ค่า $q=100$ แทนค่าจริงเท่าใด
3. ที่ 25 fps งบเวลาต่อเฟรมเท่าใด
4. เวลา 20 ค่า คือ 1 ถึง 20 ms p95 แบบ nearest-rank เท่าใด
5. ทำไมต้องประเมินความแม่นยำใหม่หลัง quantize