ประเมินโมเดลและ edge

ตัวอย่างที่ 1 ผลของการรวมช่วงอุ่นเครื่อง

เวลาประมวลผล 205 ครั้งบนคอมพิวเตอร์บนลำ ห้าครั้งแรกคือช่วงอุ่นเครื่อง (ข้อมูลจำลอง หน่วยมิลลิวินาที)

import numpy as np

rng = np.random.default_rng(9)
lat = np.r_[rng.normal(180, 20, 5), rng.gamma(20, 1.6, 200) + 10]    # ms
WARMUP = 5
print("first runs:", np.round(lat[:WARMUP]).astype(int))
for name, x in (("including warm-up", lat), ("after warm-up", lat[WARMUP:])):
    p50, p95 = np.percentile(x, [50, 95])
    print(f"{name:<18} n={len(x)}: mean {x.mean():5.1f}, p50 {p50:5.1f}, p95 {p95:5.1f}, max {x.max():6.1f} ms")
p95 = np.percentile(lat[WARMUP:], 95)
print(f"frame rate the model can sustain for 95% of frames: {1000 / p95:.1f} fps")

first runs: [164 185 147 193 203]
including warm-up  n=205: mean  46.1, p50  43.0, p95  59.3, max  202.9 ms
after warm-up      n=200: mean  42.8, p50  42.8, p95  56.4, max   63.4 ms
frame rate the model can sustain for 95% of frames: 17.7 fps

ค่ามัธยฐานแทบไม่เปลี่ยน ค่าเฉลี่ยและ p95 สูงขึ้นเล็กน้อย แต่ค่าสูงสุดสูงขึ้นกว่าสามเท่าเพราะช่วงอุ่นเครื่อง ถ้ารายงานรวม จะดูช้ากว่าจริง ถ้ารายงานแต่ค่าเฉลี่ยหลังอุ่นเครื่อง อาจมองข้ามกรณีช้าที่ทำให้ระบบตามไม่ทัน เวลานี้ยังเป็นแค่เวลาของโมเดล ต้องวัดเวลาอ่านภาพ ปรับขนาด และส่งผลออกด้วย เพื่อให้ได้เวลาทั้งระบบ

ตัวอย่างที่ 2 ค่าผิดปกติหนึ่งค่ากับความคลาดเคลื่อนของ INT8

น้ำหนัก 10,000 ค่าจากการแจกแจงปกติ มีค่าผิดปกติหนึ่งค่าเท่ากับ 0.6 เทียบการใช้ค่าสูงสุดจริงกับการตัดค่าที่ ±0.2 ก่อนหาตัวคูณสเกล

import numpy as np

rng = np.random.default_rng(1)
w = rng.normal(0, 0.05, 10000)
w[0] = 0.6                                      # ค่าผิดปกติ
for name, src in (("scale from max |w|", w), ("clip at +/-0.2 first", np.clip(w, -0.2, 0.2))):
    s = np.abs(src).max() / 127
    q = np.clip(np.round(src / s), -127, 127)
    err = q * s - w
    print(f"{name:<22} scale {s:.5f}: mean |error| {np.abs(err[1:]).mean() * 1e3:.3f}e-3, "
          f"outlier error {abs(err[0]):.3f}")
print(f"size: float32 {w.size * 4 / 1024:.1f} KiB -> int8 {w.size / 1024:.1f} KiB")

scale from max |w|     scale 0.00472: mean |error| 1.186e-3, outlier error 0.000
clip at +/-0.2 first   scale 0.00157: mean |error| 0.392e-3, outlier error 0.400
size: float32 39.1 KiB -> int8 9.8 KiB

เมื่อใช้ค่าสูงสุดจริง ความคลาดเคลื่อนของน้ำหนักส่วนใหญ่มากกว่าเมื่อตัดค่าก่อนราวสามเท่า แต่การตัดค่าทำให้ค่าผิดปกติผิดไปมาก ไม่มีคำตอบเดียว ต้องประเมินความแม่นของโมเดลหลัง quantization บนชุดตรวจสอบเสมอ และตั้งเกณฑ์ยอมรับ เช่น AP ลดลงไม่เกินค่าที่ตกลงไว้