ประเมินความเชื่อถือได้ของการรับรู้

ตัวอย่างที่ 1 ATE ก่อนและหลังจัดแนว

เส้นทางวงรีอ้างอิง กับเส้นทางที่ประมาณได้ซึ่งหมุนไป 8° เลื่อนไป (3, −2) m และมีสัญญาณรบกวน 0.3 m (ข้อมูลจำลอง)

import math
import numpy as np

t = np.linspace(0, 2 * np.pi, 40)
gt = np.c_[20 * np.cos(t), 10 * np.sin(t)]                           # m
th = math.radians(8)
rot = np.array([[math.cos(th), -math.sin(th)], [math.sin(th), math.cos(th)]])
est = gt @ rot.T + np.array([3.0, -2.0]) + np.random.default_rng(2).normal(0, 0.3, gt.shape)

raw = np.sqrt(np.mean(np.sum((est - gt) ** 2, axis=1)))
mu_e, mu_g = est.mean(0), gt.mean(0)
U, _, Vt = np.linalg.svd((gt - mu_g).T @ (est - mu_e))               # Umeyama แบบไม่ปรับมาตราส่วน
D = np.diag([1, np.sign(np.linalg.det(U @ Vt))])
R = U @ D @ Vt
aligned = (est - mu_e) @ R.T + mu_g
ate = np.sqrt(np.mean(np.sum((aligned - gt) ** 2, axis=1)))
print(f"error without alignment {raw:.2f} m")
print(f"ATE after alignment {ate:.2f} m (rotation found {math.degrees(math.atan2(R[1, 0], R[0, 0])):.1f} deg)")

error without alignment 4.22 m
ATE after alignment 0.42 m (rotation found -7.7 deg)

ก่อนจัดแนว ความคลาดเคลื่อนหลายเมตรมาจากการที่กรอบพิกัดต่างกันเป็นส่วนใหญ่ หลังจัดแนวเหลือใกล้ระดับสัญญาณรบกวน ซึ่งเป็นความคลาดเคลื่อนของรูปร่างเส้นทางจริง การรายงาน ATE ต้องบอกว่าจัดแนวแบบใด (หมุนและเลื่อน หรือรวมมาตราส่วนด้วย) เพราะการปรับมาตราส่วนจะซ่อนปัญหามาตราส่วนของกล้องตัวเดียวที่เรียนในโมดูล 4

ตัวอย่างที่ 2 ช่วงเวลาที่ไม่มีผลลัพธ์

ระบบส่งผลที่ 20 Hz ตลอดเที่ยวบิน 30 วินาที ทีมถือว่าช่องว่างเกิน 0.2 วินาทีคือเสียการติดตาม (ข้อมูลจำลอง)

import numpy as np

ts = np.arange(0, 30, 0.05)
ts = ts[~(((ts > 12.0) & (ts < 13.6)) | ((ts > 21.0) & (ts < 21.4)))]   # ช่วงที่หายไป
gaps = np.diff(ts)
lost = gaps > 0.2
print(f"{ts.size} outputs, {lost.sum()} gaps over 0.2 s")
for start, g in zip(ts[:-1][lost], gaps[lost]):
    print(f"  lost at t = {start:.2f} s for {g:.2f} s")
print(f"time without tracking {gaps[lost].sum():.2f} s = {gaps[lost].sum() / 30:.1%} of the flight, longest {gaps.max():.2f} s")

562 outputs, 2 gaps over 0.2 s
  lost at t = 12.00 s for 1.60 s
  lost at t = 21.00 s for 0.40 s
time without tracking 2.00 s = 6.7% of the flight, longest 1.60 s

ช่องว่างที่ยาวที่สุดราว 1.6 วินาทีเป็นช่วงที่อันตราย ถ้าโดรนพึ่งตำแหน่งจากภาพอย่างเดียว ต้องดูบันทึกภาพช่วงนั้นว่าเกิดจากอะไร และกำหนดว่าระบบต้องทำอย่างไรเมื่อเสียการติดตามเกินเวลาที่ยอมรับ เช่น ลดระดับไปใช้โหมดที่ไม่ต้องใช้ตำแหน่ง หรือหยุดลอยตัวรอ