FlightAR：利用多個視頻流和目標檢測實現沉浸式無人機控制的 AR 飛行輔助介面

Centrala begrepp

FlightAR 是一款基於擴增實境 (AR) 的新型無人機飛行輔助介面，旨在通過為操作員提供多視角和實時目標檢測來增強無人機控制和態勢感知能力，從而提高無人機操作的效率、安全性以及操作員的空間感知能力。

Sammanfattning

研究論文摘要

文獻資訊： Sautenkov, O., Asfaw, S., Yaqoot, Y., Mustafa, M. A., Fedoseev, A., Trinitatova, D., & Tsetserukou, D. (2024). FlightAR: AR Flight Assistance Interface with Multiple Video Streams and Object Detection Aimed at Immersive Drone Control. arXiv preprint arXiv:2410.16943.

研究目標： 本研究旨在開發一種基於擴增實境 (AR) 的新型無人機飛行輔助介面 FlightAR，以增強無人機控制和態勢感知能力，並評估其在模擬無人機競速任務中的有效性。

研究方法： FlightAR 系統整合了頭戴式顯示器 (HMD)、無人機搭載的攝像頭、目標檢測演算法 (YOLOV8n) 和地面站。操作員可透過 HMD 同時查看無人機第一人稱視角 (FPV) 和底部攝像頭的畫面，並疊加目標檢測結果。研究人員招募了五名具備無人機操作經驗的參與者，比較了使用 FlightAR 介面和傳統 FPV 眼鏡在導航和降落任務中的表現，並透過 NASA-TLX 問卷和使用者體驗問卷 (UEQ) 評估了參與者的工作負荷和使用者體驗。

主要發現： 與使用 FPV 眼鏡相比，使用 FlightAR 介面的參與者在降落任務中表現更出色，成功率更高。NASA-TLX 結果顯示，FlightAR 介面降低了參與者的身體和心理負荷。UEQ 結果表明，參與者對 FlightAR 介面的刺激性、新穎性和吸引力給予了高度評價。

主要結論： FlightAR 介面可以通過增強態勢感知能力和直觀控制來提高無人機操作性能。該系統在降低工作負荷和提供更具吸引力的使用者體驗方面具有潛力，使其成為需要高度態勢感知能力的複雜操作場景中的寶貴工具。

研究意義： 本研究為基於 AR 的無人機飛行輔助介面設計提供了有價值的見解，並強調了將 AR 技術整合到無人機操作中的潛在優勢。

研究限制和未來方向： 目前的研究是在模擬環境中進行的，未來研究應評估 FlightAR 在真實世界場景中的性能。此外，研究人員計劃通過升級目標檢測演算法來增強系統，使其能夠識別更廣泛的目標，並應用於救援行動等關鍵情況。

Statistik

使用 FlightAR 介面，所有參與者在 3 次嘗試中至少有 2 次成功完成無人機降落任務。
使用 FPV 眼鏡時，降落任務的成功次數從 0 次（無成功降落）到 2 次不等。
與使用 FPV 眼鏡相比，使用 FlightAR 介面時，參與者評估的身體負荷和時間負荷分別降低了 12% 和 24%。
與使用 FPV 眼鏡相比，使用 FlightAR 介面時，參與者對其表現的評分高出 20%。
使用 FlightAR 介面時，任務的心理需求降低了 16%。
所有參與者對 FlightAR 介面的所有 UEQ 量表都給予了正面評價 (µ > 0.8)。
YOLO 的檢測率高達每秒 23.46 幀。

Citat

"The proposed system is aimed to greatly increase mission efficiency, safety, and operator’s spatial awareness by making UAV operation more intuitive and responsive to the pilot’s actions and environment change."
"This setup significantly improves the pilot’s ability to control the UAV by augmenting the visual channel with multiple views from the UAV that enhances both the efficiency and safety of UAV operations."
"These findings affirm the potential of the FlightAR interface to set new standards in UAV piloting, particularly in complex operational scenarios where situational awareness is crucial."

Viktiga insikter från

FlightAR: AR Flight Assistance Interface with Multiple Video Streams and Object Detection Aimed at Immersive Drone Control

by Oleg Sautenk... på arxiv.org 10-23-2024

https://arxiv.org/pdf/2410.16943.pdf

Djupare frågor

FlightAR 介面如何應用於無人機物流或基礎設施檢測等領域？

FlightAR 介面在無人機物流和基礎設施檢測領域有著廣泛的應用前景，其多視角視頻串流和物件偵測功能可以顯著提升這些領域的操作效率和安全性：
無人機物流:

提升包裹投遞精準度: FlightAR 的 AR 覆蓋功能可以將目標區域（例如客戶家門口）精確地標記在飛行員的視野中，即使在 GPS 訊號不佳的情況下也能確保準確投遞。
提高倉庫盤點效率: 結合物件偵測技術，FlightAR 可以協助無人機自動識別和定位倉庫中的貨物，並即時將庫存資訊回傳，提升盤點效率和準確性。
優化航線規劃: FlightAR 可以根據即時環境資訊和物件偵測結果，動態調整無人機的飛行路徑，避開障礙物，選擇最佳路線，提高物流效率。
基礎設施檢測:

提高檢測效率和安全性: FlightAR 可以讓操作員同時查看多個視角的影像，快速識別橋樑、電力線路、風力渦輪機等基礎設施的損壞或缺陷，無需像傳統方式那樣近距離靠近，提高檢測效率和安全性。
實時數據可視化: FlightAR 可以將檢測到的數據（如裂縫尺寸、溫度變化等）實時疊加在操作員的視野中，方便進行現場分析和決策。
簡化操作流程: FlightAR 的直觀介面可以降低操作員的培訓成本，即使是沒有豐富經驗的操作員也能快速上手，執行複雜的檢測任務。
總之，FlightAR 介面可以通過提供更豐富的視覺資訊、更直觀的操作方式和更智能的輔助功能，有效提升無人機在物流和基礎設施檢測等領域的應用效率和安全性。

在惡劣天氣條件或訊號干擾等真實環境中，FlightAR 介面的可靠性和性能如何？

在惡劣天氣條件或訊號干擾等真實環境中，FlightAR 介面的可靠性和性能會受到一定程度的影響，但開發者可以通過以下方式提高其在複雜環境下的適應性：
應對惡劣天氣條件:

採用抗干擾能力強的圖像傳輸技術: 選擇在雨霧等惡劣天氣下抗干擾能力更強的圖像傳輸技術，例如毫米波雷達或光學通訊技術，確保視頻串流的穩定性。
提升物件偵測演算法的魯棒性: 針對雨雪、霧霾等惡劣天氣對圖像清晰度的影響，訓練物件偵測演算法在低能見度環境下也能準確識別目標，例如使用去雨、去霧等圖像預處理技術。
整合多感測器數據融合技術: 除了攝像頭外，還可以整合雷達、激光雷達等感測器，通過數據融合技術彌補單一感測器在惡劣天氣下的不足，提高系統的可靠性。
應對訊號干擾:

使用抗干擾能力強的通訊頻段: 選擇抗干擾能力更強的通訊頻段，例如5.8GHz或900MHz，或採用跳頻技術，降低訊號干擾的影響。
優化數據傳輸協議: 採用更先進的數據壓縮和傳輸協議，例如H.265視頻編碼和QUIC傳輸協議，提高數據傳輸效率和穩定性。
設計備援通訊方案: 在無人機上配置備援通訊模組，例如4G/5G模組，當主要通訊鏈路中斷時，可以自動切換到備援鏈路，確保系統的穩定運行。
總之，雖然惡劣天氣條件和訊號干擾會對 FlightAR 介面的可靠性和性能造成一定影響，但通過採用更先進的硬體設備、更強大的軟體演算法和更可靠的系統設計，可以有效降低這些因素的影響，提高 FlightAR 在真實環境中的實用性和可靠性。

如果將 FlightAR 介面與觸覺反饋或腦機介面等其他感官輸入方式相結合，會如何進一步增強無人機的操作體驗？

將 FlightAR 介面與觸覺反饋或腦機介面等其他感官輸入方式相結合，可以為無人機操作帶來更豐富、更直觀、更高效的體驗：
觸覺反饋:

增強飛行狀態感知: 可以通過觸覺反饋裝置，讓操作員感受到無人機的飛行姿態、速度變化、風力阻力等信息，例如在無人機加速時提供推背感，轉彎時提供震動反饋，讓操作員更直觀地感知飛行狀態，提高操控精準度。
提升操控安全性: 當無人機接近障礙物或偏離預設航線時，可以通過觸覺反饋裝置發出警報，提醒操作員及時調整飛行姿態，避免碰撞事故發生。
簡化操作流程: 可以將一些常用的無人機操控指令，例如起飛、降落、懸停等，映射到觸覺反饋裝置的不同操作模式，讓操作員通過觸摸即可完成這些操作，簡化操作流程，提高操作效率。
腦機介面:

實現更直觀的操控方式: 腦機介面可以讓操作員通過意念直接控制無人機的飛行，例如想像無人機向前飛行，無人機就會執行相應的動作，實現更自然、更直觀的操控體驗。
降低操作員的認知負擔: 腦機介面可以將操作員的注意力從繁瑣的操作界面上解放出來，更專注於飛行任務本身，例如在搜索和救援任務中，操作員可以更專注於觀察環境，尋找目標，而無需分心操控無人機。
拓展無人機的應用場景: 腦機介面可以讓一些身體殘障人士也能夠輕鬆操控無人機，例如通過腦機介面控制無人機進行攝影、航拍等活動，拓展無人機的應用場景，讓更多人享受到科技發展帶來的便利。
總之，將 FlightAR 介面與觸覺反饋或腦機介面等其他感官輸入方式相結合，可以為無人機操作帶來更豐富、更直觀、更高效的體驗，進一步提升無人機的操控性能、安全性和應用範圍。