【儀表網 研發快訊】近日，中國科學技術大學工程科學學院機器人與智能裝備研究所董二寶副教授課題組發布了首個面向高空作業機器人的開源多模態感知數據集USTC FLICAR。該數據集以“USTC FLICAR: A sensors fusion dataset of LiDAR-inertial-camera for heavy-duty autonomous aerial work robots”為題在線發表于機器人領域知名期刊《The International Journal of Robotics Research》(IJRR)。
 

　　高空作業在工農業生產和日常生活中發揮著重要作用，但同時也伴隨著較高的作業人員安全風險。推動高空作業的自動化和智能化發展將有助于保障作業人員人身安全，提高作業效率和質量，具有重要的社會價值和經濟效益。研究團隊展示了將自動駕駛感知系統與斗臂工程車相結合以創建多功能自主高空作業機器人平臺的潛力。USTC FLICAR數據集的數據采集系統配備了各種校準良好且時間同步的傳感器：四個3D激光雷達、兩個立體相機、兩個單目相機、慣性測量單元(IMU)和一個GNSS/INS定位系統。同時使用激光跟蹤儀記錄毫米級精度的地面坐標系下機器人平臺實況位置。
 

圖1. USTC FLICAR數據集的數據采集系統示意圖
 

　　研究團隊選取代表性高空作業場景，收集了包括一天中的不同時間和天氣等多種條件下的數據，以確保高空作業機器人的全天候運行。周圍的物體包括高壓線、樹木、建筑物、道路等。高空作業機器人平臺的軌跡包括空中的三維平動、俯仰和旋轉。
 

　　USTC FLICAR數據集提供激光雷達點云數據、相機圖像數據、慣導位置姿態數據、地面真值數據，以及各傳感器之間的標定數據。這些數據將支持面向高空作業的同時定位與建圖(SLAM)、三維精確重構、多模態融合感知、多傳感器標定等任務。
 

　　截至目前，USTC FLICAR數據集包含超過1.5TB的數據，包括4萬個立體圖像對、10萬個單目圖像、7萬幀激光雷達點云以及高頻IMU/INS和激光跟蹤儀運動測量數據。所有數據都可以以二進制格式(rosbags)和直接可讀格式下載，如純文本格式的數字數據、高質量png格式的原始圖像數據。數據中還提供了一些有用的工具和SDK，以便快速使用。未來將繼續向數據集添加更多數據，以更充分地應對高空作業機器人面臨的技術挑戰。
 

圖2.同時間戳單組多傳感器數據可視化示例
 

　　為提升數據標注效率和質量，研究團隊還基于基礎AI視覺大模型Segment Anything Model (SAM)進行語義標注，制作了Semantic FLICAR數據集。原始圖像數據由SAM模型自動生成全局掩模分割，然后由人類標注者通過感興趣區域的交互式提示進行協作細化，從而獲得精確詳細的標注。
 

圖3.基于SAM的語義標注數據引擎
 

　　中國科學技術大學計算機科學與技術學院2023屆本科生王梓名為論文第一作者，工程科學學院董二寶副教授為論文通訊作者。論文的合作者還包括計算機科學與技術學院張燕詠教授和吉建民副教授、工程科學學院2023屆碩士生劉昱江等。該研究工作得到了國家重點研發計劃、仲英青年學者項目和中央高校基本科研業務專項資金的支持。
 

　　近年來，中國科學技術大學工程科學學院機器人與智能裝備研究所董二寶副教授課題組承擔國家重點研發計劃“智能機器人”重點專項“面向電力行業的作業機器人系統研究及應用”項目的課題“配網帶電作業機器人技術研究”，在高空作業機器人領域開展了深入研究。團隊聯合國網安徽電力、國網山東電力等單位研究突破多項關鍵技術，設計研制出10kV配網帶電作業雙臂機器人系統，并在實際配電網架空線路上進行了示范應用，可替代人工在高空場景中完成帶電接火、斷引流線、安裝故障指示器、安裝驗電接地環、除枝清障、消缺等典型不停電作業功能，于2023年3月順利通過國家科技部高技術研究發展中心組織的綜合績效評價。相關成果還以“Intelligent power distribution live-line operation robot systems based on stereo camera”為題于2023年7月發表在電力領域知名期刊《High Voltage》上。上述工作為本論文USTC FLICAR數據集的構建奠定了堅實的基礎條件，同時數據集的發布也將進一步推動高空作業機器人的研究發展和推廣應用。
 

圖4.配網帶電作業雙臂機器人的示范應用現場