基于深度學(xué)習(xí)算法的
衛(wèi)星影像地物提取應(yīng)用
神州控股-生態(tài)運(yùn)營中心
蔣波濤
1.
為什么要對衛(wèi)星影像進(jìn)行分割
在神州控股智慧城市團(tuán)隊構(gòu)建數(shù)字孿生城市的項目實踐中，CIM基礎(chǔ)平臺需要融合來自不同委辦局提供的多源異構(gòu)時空數(shù)據(jù)，建設(shè)CIM基礎(chǔ)數(shù)據(jù)庫，為智慧城市的“規(guī)、建、管、服”應(yīng)用提供數(shù)據(jù)和功能支撐。作為CIM基礎(chǔ)平臺的核心部分，CIM基礎(chǔ)數(shù)據(jù)庫中矢量數(shù)據(jù)的生產(chǎn)、更新和維護(hù)，往往需要很高的成本，需要專門的測繪人員進(jìn)行野外作業(yè)，以獲取不同類型地物的空間位置和屬性信息。
為了更快獲取地物最新的矢量數(shù)據(jù)，我們可以對衛(wèi)星影像進(jìn)行“矢量化”處理，即根據(jù)衛(wèi)星影像的內(nèi)容，手工標(biāo)記出不同類型的對象，但傳統(tǒng)方法依賴人力判讀，需要耗費(fèi)大量的人力、物力和時間成本，在判別質(zhì)量上也無法維持整批數(shù)據(jù)95%以上的準(zhǔn)確率，極大地抵消了成本低廉的優(yōu)勢。
隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）技術(shù)之上的各種像素級識別方法被陸續(xù)提出，如FCN、U-net等模型紛紛被用于地物的識別之中，從影像中直接獲取不同類型的地物要素，對柵格數(shù)據(jù)直接實現(xiàn)矢量化，這些方法極大地降低了地理信息數(shù)據(jù)的處理成本，同時也不遜于人眼識別的準(zhǔn)確性，逐漸成為地理信息行業(yè)的常規(guī)處理方法。因此，探索基于深度學(xué)習(xí)算法的遙感影像語義分割方法，有助于高效低成本地獲取矢量地理數(shù)據(jù)，促進(jìn)城市時空數(shù)據(jù)的更新。
2.
影像語義分割方法
卷積神經(jīng)網(wǎng)絡(luò)的工作原理是在圖像上使用卷積層作為“濾波器”，每個“濾波器”都有不同的權(quán)重，因此可以經(jīng)過訓(xùn)練以識別圖像的特定特征。網(wǎng)絡(luò)具有的過濾器越多，或者網(wǎng)絡(luò)越深，它從圖像中提取的特征就越多，因此它可以學(xué)習(xí)的模式就越復(fù)雜，以便為其最終的分類決策提供信息。但這樣的方式只是對圖像整體的類型進(jìn)行判別，在圖像分割中，我們需要的是對圖像矩陣中的每一個像素進(jìn)行分類判別，如下圖所示，需要對圖像中的person、purse、plants/grass、sidewalk和building類型的像素填充進(jìn)行一個語義級別的識別和分割，了解圖像中的每個像素屬于哪一種類型。
為了實現(xiàn)這一點(diǎn)，神經(jīng)網(wǎng)絡(luò)需要為每個可能的類標(biāo)簽提供了一個熱編碼的輸出通道，并通過在每個像素位置取 argmax 將這些輸出轉(zhuǎn)換為最大概率類型。而實現(xiàn)這一目標(biāo)的的棘手之處在于輸出必須與輸入圖像對齊，并且保留類區(qū)域的大小和位置。同時神經(jīng)網(wǎng)絡(luò)還需要足夠深，以便學(xué)習(xí)每個類的足夠詳細(xì)以便可以區(qū)分它們。
CNN網(wǎng)絡(luò)可以進(jìn)行特征識別和提取，但難以滿足以上要求，而滿足這些需求的最流行的架構(gòu)之一是所謂的完全卷積網(wǎng)絡(luò)（FCN），F(xiàn)CN基于CNN的卷積技術(shù)，實現(xiàn)了“編碼-解碼”統(tǒng)一化，但FCN的問題是由于在縮減像素采樣過程中丟失信息，它會導(dǎo)致分割邊界的分辨率效果較差。此外，F(xiàn)CN中的轉(zhuǎn)置卷積操作的重疊輸出可能會導(dǎo)致分割映射中出現(xiàn)不需要的棋盤狀模式，我們看到下圖的示例，在自行車的識別中，在某些特征薄弱段出現(xiàn)了同一類型像素被識別為蜂窩狀的情況，顯然這是不可接受的。
U-net是在2015年的一篇論文中首次被提出，作為用于生物醫(yī)學(xué)圖像分割的FCN模型。如論文的所述，“該架構(gòu)由一個用于捕獲上下文的收縮路徑和一個能夠?qū)崿F(xiàn)精確定位的對稱擴(kuò)展路徑組成，”從而產(chǎn)生了一個如下所示的U形架構(gòu)：
U-net體系結(jié)構(gòu)特征圖頂部的數(shù)字表示其通道數(shù)，我們可以看到，該網(wǎng)絡(luò)涉及4個跳過連接——在上采樣路徑中每次轉(zhuǎn)置卷積（或“上移卷積”）后，生成的特征圖將與下采樣路徑中的一個連接連接。此外，與基線 FCN 架構(gòu)相比，上采樣路徑中的特征映射具有更多的通道數(shù)，以便將更多的上下文信息傳遞到更高分辨率的層。
此外，U-net還通過為每個訓(xùn)練實例預(yù)先計算像素權(quán)重圖，在分割邊界處實現(xiàn)了更好的分辨率。用于計算映射的函數(shù)對沿分割邊界的像素施加了更高的權(quán)重。然后將這些權(quán)重計入訓(xùn)練損失函數(shù)中，以便為邊界像素提供更高的優(yōu)先級以進(jìn)行正確分類，從而避免了蜂窩狀分割結(jié)果。
3.
基于U-net算法的影像分割實例
最后，我們使用U-net模型來對Boston航空影像中的建筑物進(jìn)行分割培訓(xùn)。在模型中運(yùn)行圖像時，它會輸出一系列坐標(biāo)，這些坐標(biāo)定義了我們要查找的建筑物覆蓋區(qū)的邊界，以及繪制這些覆蓋區(qū)的蒙版。
Boston航空圖像數(shù)據(jù)集是一個城市建筑物檢測的遙感圖像數(shù)據(jù)集，包括高度密集的大都市金融區(qū)和居住村的各種城市景觀，標(biāo)記只有建筑和非建筑兩種。數(shù)據(jù)集由 360 張彩色(3 波段 RGB)正 射影像組成，包括美國波士頓的城市住區(qū)，其空間分辨率為 0.3 平方米，訓(xùn)練面積為 337.5 平方公里，驗證面積為 22.5 平方公里，測試面積為 405 平方公里。
本文使用了一臺8CPU、30GiB RAM和8GB GPU（Quadro M4000）的服務(wù)器對模型進(jìn)行訓(xùn)練，平均每批次訓(xùn)練時長為5min左右，下圖四幅圖像中，第一幅是原始的衛(wèi)星影像數(shù)據(jù)，即一個湖邊的社區(qū)，第2、3、4是模型訓(xùn)練200次、600次和1000次時對本幅衛(wèi)星影像中建筑物的預(yù)測結(jié)果。在1000次時Acc為0.9512，IoU值為0.87，可以看出，隨著模型訓(xùn)練次數(shù)的增加，對建筑物特征的提取更加細(xì)致，建筑物的輪廓愈加清晰，已經(jīng)可以滿足大部分衛(wèi)星影像地物提取的要求。
4.
結(jié)語
在神州控股數(shù)字孿生城市CIM基礎(chǔ)數(shù)據(jù)庫的建設(shè)過程中，對于時空矢量數(shù)據(jù)快速獲取的途徑上，我們通過對深度學(xué)習(xí)算法的應(yīng)用和培訓(xùn)，已經(jīng)實現(xiàn)了對遙感影像中的建筑物、道路和綠地等對象的精確識別，可以獲取更加豐富的矢量地物信息，滿足不同類型場景的數(shù)據(jù)需求。接下來，我們將會更加深入地研究深度學(xué)習(xí)算法在數(shù)據(jù)中臺中的應(yīng)用，提升對圖像數(shù)據(jù)的分類、分割和識別的精度，豐富我們的智慧城市場景應(yīng)用。
?京公網(wǎng)安備11010802043876
