Deep Convolutional Neural Network (DCNN) para extração automática de rede viária a partir da FUSÃO de dados varredura LASER aerotransportado e imagens de altíssima resolução em ambiente urbano

Repositório com a implementação, resultados e metadados apresentados na Tese defendida no ano de 2022 na FCT/UNESP.

Resumo

A extração de rodovias é um importante tópico de pesquisa, dada a importância para a gestão de tráfego, desenho urbano, monitoramento de estradas, navegação por satélites e atualização de mapas. O principal problema na extração de vias, em Sensoriamento Remoto, é como descrever as suas características. Algoritmos de classificação de aprendizado profundo possuem a capacidade de extrair características a partir dos dados e não dependem de intervenção humana para construir regras. Atualmente, as Redes Neurais Convolucionais Profundas são o estado da arte da segmentação de rede viária e destacam-se pela capacidade de explorar informação de contexto multinível. Entretanto, com o aumento da resolução espacial, maior detalhamento das vias bem como mais interferências por prédios, sombras, obstruções (p.ex: carros, árvores) que ainda limitam a obtenção da rede viária em áreas urbanas. Uma das estratégias disponíveis é a utilização da fusão de dados de outros sensores/fontes para complementar a informação de extração de objetos. A metodologia proposta utilizou a arquitetura Unet adaptada para fusão de Ortoimagens de altíssima resolução espacial com dados de varredura LASER (LiDAR) do estado do Distrito Federal (DF). Duas abordagens de fusão foram testadas: inicial e multinível. Bem como dois tipos de entrada de dados: imagens intensidade e de modelos de superfície. A fusão inicial com a imagem intensidade alcançou o percentual de 74,92 IoU e 84,68 F1 no conjunto teste e demonstrou melhoria de 2,1% IoU e 1,2% F1 em relação ao modelo treinado sem a fusão na área urbana. Assim como, a fusão inicial com imagem de modelos acrescentou 2,3% IoU e 1,5% F1 em região com menor densidade de vias e menos oclusões. Os resultados demonstraram que a fusão aumenta a ativação da classe via e de outras classes diretamente relacionadas com oclusões, reduz a busca de contexto para inferência da rede em áreas oclusas e aumenta a precisão da segmentação.

Abstract

Road extraction is an important research topic, mainly traffic management, urban design, surveillance, satellite navigation, and map update. The main problem with road network extraction in Remote Sensing is describing its attributes. Deep learning algorithms can extract features from data without human intervention. Nowadays, deep convolution neural networks are state of the art in road network segmentation and are known for their remarkable ability to explore multi-level contexts. Nevertheless, with increased spatial resolution, the roads become more detailed, and the interferences (building, shadows, obstructions - e.g., cars, trees) still make extraction in urban areas challenging. One of the available strategies is data fusion from other sensors/sources to add information in object extraction. The proposed methodology uses the adapted Unet in the fusion of Highest resolution Orthoimages and LASER scanner data from the Federal District state (DF). Two fusion approaches were tested: early and multi-level. And two input types: intensity image and surface models. The early fusion with intensity image reaches 74.92 IoU and 84.68 F1 in test data, an improvement of 2.1% IoU and 1.2% F1 over the model without fusion in urban areas. Moreover, the early fusion with surface models increases 2.3% IoU and 1.5% in the region with few roads density and rare occlusions. The results showed that the fusion increases activation of road and other classes directly involved with occlusion, decreases the context dependence in occlusion areas, and enhances segmentation precision.

Link texto original

http://hdl.handle.net/11449/237021

Citação

Filho, A. G. G. (2022). Deep Convolutional Neural Network ( DCNN ) para Extração automática de rede viária a partir da FUSÃO de dados varredura LASER aerotransportado e imagens de altíssima resolução em ambiente urbano. (FCT/UNESP). Disponível em http://hdl.handle.net/11449/237021

BibTeX:

@phdthesis{Filho2022,
  abstract = {Road extraction is an important research topic, mainly traffic management, urban design, surveillance, satellite navigation, and map update. The main problem with road network extraction in Remote Sensing is describing its attributes. Deep learning algorithms can extract features from data without human intervention. Nowadays, deep convolution neural networks are state of the art in road network segmentation and are known for their remark- able ability to explore multi-level contexts. Nevertheless, with increased spatial resolution, the roads become more detailed, and the interferences (building, shadows, obstructions - e.g., cars, trees) still make extraction in urban areas challenging. One of the available strate- gies is data fusion from other sensors/sources to add information in object extraction. The proposed methodology uses the adapted Unet in the fusion of Highest resolution Orthoim- ages and LASER scanner data from the Federal District state (DF). Two fusion approaches were tested: early and multi-level. And two input types: intensity image and surface models. The early fusion with intensity image reaches 74.92 IoU and 84.68 F1 in test data, an improvement of 2.1% IoU and 1.2% F1 over the model without fusion in urban areas. Moreover, the early fusion with surface models increases 2.3% IoU and 1.5% in the region with few roads density and rare occlusions. The results showed that the fusion increases activation of road and other classes directly involved with occlusion, decreases the context dependence in occlusion areas, and enhances segmentation precision. Implementation and results are available at <https://github.com/tunofilho/thesis2022_data},
  author = {Filho, Antonio Gaudencio Guimaraes},
  file = {:Users/antonioguimaraesfilho/Documents/doutorado_unesp/tese/defesa/22_10_12_minha_tese_abnt_final.pdf:pdf},
  keywords = {Road network extraction. Deep learning data fusion},
  pages = {119},
  school = {FCT/UNESP},
  title = {{Deep Convolutional Neural Network ( DCNN ) para Extra{\c{c}}{\~{a}}o autom{\'{a}}tica de rede vi{\'{a}}ria a partir da FUS{\~{A}}O de dados varredura LASER aerotransportado e imagens de alt{\'{i}}ssima resolu{\c{c}}{\~{a}}o em ambiente urbano.}},
  url = {http://hdl.handle.net/11449/237021},
  year = {2022}
}