IMENGINE IMAGENS NUMÉRICAS: APLICAÇÕES À ENGENHARIA

Transcrição

1 IMENGINE IMAGENS NUMÉRICAS: APLICAÇÕES À ENGENHARIA Lisboa abril de 2018 I&D BARRAGENS DE BETÃO RELATÓRIO 165/2018 DBB/NGA

2 Título IMENGINE IMAGENS NUMÉRICAS: APLICAÇÕES À ENGENHARIA Autoria Departamento DE BARRAGENS DE BETÃO Ana Fonseca Investigadora Principal, Chefe do Núcleo de Geodesia Aplicada Maria João Henriques Investigadora Principal, Núcleo de Geodesia Aplicada Dora Roque Bolseira de Doutoramento, Núcleo de Geodesia Aplicada Copyright Laboratório Nacional de Engenharia Civil, I. P. Av do Brasil Lisboa Relatório 165/2018 Proc. 0404/112/19718

3 IMENGINE IMAGENS NUMÉRICAS: APLICAÇÕES À ENGENHARIA Resumo Neste relatório apresenta-se, de forma sucinta, a atividade de investigação realizada no âmbito do projeto ImEngine no período Os resultados da atividade são analisados e avaliados, em face dos objetivos inicialmente previstos, sendo proposta uma extensão do projeto, e respetiva revisão do plano de atividades, para os próximos dois anos. Palavras-chave: ImEngine / Imagem numérica / Processamento digital de imagens / Reconhecimento de padrões / Deteção de alterações / IVisA / Inspeção visual / Drone IMENGINE DIGITAL IMAGES: ENGINEERING APPLICATIONS Progress report of the P2I/LNEC project Abstract A concise description is presented of the research activities undertaken in the ImEngine project during The results are analyzed and assessed, considering the initial goals of the project. A revised plan for the next two years is proposed. Keywords: ImEngine / Digital images / Digital image processing / Pattern recognition / Change detection / Assisted visual inspection / Drone LNEC - Proc. 0404/112/19718 I

4

5 Índice 1 Introdução Atividade desenvolvida Descrição da atividade desenvolvida Apreciação da atividade desenvolvida e proposta de alteração do plano para Divulgação de resultados Publicações em revistas e congressos Artigos em revistas internacionais Comunicações a congressos Teses de mestrado Indicadores de desempenho, recursos mobilizados e financiamento Indicadores de desempenho Recursos mobilizados Candidaturas a financiamento Aplicações a trabalhos de contrato Considerações finais...13 LNEC - Proc. 0404/112/19718 III

6 Índice de figuras Figura 2.1 Plano de trabalhos inicial Figura 2.2 Proposta de revisão do plano de trabalhos IV LNEC - Proc. 0404/112/19718

7 Índice de quadros Quadro 4.1 Indicadores de desempenho...10 Quadro 4.2 Afetação de recursos humanos do LNEC...10 LNEC - Proc. 0404/112/19718 V

8

9 1 Introdução O projeto de investigação ImEngine (Imagens Numérica: Aplicações à Engenharia) teve início em 01/01/2014 com uma duração prevista de 48 meses. O projeto está integrado no Plano de Inovação e Investigação (P2I) do LNEC, com enquadramento na matriz programática da Estratégia de Investigação e Inovação (E2I), inserindo-se no eixo E1 (Património Construído) e na temática T2 (Novas Tecnologias). No âmbito da atividade do LabImagem (Laboratório de processamento digital de imagens) do Núcleo de Geodesia Aplicada (NGA) do Departamento de Barragens de Betão (DBB), o projeto propõe a utilização de metodologias de análise quantitativa para extração de informação de imagens de diferentes tipologias. No início do ImEngine foi proposta a sua divisão em subprojetos que partilham metodologias, designados ImEngine-Sat, referente à exploração de imagens de satélite óticas e de RADAR, ImEngine-Dams, referente à exploração de fotografias, adquiridas em instalações terrestres, para a inspeção visual de paramentos de barragens, ImEngine-Tiles, referente à exploração de fotografia de painéis de azulejos, nomeadamente para a elaboração do registo gráfico de danos, ImEngine-Slopes, referente à monitorização de encostas e obras geotécnicas, e ImEngine-Drones, referente à exploração de imagens obtidas com veículos aéreos não tripulados (VANT, usualmente designados drones). Estes subprojetos têm sido desenvolvidos em sinergia com instituições de I&D e setores do LNEC. A equipa de investigação do LNEC era formada inicialmente pelas IP Ana Maria Fonseca (Investigadora Responsável) e Maria João Henriques e pela BD Dora Roque, do NGA do DBB, e estava contemplado o recrutamento de um bolseiro. Em fevereiro de 2016, por solicitação do Conselho Diretivo (CD) do LNEC, foi produzido um relatório de progresso do projeto, informal e sintético, que foi submetido ao CD pela informação nº 85, de 29 de fevereiro de 2016, na qual se propunha a continuação do projeto com pequenas alterações. A informação foi despachada favoravelmente, em abril de 2016, e o projeto reformulado, nomeadamente integrando na equipa o IP José Muralha do Núcleo de Modelação e Mecânica das Rochas (NMMR), do DBB, e o IC João Mimoso do Departamento de Materiais (DM), no seguimento de efetiva colaboração no projeto, entretanto iniciada, no âmbito da aplicação destas tecnologias na monitorização das encostas de Foz Tua e à caracterização de patologias em painéis de azulejos. O projeto utiliza os recursos do LabImagem do NGA, no que diz respeito a computadores e software comercial (PCI-Geomatica, ecognition, Image Processing Toolbox do MATLAB ) e open source (SNAP-ESA, QGIS, MicMac, CloudCompare, Meshlab), e recursos disponíveis na rede do LNEC como o software ArcGIS. Relata-se neste relatório a atividade realizada nos 48 meses previstos para a duração do projeto e propõe-se a sua extensão até ao fim do período de vigência do P2I do LNEC. LNEC - Proc. 0404/112/

10 2 Atividade desenvolvida 2.1 Descrição da atividade desenvolvida Na Figura 2.1 apresenta-se o plano de trabalhos proposto na ficha do projeto ImEngine, revista e aprovada em abril de 2016, com o estado de desenvolvimento das tarefas, em fevereiro desse ano, assinalado a verde. Designação da Atividade Tarefa Desenvolvimento de algoritmos de processamento de imagens para otimizar e adaptar processos de PDI a imagens específicas (fotografias para IVISA, vídeo) T1.1 T1.2 T1.3 Designação da Tarefa 1º Sem Elaboração de procedimentos para aquisição de imagens de modo a minimizar a incerteza dos processos de extração de informação por processamento de imagens otimização do processo de reconhecimento de padrões em imagens adaptação dos processos desenvolvidos em T1.2 a imagens de diferentes tipologias 2º Sem 3º Sem 4º Sem 5º Sem 6º Sem 7º Sem 8º Sem Automatização do corregisto geométrico de imagens por autocorrelação. Adaptação a diferentes tipologia de Automatização da repetitibilidade do processo de reconhechecimento de padrões a imagens com propriedades diferentes T1.4 T2.1 T2.2 T3.1 T3.2 T3.3 T3.4 automatização dos processos desenvolvidos em T.1.1, T1.2, T1.3 elaboração de programas de co-registo geométrico de imagens por autocorrelação adaptação a imagens de diferentes tipologias Montagem de um processo reconhecimento de padrões sobre uma imagem de satélite: numenclatura, bandas espetrais, estratégia, metodologia Teste de replicação do processo desenvolvido em T3.1 a novas imagens da mesma tipologia automatização da adaptação do processo desenvolvido em T3.1 a novas imagens da mesma topologia (PCA) Adaptação de T3.1, T3.2, T3.3 a imagens de diferentes tipologias Figura 2.1 Plano de trabalhos (2016) A atividade centrou-se nos subprojetos ImEngine-Sat, ImEngine-Slopes, ImEngine-Dams, ImEngine- Tiles e ImEngine-Drones. Esta incidiu essencialmente nos aspetos referentes à adaptação dos procedimentos a diferentes tipologias de imagens e à sua automatização e repetibilidade. Descrevese de seguida, sumariamente, a atividade realizada em cada tarefa. Atividade 1 - Desenvolvimento de algoritmos de processamento de imagens para otimizar e adaptar processos de PDI a imagens específicas (fotografias para IVISA, vídeo) A análise quantitativa de imagens utiliza ferramentas matemáticas para extrair informação de imagens adquiridas por sensores diversos. Esta atividade tem por objetivo otimizar os processos de aquisição e análise de imagens, para diferentes tipologias de imagens, tais como imagens de satélite, imagens adquiridas por câmaras terrestres e por plataformas aéreas não tripuladas (drones). Neste âmbito foram dadas contribuições para: 2 LNEC - Proc. 0404/112/19718

11 - a elaboração de recomendações para os procedimentos de aquisição de imagens para IVisA, que permitam reduzir fontes de incerteza: posicionamento das câmaras terrestres, condições de iluminação, especificações para o levantamento fotográfico com drones, especificações para a georreferenciação das imagens e para o controlo de qualidade, etc.; - o desenvolvimento de uma estratégia de reconhecimento de padrões de ocupação e uso do solo em imagens de satélite, no âmbito da análise de imagens orientada por objetos (OBIA: object oriented image analysis) (Barbosa et al., 2015, 2016), (Fonseca et al., 2015 a)); - a extração de informação para a inspeção visual assistida de paramentos de barragens de betão (Ramos et al., 2015), (Henriques et al., 2017), (Henriques e Roque, 2015); adaptação das metodologias de OBIA a este tipo de imagens; numa tese de mestrado (Ramos, 2015) foram propostas duas metodologias para otimização da extração de fissuras em paramentos de barragens: i) a geração de uma banda sintética por combinação linear das bandas utilizadas para a separação das fissuras do background, e ii) a atualização dos limites de fissuras obtidos em campanhas anteriores através de técnicas de deteção de alterações; - a aplicação destas técnicas à monitorização de encostas, utilizando fotografias digitais terrestres, em que se elaborou um programa em MATLAB, designado SlopeChange, de deteção de alterações, no seguimento de escavações de uma encosta (Roque et al., 2015); neste âmbito o projeto foi cofinanciado por trabalho por contrato para a EDP (Processo 0404/121/ Colaboração do NGA na inspeção visual assistida das encostas da barragem de Foz Tua); - a aplicação destas técnicas à monitorização de ensaios, em colaboração como o NMMR, em que se elaborou um mapa com a evolução das alterações em amostras de rocha sujeitas a diferentes condições de temperatura; o programa SlopeChange foi adaptado para harmonizar a luminosidade entre as fotografias, realizar o seu corregisto e identificar as alterações ocorridas na amostra; - a aplicação destas técnicas à elaboração do registo gráfico de danos em painéis de azulejos, numa colaboração com o DM, e com o projeto CerAzul, em que foram desenvolvidas metodologias de classificação de patologias e foi desenvolvido um programa em MATLAB, designado GeMAPA - Correção GEométrica e Mapeamento de Anomalias em Painéis de Azulejos (Fonseca et al., 2015 b); - a extração de informação de imagens adquiridas com drones com aplicação à monitorização de quebra-mares (Henriques et al., 2014 a), b); 2015 b); 2016), (Soares et al., 2016, 2017), (Fortes et al., 2017) e à inspeção visual (Henriques et al., 2015 b), c), d)), (Henriques, 2017), (Fonseca et al., 2016) (Dias et al., 2016, 2017). As tarefas T1.1 e T1.2 foram concluídas e a tarefa T1.3 está em curso, nomeadamente a sua adaptação a imagens adquiridas por drones. A tarefa T1.4, referente à automatização dos processos, ainda não foi realizada. A aplicação a imagens de vídeo não teve desenvolvimento, embora se tenha realizado um teste num ensaio de tração até à rotura de uma viga de madeira, que foi alvo de um relatório do LNEC em 2013, mas que não teve seguimento. LNEC - Proc. 0404/112/

12 Atividade 2 - Automatização do corregisto geométrico de imagens por autocorrelação. Adaptação a diferentes tipologias de imagens O corregisto de imagens tem por objetivo sobrepor imagens adquiridas em datas diferentes ou por sensores diferentes e, portanto, com diferentes geometrias de aquisição. Baseia-se na identificação de pontos homólogos na imagem alvo e na imagem de referência, de modo a construir um sistema de equações à custa do qual se determina um polinómio que descreve a transformação geométrica a aplicar à imagem alvo para a sobrepor à imagem de referência. A tarefa de identificação de pontos homólogos é por vezes realizada manualmente, o que é demorado e introduz erros, ou por autocorrelação de imagens, procedimento este que por vezes não tem sucesso se as imagens têm poucos pontos notáveis. Foi assim desenvolvida uma metodologia de corregisto de imagens por autocorrelação, para substituir a tarefa de identificação manual de pontos homólogos, adaptada a imagens com poucos pontos notáveis, assim como o respetivo controlo de qualidade. Este método foi implementado em MATLAB e introduzido no programa SlopeChange (Roque et al., 2015), (Fonseca et al., 2017). A tarefa T2.1 está concluída e a tarefa T2.2 está em curso, podendo ser testada a eficiência destes algoritmos em imagens adquiridas por drones. Atividade 3 - Automatização da repetibilidade do processo de reconhecimento de padrões a imagens com propriedades diferentes O sucesso das estratégias de reconhecimentos de padrões em imagens aumenta se os algoritmos forem adaptados às condições específicas da imagem em estudo. Estes algoritmos são replicáveis com menos sucesso em imagens adquiridas em diferentes condições. Uma das fases críticas no processo de aperfeiçoamento dos algoritmos é o estabelecimento dos limiares das funções de corte do processo de reconhecimento de padrões, que é usualmente realizado por tentativa e erro. No âmbito de projeto RIVERSAR, financiado pela FCT e finalizado em 2014, foi desenvolvida, para o processamento de imagens de sensores RADAR instalados em satélites, uma metodologia objetiva para estabelecer os limiares de corte de funções de pertença utilizadas em OBIA, baseada em análise em componentes principais (Roque et al., 2014), (Pestana et al., 2014). No âmbito de uma tese de mestrado com acolhimento no LNEC (Barbosa, 2016), a metodologia foi testada com sucesso em imagens de satélite em bandas óticas (visível e infravermelho) (Barbosa et al., 2015, 2016) (Fonseca et al., 2015 a). As tarefas T3.1, T3.2 e T3.3 estão concluídas. A tarefa T3.4 pode prosseguir com o objetivo de adaptar a metodologia a imagens adquiridas por câmaras terrestre e transportadas por drones, com aplicação à IVisA. Atividades adicionais Em 2016 decorreu no NGA o acolhimento de um aluno da FCUL para realização de uma tese de mestrado, sob a coorientação da IP Maria João Henriques, com o título «Monitorização dos modelos de quebra-mares com o sensor Microsoft Kinect V.2» (Rocha, 2016). No âmbito da tese foi testado o scanner 3D Kinect desenvolvido pela Microsoft, para efetuar o levantamento dos modelos de quebramares, assim como uma metodologia para deteção deslocamentos de blocos de betão colocados na camada exterior destes modelos. Esta metodologia veio a ser melhorada, tendo sido apresentada 4 LNEC - Proc. 0404/112/19718

13 numa comunicação (Soares et al., 2017), que foi distinguida como artigo do mês pela International Federation of Surveyors (FIG). Em 2015 houve uma oportunidade para testar os serviços de observação da Terra do programa Copernicus da Comissão Europeia, numa colaboração com uma equipa do Instituto Superior Técnico (IST) e do Instituto Nacional de Gestão do Território (INGT) de Cabo Verde, no seguimento da erupção do vulcão do Fogo, ocorrida em novembro de 2014 (LNEC, Relatório 163/2015-DBB/NGA). 2.2 Apreciação da atividade desenvolvida e proposta de alteração do plano para Em 2017 o projeto ImEngine chegou ao fim do período previsto de 48 meses para a sua execução. No início do projeto, com o objetivo de promover a transversalidade interna, foram solicitadas e obtidas manifestações de interesse de vários departamentos do LNEC, nomeadamente do DBB/NO, do DED/NUT, do DHA/GTI, do DHA/NEC e do DHA/NPE. Pretendeu-se com este projeto promover a apropriação, pelas várias áreas de atividade do LNEC, da análise quantitativa de imagens, um domínio com aplicação em várias áreas do conhecimento. A atividade desenvolvida decorreu, no essencial, dentro do âmbito previsto para o projeto. Já na altura se previa um maior desenvolvimento da atividade no âmbito das imagens adquiridas com drones, que se intensificou com a aquisição de um drone, pelo LNEC, em 2016 e pelo cofinanciamento obtido no âmbito do projeto PT2020 ELEVAR. A partir de 2016 a bolseira de iniciação à I&D, afeta ao projeto, iniciou o seu doutoramento, enquadrado noutro projeto do P2I a que também estava associada, mantendo uma atividade residual no ImEngine. Propõe-se a continuidade do projeto até ao fim do P2I do LNEC, para finalizar estudos em curso, no âmbito dos subprojectos ImEngine-Sat, ImEngine-Tiles, ImEngine-Dams, ImEngine-Slopes e ImEngine-Drones, com ações concretas que se propõem em seguida: ImEngine-Sat: este subprojeto está dependente do financiamento de duas candidaturas à FCT, SMOVIS e MOSAIC (parágrafo 4.3); ImEngine-Tiles: este subprojeto teve um desenvolvimento relevante que diminuiu a partir de 2016, pelo que a sua continuidade depende de solicitações do DM/NBPC; ImEngine-Dams: este subprojeto teve um desenvolvimento apreciável e prevê-se que continue em articulação com o subprojecto ImEngine-Drones, nomeadamente no que diz respeito à exploração de imagens para caracterização e monitorização de patologias em paramentos de barragens; ImEngine-Drones: este subprojeto é cofinanciado pelo projeto ELEVAR e estão em curso vários estudos, em colaboração interna com o DHA, o DBB, o DG e o DM e externa com a FCUL, no que diz respeito a levantamentos aéreos para produção de ortomosaicos e modelos numéricos de superfície do território, e para a inspeção de fachadas verticais, prevendo-se atividade relevante até 2020; o despacho do CD condicionava a contratação do LNEC - Proc. 0404/112/

14 bolseiro à angariação de financiamento externo, entretanto obtido. A contratação está em curso. ImEngine-Slopes: a atividade desenvolvida neste âmbito tem potencialidade para prosseguir, nomeadamente com estudos de monitorização das encostas da barragem de Foz Tua, durante a fase de exploração, e no seguimento do processo por trabalho por contrato para a EDP (Processo 0404/121/ Colaboração do NGA na inspeção visual assistida das encostas da barragem de Foz Tua); esta monitorização experimental poderia prosseguir com a aquisição de imagens vídeo e implementação de um sistema automático de deteção de alterações ao longo do tempo, com alertas em caso de alterações relevantes. A continuação do projeto nestes moldes depende de solicitação do DBB/NMMR, no caso de manifestação de interesse do dono de obra. Propõe-se assim a reformulação do projeto, com uma organização em subprojetos, conforme Figura 2.2. Designação da Atividade Tarefa Designação da Tarefa ImEngine-Processing (algoritmos, reconhecimento de padrões, deteção de alterações, autocorrelação de imagens) ImEngine-Sat Im-Engine-Drones T1.1 T1.2 T1.3 T1.4 Otimização do processo de reconhecimento de padrões em imagens Otimização do processo de deteção de alterações em séries multitemporais de imagens Adaptação dos processos desenvolvidos em T1.1 e T1.3 a imagens de diferentes tipologias Automatização dos processos desenvolvidos em T.1.1 e T1.2 T2.1 Colaboração na avaliação da plataforma Co-Resyf Desenvolvimento de métodos de delineação de T2.2 manchas de cheia no território (candidaturas FCT pendentes) T3.1 T3.2 Otimização de procedimentos para levantamentos horizontais do território Otimização de procedimentos para levantamentos verticais em infraestruturas ImEngine-Slopes T4.1 T4.2 Elaboração de procedimentos para aquisição de imagens video para monitorização de infraestruturas de modo a minimizar a incerteza Montagem do workflow de monitorização e extração de informação T4.3 Automatização do workflow desenvolvido em T4.2 Figura 2.2 Proposta de revisão do plano de trabalhos Nesta reformulação a atividade 1 está relacionada com a componente de desenvolvimento de estratégias e implementação de algoritmos de reconhecimento de padrões e deteção de alterações em imagens de diferentes tipologias, apoiando as atividades 2 e 3 e eventuais solicitações externas. As atividades 2 e 3 correspondem a subprojetos que se autonomizaram e no âmbito dos quais se esperam desenvolvimentos. 6 LNEC - Proc. 0404/112/19718

15 3 Divulgação de resultados 3.1 Publicações em revistas e congressos Artigos em revistas internacionais Araújo, A., Pestana, R., Matias, M., Roque, D., Trigo-Teixeira, A., Heleno, S (2016). Using simplified bathymetry and SAR imagery in the validation of a hydraulic model for the Tagus River floodplain. Journal of Coastal Research, 1, 75: doi: /SI Henriques, M.J. (2016). "Surveillance par drone des digues à talus". Revue XYZ, pp Henriques, M. J., A. Fonseca, D. Roque, J.N. Lima, J. Marnoto (2015) Assessing the quality of an UAV-based orthomosaic and surface model of a breakwater. Coordinates Magazine. Junho. Roque, D., N. Afonso, A. Fonseca, and S. Heleno (2014) OBIA Flood Delimitation Assisted by Threshold Determination with Principal Component Analysis. Photogrammetric Engineering & Remote Sensing, Vol. 80, No 5.doi: /PERS Comunicações a congressos Dias, J.M.; Matis, L., Henriques, M.J., Ribeiro, M., Santos, T. (2017). Combined use of non-destructive methods for the survey of facades anomalies of heritage buildings with structural concrete elements. Atas da INGEO the 7th International Conference on Engineering Surveying, LNEC, Lisboa, outubro. Fonseca, A., Roque, D., Henriques, M.J., Muralha, J. (2017) Visual inspection automation with image processing. Atas da INGEO2017 the 7th International Conference on Engineering Surveying, LNEC, Lisboa, de outubro. Fortes, C.J.E.M., Capitão, R., Lemos, R., Henriques, M.J. (2017). Desenvolvimentos, desafios e oportunidades para a modelação física em engenharia costeira e portuária, In Atas das 9as Jornadas Portuguesas de Engenharia Costeira e Portuária, Lisboa. Henriques, M.J., Roque, D., Fonseca, A. (2017) Nuvens de pontos e imagens numéricas. O objeto de estudo no computador. Atas do XXI Congresso da Ordem dos Engenheiros, Coimbra, novembro. Soares, F., Henriques, M.J., Rocha, C. (2017). Concrete Block Tracking in Breakwater Models. FIG Working Week Selected to be the "Article of the Month" of FIG Newsletter (June 2017) (AC) (AP). Fonseca, A., Roque, D., Henriques, M.J., Mimoso, J.M. (2016) Aplicação de metodologias de processamento digital de imagens à inspeção visual de obras de engenharia. Atas do II Encontro Luso-Brasileiro de Degradação de estruturas. Lisboa, setembro. LNEC - Proc. 0404/112/

16 Henriques, M.J., Roque, D., Santos, A. (2016) Monitorização de quebra-mares com veículos aéreos não tripulados. Atas do I Seminário Internacional UAV, Lisboa, março. Henriques, M.J., Braz, N., Roque, D., Lemos, R., Fortes, C. (2016) Controlling the damages of physical models of rubble-mound breakwaters by photogrammetric products (orthomosaics and point clouds). Atas do 3rd Joint International Symposium on Deformation Monitoring, Viena, 30 de março 1 de abril. Fonseca, A., Roque, D., Barbosa, A., Rocha, J., Heleno, S. (2015) Determinação automática de limiares para classificação de conjuntos multitemporais de imagens de satélite. Atas da Conferência Nacional de Cartografia e Geodesia, Lisboa, outubro. Fonseca, A., Roque, D., Pereira, S., Mendes, M., Mimoso, J.M. (2015) Digital image processing: Application to automatic classification of tile panel pathology. Atas da GlazeArch 2015 International Conference: Glaze Ceramics in Architectural Heritage, LNEC, Lisboa, julho. Barbosa, A., Roque, D., Fonseca, A., Rocha, J. (2015) Modelo de classificação orientado para objeto para cartografia operacional de ocupação do solo usando imagens de média resolução. Atas do X Congresso da Geografia Portuguesa Os Valores da Geografia, Lisboa, setembro. Roque, D.., Fonseca, A., Afonso, N., Henriques, M.J., Muralha, J. (2015) Visual inspection aided by digital photography: application to the slopes of Foz Tua dam, 2nd Dam World Conference, Lisboa, LNEC, abril. Henriques, M.J., Marnoto, J., Santos, A. (2015) Alguns Pormenores sobre a Produção de Ortomosaicos. Atas da VIII Conferência Nacional de Cartografia e Geodesia, Amadora, outubro. Henriques, M.J., Ramos, P. (2015) Thermal imaging of concrete dam surfaces to support the control of the evolution of pathologies. Atas da Second International Dam World Conference, LNEC, Lisboa, abril. Henriques, M.J., Roque, D. (2015) Unmanned Aerial Vehicles (UAV) as a Support to Visual Inspections of Concrete Dams. Atas da Second International Dam World Conference, LNEC, Lisboa, abril. Henriques, M.J., Braz, N., Roque, D. (2015) Point clouds and orthomosaics from photographs. Their use in a civil engineering laboratory. Atas da FIG Working Week 2015 «From the Wisdom of the Ages to the Challenges of the Modern World», Sofia, Bulgaria, maio. Dias, J.M., Matias, L., Henriques, M.J., Veiga, M.R. (2016). Avaliação da utilização combinada de métodos de inspeção não-destrutivos de termografia/ultra-sons/fotogrametria para a deteção de fendilhação em paredes de alvenaria de edifícios de valor patrimonial. In Atas do 10.º Congresso Nacional de Mecânica Experimental. Soares, F., Henriques, M.J., Braz, N. (2016). Integration of image processing tools for monitoring breakwaters models, In Proceedings of ESA Living Planet Symposium. Barbosa, A., Roque, D., Fonseca, A., Rocha, J. (2016) Classificação de imagens de satélite multitemporais baseada em objetos e apuramento semiautomático de limiares de corte. Atas da II Conferência Nacional de Geodecisão, Barreiro, maio. 8 LNEC - Proc. 0404/112/19718

17 Ramos, S., Roque, D., Fonseca, A., Navarro, A. (2015) Inspeção visual assistida de paramentos de barragens de betão. Atas da Conferência Nacional de Cartografia e Geodesia, Lisboa, outubro. Henrique, M. J., Fonseca, A., Roque, D., Lima, J. N., Marnoto, J. (2014) Assessing the Quality of an UAV-based Orthomosaic and Surface Model of a Breakwater. FIG Congress 2014 «Engaging the Challenges, Enhancing the Relevance». Kuala Lumpur, Malasia, Junho. Henriques, M.J. (2014). Levantamento térmico de paramentos de barragens de betão para apoio ao acompanhamento da evolução de patologias, In Atas das Jornadas Portuguesas de Engenharia de Estruturas, Lisboa, novembro. Henriques, M.J.; Manta, V.; Marnoto, J. (2014). Avaliação da Qualidade Posicional. Aplicação a um Levantamento Realizado em Coimbra utilizando VANT. In Atas das I Jornadas Lusófonas de Ciências e Tecnologias de Informação Geográfica (AC), setembro. Pestana, R., Matias, M., Canelas, R., Roque, D., Araújo, A., van Zeller, E., Trigo-Teixeira, A., Ferreira, R., Oliveira, R., Heleno, S., Falcão, A.P., Gonçalves, A.B. (2014). Calibration of 2D hydraulic inundation models with SAR imagery in the floodplain region of the lower Tagus river. Atas do European Geosciences Union General Assembly 2014, Viena, Áustria, maio. 3.2 Teses de mestrado Barbosa, A. (2016) Determinação Semiautomática de Limiares para Classificação de Conjuntos Multitemporais de Imagens de Satélite. Tese de Mestrado. Instituto de Geografia e Ordenamento do Território. Universidade de Lisboa. Orientação: IP Ana Fonseca. Rocha, C. (2016) Monitorização dos modelos de quebra-mares com o sensor Microsoft Kinect V2, Tese de Mestrado FCUL. Orientação: IP Maria João Henriques. Ramos, S. (2015) Inspeção Visual Assistida de Paramentos de Barragens de Betão. Tese de Mestrado. FCUL. Orientação: IP Ana Fonseca. LNEC - Proc. 0404/112/

18 4 Indicadores de desempenho, recursos mobilizados e financiamento 4.1 Indicadores de desempenho No Quadro 4.1 apresentam-se os indicadores de desempenho do projeto, os seus valores totais previstos na ficha inicial e os já realizados em Quadro 4.1 Indicadores de desempenho Indicadores Realizado em (4 anos) Total previsto no projeto (4 anos) Artigos em revista internacional 4 3 Artigos em revista nacional 0 0 Comunicações em congresso 25 4 Teses de mestrado 3 0 Teses de doutoramento Recursos mobilizados No Quadro 4.2 apresentam-se os recursos humanos do LNEC afetados ao projeto, os meses de trabalho previstos e efetivamente dedicados em , e o total previsto na ficha de projeto. Quadro 4.2 Afetação de recursos humanos do LNEC Equipa do LNEC Ana Fonseca Maria J. Henriques José Muralha Categoria Investigadora Principal Investigadora Principal Investigador Principal Realizado em * (3 anos) Meses de trabalho Total previsto no projeto (4 anos) 4,3 9,6 6,7 9,6 0,1 4,8 Dora Roque BIIC/BD 3,3 8,4 *Dependente da data de aprovação do processo 10 LNEC - Proc. 0404/112/19718

19 4.3 Candidaturas a financiamento A equipa do projeto tem participado em várias candidaturas a projetos de I&D com o objetivo de obter financiamento externo para o projeto P2I. Estão a decorrer dois projetos que obtiveram financiamento: Programa H2020: o projeto «Co-Resyf - Coastal Waters Research Synergy Framework» no âmbito de um Consórcio que integra, por Portugal, a empresa de engenharia DEIMOS, o LNEC (DHA/NEC, DBB/NGA) e o Instituto Hidrográfico, e instituições e empresas do Reino Unido, Irlanda, França e Itália; este projeto cofinancia o projeto do P2I ImEngine, na componente ImEngine-Sat; Programa PT2020: o projeto ELEVAR - «Study of Vertical Structures with Robotized Aircraft» que integra a empresa Takever, o LNEC e o Institute for System and Robotics (IST); este projeto cofinancia o projeto do P2I ImEngine, na componente ImEngine-Drones, permitindo o recrutamento de um bolseiro e a aquisição de um taqueómetro e um computador. Outras candidaturas não obtiveram financiamento, nomeadamente: Programa H2020: AFFORD2FLY - AFFORDable TO buy and operate micro FLYing vehicles (ImEngine-Drones). Outras candidaturas estão a aguardar decisão de financiamento FCT, nomeadamente: SMOVIS - Integrated framework for Structural health MOnitoring and VISualization (ImEngine- Dams); 3DFLOOD - The use of 3D models and satellite imagery to improve urban FLOOD models (ImEngine-Sat); MOSAIC - Multi-source flood risk AnalysIs for safe Coastal communities and sustainable development (ImEngine-Sat); BSafe4Sea - Breakwaters SAFEty control through a FORecast and decision support SystEm Analysis. 4.4 Aplicações a trabalhos de contrato A aplicação das metodologias de análise quantitativa de imagens a aplicações de engenharia foi suscitada pelo facto de a aquisição de fotografias já ser realizada para apoiar o trabalho por contrato no âmbito da inspeção visual de obras de engenharia. Estas eram utilizadas como documentação, para análises qualitativas, inicialmente em formato analógico e mais tarde em formato digital. A sua exploração para extração de informação sobre o estado da obra e a evolução de patologias proposta no projeto constitui uma mais valia, dado que permite o estabelecimento de procedimentos objetivos, quantitativos e cujos resultados são passíveis de arquivo em base de dados. Já foram realizadas várias experiências, documentadas, mas ainda não integradas no wokflow do trabalho por contrato de inspeção visual corrente, com exceção do trabalho de monitorização das escavações das encostas LNEC - Proc. 0404/112/

20 de Foz Tua, durante a construção da barragem, que deu origem a trabalho por contrato no âmbito do processo 0404/121/ Colaboração do NGA na inspeção visual assistida das encostas da barragem de Foz Tua. Espera-se que estes métodos, designados por IVisA Inspeção Visual Assistida, possam passar a ser utilizados correntemente, no âmbito de trabalho por contrato, com aquisição de imagens por câmaras terrestres ou instaladas em drones. 12 LNEC - Proc. 0404/112/19718

21 5 Considerações finais O projeto ImEngine decorreu de forma adequada, tendo sido concluído o período de 48 meses previstos para a sua duração. O projeto organizou-se em subprojetos em função do método de aquisição de imagens e do objeto de estudo. Durante estes quatro anos houve atividade adequada no âmbito dos subprojetos ImEngine-Sat, referente à exploração de imagens de satélite óticas e de RADAR, ImEngine-Drones, referente à exploração de imagens obtidas com veículos aéreos não tripulados, Im-Engine-Dams, referente à exploração de fotografias, adquiridas em instalações terrestres, para a inspeção visual de paramentos de barragens, Im-Engine-Tiles, referente à exploração de fotografia de painéis de azulejos, nomeadamente pare a elaboração do registo gráfico de danos e Im-Engine-Slopes, referente à monitorização de encostas, declives e obras geotécnicas. Neste período o projeto foi alvo de sete candidaturas a financiamento externo, das quais, à data deste relatório, foram financiadas duas e três aguardam financiamento da FCT. O projeto ressentiu-se da desafetação ao projeto da BIIC/BD do NGA, Dora Roque, que desenvolveu atividade relevante nos dois primeiros anos, mas que, a partir de 2016, passou a estar afeta a 100% a outro projeto do P2I. Esta necessidade vai ser colmatada com o recrutamento, em curso, de um bolseiro para o projeto. O processamento dos dados é muito exigente do ponto de vista computacional, estando prevista a aquisição de um computador, com as capacidades necessárias (financiado pelo projeto ELEVAR), para reforçar o LabImagem. Propõe-se, neste relatório, a extensão do projeto até ao fim do período de vigência do P2I do LNEC, com uma organização das atividades em subprojetos (Figura 2.2). LNEC - Proc. 0404/112/

22

23 Divisão de Divulgação Científica e Técnica - LNEC