Estudo de Métodos para Extração de Formas e Realização de Medidas a Partir de Imagens

Transcrição

1 UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL INSTITUTO DE INFORMÁTICA PROGRAMA DE PÓS-GRADUAÇÃO EM COMPUTAÇÃO LEANDRO AUGUSTO FRATA FERNANDES Estudo de Métodos para Extração de Formas e Realização de Medidas a Partir de Imagens Trabalho Individual I TI-1159 Prof. Dr. Manuel Menezes de Oliveira Neto Orientador Porto Alegre, 25 de abril de 2005

2 SUMÁRIO LISTA DE FIGURAS RESUMO ABSTRACT INTRODUÇÃO Motivação Organização do Texto CLASSIFICAÇÃO DAS TÉCNICAS Problemas Comuns a Técnicas Baseadas em Imagens Técnicas Ativas Ultrasom Triangulação Ativa Técnicas Passivas Variação de Foco Triangulação Passiva CÁLCULO DE DIMENSÕES A PARTIR DE UMA ÚNICA IMAGEM Métodos Baseados em Homografia Método para Medição de Dimensões de Caixas ANÁLISE DA INCERTEZA Tipos de Erros Acurácia e Precisão Incerteza Tratamento de Erros nos Trabalhos Referenciados CONCLUSÃO REFERÊNCIAS

3 LISTA DE FIGURAS Figura 2.1: Classificação hierárquica das técnicas Figura 2.2: Geometria para um sistema de triangulação ativa Figura 2.3: Exemplo de utilização de luz estruturada Figura 2.4: Hardware utilizado na técnica baseada em luz estruturada apresentada Figura 2.5: em [BP98, Bou99] Resultados obtidos pelo scanner 3D, baseado em luz estruturada, apresentado em [BP98, Bou99] Figura 2.6: Exemplo de scanner que trabalha com a triangulação de linhas de laser 13 Figura 2.7: Resultados obtidos pelo sistema descrito em [LPC + 00] Figura 2.8: Resultados obtidos pelo sistema descrito em [SO03] Figura 2.9: Cena gerada a partir da geometria reconstruída pelo sistema descrito em [NMP + 99] Figura 2.10: Formação da imagem e extração de profundidade pela variação de foco 17 Figura 2.11: Sistema de aquisição estéreo Figura 3.1: Figura 3.2: Figura 3.3: Exemplo de medida de altura obtida a partir da aplicação da técnica descrita em [CZVG + 98] Resultado obtido a partir da aplicação do método descrito [CRZ97] e [CRZ99a] Reconstrução 3D de La Trinità a partir da aplicação da técnica descrita em [CRZ99b] e [CRZ00]

4 RESUMO Este trabalho tem por finalidade realizar o levantamento dos principais métodos existentes para a obtenção de medidas a partir de imagens de uma cena, de maneira a servir também como material de apoio a futuras atividades de pesquisa na área. Considerando a larga abrangência do campo, o foco principal são os trabalhos que fazem uso de uma única imagem. Outras técnicas ativas e passivas que utilizam um número arbitrário de câmeras ou dispositivos auxiliares também são abordadas, porém de maneira menos intensiva. Tais técnicas traçam o estado da arte das pesquisas nessa área. De forma complementar é realizado um estudo a respeito de métodos para se estimar a incerteza associada às medições. Palavras-chave: Cálculo de dimensões baseado em imagens, análise da incerteza, extração de informações geométricas da cena.

5 ABSTRACT The purpose of this work is to survey the most relevant methods for performing shape extraction and image-based measurements. Given the large amount of literature in the area, the survey focuses on methods that use a single picture. For completion, some techniques based on the use of multiple cameras or cameras coupled with auxiliary devices are also covered, although in less detail. This document also surveys methods for estimating the uncertainty of measurement performed directly on images. Keywords: dimensions calculation based on images, uncertainty analysis, extraction of geometric information of the scene.

6 6 1 INTRODUÇÃO A extração de informações tridimensionais a partir de imagens tem sido o objetivo de muitos trabalhos no campo da visão computacional. Os esforços das pesquisas nessa área estão em conseguir interpretar as dicas a respeito da cena tridimensional projetada sobre o plano da imagem. Dentre essas dicas podemos citar a disparidade estereoscópica, textura, motion parallax, foco, oclusão de contornos, sombras, sombreamento e especularidade [SS01]. As técnicas para se extrair informações geométricas de cenas a partir de imagens podem ser classificadas como técnicas ativas ou técnicas passivas. As técnicas ativas se caracterizam pela introdução de algum tipo de sinal no ambiente e as informações relacionadas à geometria são recuperadas por análise do comportamento do sinal. As técnicas passivas, por sua vez, apenas coletam imagens e, a partir de sua análise, tentam estimar posições, ângulos e distâncias. A obtenção de medidas de objetos tridimensionais diretamente de suas imagens encontra aplicações em áreas como controle de qualidade, vigilância, análises forênsicas, estimação do custo, gerenciamento de armazenamento e transporte de mercadorias. No campo da automação, por exemplo, a navegação e manipulação de objetos é melhor executada com o entendimento da estrutura tridimensional da cena. Por fim, armazenar informação tridimensional é também uma forma inteligente de se compactar todo um conjunto de imagens da cena. Ao mesmo tempo em que a extração de medidas a partir de imagens mostra-se uma tarefa relevante, determinar a incerteza associada a essas medições é essencial, pois uma medição é de pouco uso a menos que sua precisão seja avaliada. Diante desse quadro, é observado que a extração de métricas por métodos visuais precisa ser tratada como uma tarefa de engenharia de precisão, para que seja possível a validação dos resultados obtidos. Ao longo do texto serão comentados os principais métodos existentes para a obtenção de medidas a partir de imagens de uma cena. 1.1 Motivação A reconstrução da estrutura tridimensional e/ou extração de medidas de uma cena a partir de imagens tem atraído a atenção de diversos pesquisadores. A maior parte das pesquisas adota a utilização de múltiplas projeções da cena [LH81, HS95, ZH96, RZ96,

7 7 Lie01] ou a utilização de mecanismos auxiliares como laser ou luz estruturada, para a extração da estrutura geométrica da cena [PVG97, BP98, Bou99, NMP + 99, LPC + 00, SO03]. Apenas um pequeno grupo de trabalhos aborda a utilização de uma única imagem [CRZ97, CZVG + 98, Cri99, CRZ99a, CRZ99b, CRZ00, Lu00, HHW04]. A motivação do presente trabalho incide na necessidade de se estudar técnicas para medição que sejam rápidas em seu processamento, de fácil utilização e que sejam tanto acuradas quanto precisas (a definição de acurácia e precisão é dada na seção 4.2). As técnicas que utilizam uma única imagem armazenando informação de cor ou luminância para os pixels despertam um interesse especial, pois podem ser aplicadas a toda uma coleção de imagens já existentes, sejam elas na forma de fotos, vídeo ou pinturas. Já o estudo da incerteza sobre as medições obtidas mostra-se relevante, pois a medição é uma tarefa de engenharia e como tal precisa ser o mais confiável possível e retornar junto ao resultado uma noção do erro agregado. 1.2 Organização do Texto No próximo capítulo são descritos os problemas comuns enfrentados por técnicas que se baseiam em imagens. São também enumeradas as características que fazem com que uma técnica seja classificada como ativa ou passiva e alguns exemplos para cada grupo de técnicas são comentados. O capítulo 3 por sua vez é reservado à análise das técnicas passivas que fazem uso de uma única imagem para a realização de medições a partir de imagens. No capítulo 4 é feita uma reflexão a respeito da importância da análise da incerteza que envolve um experimento e são comentados métodos aplicados por trabalhos na área. Por fim, é apresentada uma conclusão sobre o estado da arte em medições a partir de imagens, bem como perspectivas para trabalhos futuros.

8 8 2 CLASSIFICAÇÃO DAS TÉCNICAS As técnicas que visam a extração de medidas com base em imagens são divididas em dois grandes grupos, o de técnicas ativas e o de técnicas passivas. Dentro desses grupos são observadas classes de técnicas, mapeadas conforme a hierarquia definida na figura 2.1. Figura 2.1: Classificação hierárquica das técnicas que visam a extração de medidas com base em imagens. Em todas as técnicas abordadas nesse trabalho, alguns problemas comuns são observados e precisam ser considerados antes que qualquer medição seja realizada. Na próxima seção são enumerados esses problemas e nas seções seguintes são definidos os pré-requisitos para a classificação de uma técnica como ativa ou passiva. De forma complementar, são comentados para cada um dos grupos definidos exemplos de técnicas e algumas de suas implementações. 2.1 Problemas Comuns a Técnicas Baseadas em Imagens Ao se trabalhar com a extração de medidas do ambiente a partir de imagens é preciso ter em mente que estruturas geométricas confiáveis e bem definidas da cena precisam ser visualizadas e, no caso da reconstrução a partir de múltiplas imagens, sempre haverá o problema de correspondência a ser resolvido. O problema da correspondência consiste em descobrir quais feições visíveis em várias imagens correspondem à projeção de um

9 9 mesmo elemento da cena. Estruturas geométricas podem não estar bem definidas em uma ou várias imagens devido a problemas no ajuste do foco ou por fatores mais complexos como o motion blur, observado em imagens obtidas com um tempo de exposição longo ou por objetos que se movem rapidamente em relação à câmera. O problema da oclusão também interfere na visibilidade de estruturas geométricas confiáveis, sendo esse fator mais crítico na utilização de múltiplas vistas de câmera, pois dificulta o tratamento da correspondência. Como solução para o problema da oclusão é apontada a utilização de mais vistas da cena, até que uma porção suficiente das superfícies esteja sendo capturada. A baixa resolução das imagems utilizadas é outro fator a ser considerado. De acordo com as características da técnica utilizada, é preciso avaliar também a necessidade de se ter ou não o conhecimento prévio dos parâmetros internos (i.e., distância focal, dimensões do pixel, distorção radial e coordenadas do ponto principal) e externos (i.e., posição e orientação) da câmera. Caso os parâmetros sejam necessários, é preciso observar se eles serão informados de maneira completa (i.e., sistema calibrado), de forma parcial (i.e., sistema parcialmente calibrado) ou se serão calculados ao longo do processo. Essa atenção especial se deve ao fato de que pequenas variações na calibração dos parâmetros da câmera podem causar grandes erros nas medições estimadas. Alterações nos parâmetros podem ser provocadas por fatores externos como choques mecânicos e variações de temperatura. A necessidade da calibração completa do sistema traz também a desvantagem da não aplicação do método sobre pinturas ou imagens arquivadas, para os quais os parâmetros não são conhecidos. Além dessas dificuldades, outros cuidados precisam ser tomados, como por exemplo a remoção da distorção radial nas imagens. Distorção radial é um fenômeno provocado pela lente utilizada na câmera e se caracteriza pela introdução de distorções na imagem, que aumentam à medida em que se afasta do centro da imagem para suas bordas. Com isso, na região próxima ao ponto principal (i.e., interseção do eixo óptico com o plano de imagem) o efeito de distorção é quase imperceptível, aumentando radialmente nas bordas da imagem. A distorção radial é agravada com a utilização em lentes com grande abertura angular e pode ser compensada aplicando-se técnicas como as descritas por Frédéric Devernay e Olivier Faugeras em [DF95] e por Richard Hartley e Andrew Zisserman em [HZ00]. A remoção da distorção radial faz com que as imagens capturadas fiquem mais próxima das obtidas pela utilização de um modelo de câmera pinhole (i.e., projeção linear), utilizado em quase todas as técnicas citadas ao longo desse trabalho. 2.2 Técnicas Ativas As técnicas ativas para se extrair informações geométricas da cena a partir de imagens se caracterizam pela introdução de algum tipo de sinal no ambiente, sendo seus resultados derivados da análise do comportamento desse sinal. Como exemplo, podem ser citados o ultrasom e a triangulação ativa. Exemplos de técnicas ativas serão abordados na seqüência.

10 Ultrasom O ultrasom tem sido amplamente utilizado por sistemas de medição de volume e distância em estruturas de difícil acesso, como o interior de blocos de concreto e órgãos e estruturas internas do corpo. Na medicina, o ultrasom tem sido empregado no diagnóstico de doenças desde 1942, quando foi introduzido Karl Theodore Dussik no diagnóstico de tumores no cérebro [Woo02]. Atualmente, os médicos dispõe não só de dispositivos de ultrasom que geram imagens 2D mas também de dispositivos 3D, sendo que as imagens geradas são uma ferramenta não invasiva de grande importância não só no diagnóstico de doenças como também no planejamento de cirurgias [Can03]. Na robótica, os dispositivos de ultrasom tem sido empregados no auxílio à navegação de veículos autônomos [FM94], onde a acurácia e velocidade do sistema de localização são vitais. A principal desvantagem dos métodos relacionados à utilização do ultrasom é que os resultados estão sujeitos à ruídos gerados por múltiplas reflexões das ondas emitidas ou pela não interceptação do reflexo no tempo correto. Quando ocorrem múltiplas reflexões das ondas, a superfície original pode ser replicada em diferentes posições do volume de dados que está sendo gerado, tornando difícil a localização correta dessa superfície. Já no caso da não interceptação do reflexo no tempo correto, a parte da superfície associada ao sinal perdido não será representada no volume de dados, a menos que uma nova amostragem seja feita Triangulação Ativa Triangulação é provavelmente o método mais antigo para a medição de profundidade de pontos no espaço e é provavelmente uma das técnicas mais comuns [San89]. A partir da aplicação da lei dos senos (equação 2.1), sistemas baseados em triangulação medem ângulos e distâncias. sen( AB) C = sen( BC) A = sen( CA) B (2.1) A geometria de um sistema de triangulação ativa é exibida na figura 2.2. Conhecendose a relação espacial (i.e., posição e orientação relativa) entre o projetor e a câmera, bem como os parâmetros internos da câmera, a posição do ponto P no espaço Euclidiano pode ser estimada pela aplicação da lei dos senos (equação 2.1). Na figura 2.2, os segmentos de reta A, B e C definem um triângulo cujo ângulo α, o comprimento de C (i.e., denominado baseline) e a posição em que P é projetado na imagem capturada pela câmera são conhecidos Luz Estruturada As técnicas baseadas em luz estruturada consistem na projeção de um padrão de luz conhecido (e.g., linhas horizontais ou verticais, grids, ou outros padrões mais complexos) sobre o objeto para o qual se deseja extrair informações sobre sua geometria. A partir

11 11 Figura 2.2: Geometria para um sistema de triangulação ativa. Conhecendo-se a relação espacial entre o projetor e a câmera (i.e., posição e orientação relativa), bem como os parâmetros internos da câmera, a posição do ponto P no espaço Euclidiano pode ser estimada pela aplicação da lei dos senos (equação 2.1). Os segmentos de reta A, B e C definem um triângulo cujo ângulo α, o comprimento de C (i.e., denominado baseline) e a posição em que P é projetado na imagem capturada pela câmera são conhecidos. Imagem adaptada de [San89]. da análise da distorção do padrão observado de um diferente ponto de vista, é possível estimar as variações na superfície. A técnica faz uso de triangulação ativa descrita anteriormente, sendo que os componentes do sistema são tradicionalmente dispostos conforme a figura 2.3. À esquerda da figura 2.3 temos o projetor de padrões e o padrão que está sendo projetado no momento; ao centro temos o objeto do qual a geometria pretende-se estimar e à direita a imagem capturada pela câmera. A transição entre duas das listras do padrão projetado representa um plano que intersecciona a superfície do objeto e um pixel na imagem representa um raio de visualização. Uma vez conhecida a relação entre o plano projetado e o raio (i.e., posição e orientação relativa), a profundidade para o pixel é obtida com o cálculo da intersecção entre o plano e o raio. Como exemplo de utilização de luz estruturada pode-se citar o trabalho de Marc Proesmans e Luc Van Gool, que apresentam em [PVG97] um método que propõe a extração da forma 3D de objetos, juntamente com a textura de sua superfície. Tanto a forma quanto a textura são obtidas de uma única imagem. No procedimento, um padrão de alta resolução é projetado sobre o objeto com o auxílio de um projetor de slides comum e as deformações do padrão em função da superfície são observadas por uma câmera. O padrão é composto por um grid de linhas e colunas igualmente espaçadas. A textura da superfície é extraída da mesma imagem lendo-se entre as linhas que são usadas para a extração da forma. O hardware necessário é um projetor de slides, uma câmera comum e um computador. De acordo com os autores, configurar o sistema é uma tarefa fácil onde não são necessário objetos de calibração exóticos, apenas se faz necessária iluminação especial para se obter boa precisão geométrica. De uma única imagem, tanto a forma 3D quanto a textura da superfície são extraídas, sendo possível converter o sistema em um scanner 4D no momento em que a extração das propriedades 3D for aplicada sobre cada quadro de um vídeo.

12 12 Figura 2.3: Exemplo de utilização de luz estruturada. No lado esquerdo temos o projetor de padrões e o padrão que está sendo projetado no momento. Ao centro está a superfície da qual pretende-se estimar a geometria. No lado direito, a câmera captura a imagem da deformação do padrão projetado em função da geometria da superfície. Imagem extraída de [LSP04]. A técnica está sujeita a uma série de limitações físicas devido às propriedades ópticas dos materiais, oclusão e ruído, que dificultam a extração da forma das superfícies. Dependendo da potência do projetor e do espaçamento entre as linhas e colunas do grid que forma o padrão luminoso, o sistema fica restrito a objetos de pequeno porte próximos à câmera e a ambientes pouco iluminados. O espaçamento do grid e a distância da câmera em relação ao objeto também afetam a resolução do modelo gerado. Um método diferente dos métodos convencionais de luz estruturada foi concebido por Jean-Yves Bouguet e Pietro Perona [BP98, Bou99], onde o hardware necessário se restringe a uma câmera de vídeo, uma luminária de mesa, um lápis e um tabuleiro de xadrez. A montagem do equipamento pode ser observada na figura 2.4. Figura 2.4: Hardware utilizado na técnica baseada em luz estruturada apresentada em [BP98, Bou99]. Os resultados desse scanner 3D podem ser observados na figura 2.5. O princípio do método consiste em lançar uma sombra sobre a cena com o lápis ou uma vareta e utilizar a imagem da deformação da sombra para estimar a forma tridimensional dessa cena. O estágio fundamental do método é a detecção da deformação da linha de intersecção do plano de sombra com o plano de referência que contem o objeto.

13 13 Devido ao auto-sombreamento inerente nos objetos, nem todas as partes dos mesmos podem ser reconstruídas a partir de uma única posição da luz. Com o objetivo de se obter uma reconstrução uniforme e mais precisa de toda a cena, são realizadas duas varreduras da mesma, com a lâmpada em duas diferentes posições (i.e., à direita e à esquerda da câmera). Por fim, o resultado das duas varreduras são mesclados, gerando modelos 3D como o exibido na figura 2.5. Uma das principais vantagens desse método em relação ao descrito anteriormente é que a saída gerada consiste em uma reconstrução densa da estrutura da cena. Figura 2.5: Resultados obtidos pelo scanner 3D, baseado em luz estruturada, apresentado em [BP98, Bou99]. As duas implementação citadas anteriormente retornam o modelo 3D dos objetos que estão sendo digitalizados. A partir desses modelos podem ser extraídas medidas de distâncias entre pontos. Essas medidas serão aproximadamente corretas, desde que a calibração do sistema seja conhecida Laser As técnicas que utilizam laser e as técnicas que utilizam luz estruturada possuem princípio de funcionamento bastante semelhante. Ambos se baseiam na triangulação ativa e a projeção do laser nada mais é que a projeção de um padrão de luz bastante intensa, cuja deformação em função da superfície precisa ser analisada pelo sistema. A vantagem da utilização do laser está, por exemplo, na intensidade do sinal luminoso emitido, o que torna a abordagem menos sensível à presença de iluminação ambiente. Figura 2.6: Exemplo de scanner que trabalha com a triangulação de linhas de laser. No lado direito temos um feixe de laser que, com o auxílio de uma lente cilíndrica, projeta sobre o objeto uma linha. O objeto é observado por uma câmera, disposta no lado direito. Imagem extraída de [Cur97].

14 14 A figura 2.6 mostra um exemplo de utilização de laser. No lado esquerdo está representado um feixe de laser que, com o auxílio de uma lente cilíndrica, projeta sobre o objeto uma linha. O objeto, por sua vez, está sendo observado por uma câmera disposta no lado direito. A princípio, a posição e orientação do laser para com relação à câmera é conhecida. Na imagem capturada pela câmera, cada pixel representa um raio que parte do centro de projeção e insersecciona em um ponto a superfície do objeto da qual a geometria pretende-se estimar. Encontrando-se a intersecção desse raio com o plano de laser, a profundidade para o pixel é estimada. A partir da captura de sucessivas imagens com diferentes ângulos de incidência para o plano de laser, a geometria de toda a superfície do objeto é extraída. É comum a utilização de filtros sobre a lente da câmera, para que o padrão de laser observado fique destacado na imagem. Um projeto interessante que faz uso da triangulação óptica com laser é The Digital Michelangelo Project, liderado por Mark Levoy [LPC + 00]. O projeto se utilizou de um sistema composto por hardware e software para digitalização da forma e cor de objetos frágeis e de grande porte sob condições não laboratoriais. Foram digitalizadas 10 estátuas de Michelangelo, incluindo a estátua de David (com 5 metros de altura sem o pedestal), dois interiores de construções e todos os 1163 fragmentos da Forma Urbis Romae, um gigantesco mapa da Roma antiga. Os principais componentes do sistema são um scanner de triangulação a base de laser e um guindates motorizado adaptado para a digitalização de grandes estátuas. Os passos do processo para obtenção do modelo são a calibração do sistema, varredura da superfície pelo laser, aquisição das cores a partir de fotos de alta resolução e, assim que a aquisição de dados é executada, aplicação de um intensivo pós-processamento com o objetivo de se produzir uma malha de polígonos com um valor de reflectância para cada vértice [LPC + 00]. Para a conclusão do experimento foi necessário que a equipe envolvida concebesse novos métodos para representar, visualizar, alinhar e combinar modelos 3D de grandes proporções. O maior dataset gerado foi o modelo do David de Michelangelo, com cerca de 2 bilhões de polígonos e 7000 imagens coloridas. Esse modelo é o mais detalhado que se tem hoje para essa estátua, possuíndo aproximadamente o dobro da resolução de modelos que o antecederam e com um erro inferior a um milímetro. A triangulação óptica baseada na projeção de lasers também é utilizada na obtenção de modelos em menor escala. Em [SO03], Askold Strat e Manuel M. Oliveira descrevem a construção de uma câmera fotográfica 3D portátil aplicada na reconstrução de superfícies suaves a partir de duas imagens obtidas do mesmo ponto de vista em um intervalo de tempo inferior a um segundo. O sistema é composto por uma câmera digital convencional, um gerador de padrões de laser (e.g., linhas retas que seguem a mesma inclinação) e um software para o processamento das imagens. O processo de geração do modelo é inteiramente automático e é iniciado no momento em que o usuário dispara a câmera. Em um primeiro passo, o laser projeta sobre a superfície o padrão conhecido e a câmera é acionada de modo que a projeção desse padrão seja capturada em uma imagem. Em seguida, uma segunda imagem é capturada apenas para que sejam registradas as cores da superfície. Uma vez em posse das duas imagens, o software trata a primeira delas extraindo as linhas de laser e calculando a profundidade para cada uma dessas linhas de acordo com sua deformação em função da geometria da super-

15 15 Figura 2.7: Resultados obtidos pelo sistema descrito em [LPC + 00]. Na esquerda está uma foto da cabeça do David de Michelangelo e na direita a renderização da parte equivalente extraída do modelo completo. A fotografia da esquerda foi tirada sem calibração, com um ponto de vista e com iluminação que difere do modelo geométrico da direita. fície. Assim que é recuperada a geometria da superfície, a segunda imagem é utilizada como textura. O sistema da câmera fotográfica 3D foi utilizado na reconstrução de várias formas, incluindo brinquedos, faces humanas e objetos de cerâmica. Alguns dos resultados podem ser vistos na figura 2.8. Figura 2.8: Resultados obtidos pelo sistema descrito em [SO03]. (a) Malha 3D reconstruída a partir da imagem da face de uma boneca. (b) e (c) Visualizações do modelo com textura mapeada. Outra abordagem que utiliza laser, porém não na forma de triangulação ativa, é a aplicação de laser time-of-flight rangefinder. Nessa abordagem um impulso luminoso é emitido pelo laser e, conforme o tempo de resposta do sinal, a distância entre o ponto de referência (i.e., a posição do próprio equipamento) e a superfície visível é estimada. Um exemplo de utilização desse tipo de equipamento é apresentado por Lars Nyland et al., que descrevem em [NMP + 99] a construção de um sistema capaz de gerar imagens panorâmicas coloridas de ambientes fechados, onde cada pixel armazena tanto a informação de cor quanto a profundidade em relação ao observador. Esse tipo de imagem é conhecida

16 16 como range image. O sistema é baseado em uma câmera digital colorida de alta resolução e um laser time-of-flight rangefinder. O sistema é instalado sobre um motor de passo de modo a permitir tomadas panorâmicas e encontra-se conectado a um microcomputador. Todo o conjunto é montado sobre um carrinho (i.e., pequena mesa com rodinhas), para prover mobilidade. Para o tratamento do problema da oclusão, o processo de aquisição de dados é repetido de diferentes posições no ambiente, sendo essas posições conhecidas e armazenadas junto com cada uma das imagens panorâmicas geradas. Alguns dos resultados do experimento podem ser vistos na figura 2.9. Figura 2.9: Cena gerada a partir da geometria reconstruída com base em 10 milhões de amostras, coletadas de dois pontos de referência distintos, pelo sistema descrito em [NMP + 99]. As range images, como mencionado anteriormente, armazenam a informação de profundidade para cada pixel da imagem. Com base nessa informação é possível reconstruir a geometria da superfície visível da cena. Se todos os parâmetros são conhecidos, então se têm medidas corretas e não valores sujeitos a um fator de escala. De modo geral, as técnicas baseadas em laser então sujeitas a uma série de limitações físicas devido às propriedades ópticas dos materiais, excesso de iluminação ambiente, oclusão e ruído, que dificultam a extração da forma das superfícies. 2.3 Técnicas Passivas Ao contrário das técnicas ativas, as técnicas passivas não introduzem sinais no ambiente, apenas coletam imagens e a partir de sua análise tentam estimar posições, ângulos e distâncias. Por estarem sujeitas exclusivamente ao que foi registrado nas imagens, a viabilidade da utilização de técnicas passivas está relacionada com a quantidade de informações de alta freqüência visível, ou seja, técnicas passivas tentem a falhar se a quantidade de textura no ambiente é baixa. Como exemplo de técnicas passivas podem ser citadas o uso da variação de foco, a triangulação com duas ou mais câmeras e medições realizadas diretamente sobre uma imagem convencional, pelo estabelecimento de relações entre elementos (e.g., pontos coplanares e linhas paralelas no espaço Euclidiano) demarcados sobre a imagem.

17 17 O restante dessa seção aborda as técnicas baseadas em variação de foco e utilização de triangulação com duas ou mais câmeras. As técnicas passivas que fazem uso de uma única imagem serão abordadas com maior profundidade no capítulo 3, pois formam o grupo de técnicas de maior interesse para o presente trabalho Variação de Foco A variação de foco é considerada uma das maiores fontes de noção de profundidade utilizada pela visão humana [XS93], juntamente com a estereoscopia (seção ) e outras pistas passivas presentes em imagens. Estimar a geometria de uma cena a partir da variação do foco consiste em recuperar a informação de profundidade associada a cada pixel de imagem explorando a variação do borramento presente em um conjunto de imagens capturadas de um mesmo ponto de vista, porém com diferentes configurações de foco. A distância de um ponto na cena em relação à câmera é obtida por um processo de regulagem chamado auto-foco. No momento em que o melhor foco (i.e., aquele que faz com que a imagem de um ponto fique mais nítida) é encontrado para o ponto em questão, a configuração de foco definida é utilizada no cálculo da profundidade associada a esse ponto. A dificuldade em se trabalhar com a técnica está em tratar o caso em que a superfície não é rica em textura. Nesse caso, os elementos parecem ser os mesmos quando estão ou quando não estão em foco. Com isso, as partes das imagens com menor quantidade de informação de alta freqüência (i.e., pobres em textura) não serão adequadas para a computação da profundidade. Figura 2.10: Formação da imagem e extração de profundidade pela variação de foco. Na imagem, P é um ponto na cena que se deseja extrair a profundidade; A é a abertura da lente; R é o raio que passa por P e o centro O da lente, interccionando o plano de imagem I f no ponto Q; I 1 e I 2 são imagens utilizadas no cálculo da distância d, que é a distância entre a lente e o plano perpendicular que contém o ponto P ; d i é a distância entre a lente e o plano de imagem; f é a distância focal; β é a distância conhecida entre as imagens I 1 e I 2 ; α é a distância entre I 1 e o plano de imagem e γ é a distância entre I 1 e a lente. Imagem extraída de [NWN95]. Para se falar a respeito de como a variação do foco possibilita a extração da geometria de uma cena, é necessário que os princípios geométricos básicos da formação de uma

18 18 imagem sejam analizados. A figura 2.10 demonstra esses princípios. Todo raio de luz que é irradiado por um ponto P da cena, e que passa pela abertura A, é refratado pela lente e convergido a um ponto Q no plano de imagem. Para uma lente fina, a relação entre a distância d do objeto, a distância focal f da lente e a distância d i do plano de imagem é dada pela lei de Gauss, 1 d + 1 d i = 1 f (2.2) Cada ponto sobre na superfície de um objeto no espaço é projetado sobre um único ponto no plano de imagem, causando a formação de uma imagem focada I f. Se, por acaso, o plano do sensor da câmera não coincidir com o plano de imagem, a luz recebida de P será distribuída sobre uma área no plano do sensor. O resultado dessas distribuição será uma imagem borrada do ponto P. Uma possível solução para se encontrar a profundidade d associada ao ponto P está na utilização de duas imagens, I 1 e I 2, separadas por uma distância física β conhecida. O problema passa a ser resolvido pela análise o borramento relativo a cada ponto da cena, projetado sobre essas duas imagens, e o cálculo da distância α de sua imagem focada. Então, usando d i = γ α, a lei expressa na equação 2.2 retorna o valor de d para o ponto. Jorge L. C. Sanz [San89], Shree K. Nayar et al. [NWN95], Yalin Xiong e Steven A. Shafer [XS93] provêem informações adicionais sobre a técnica de variação de foco e implementações da mesma Triangulação Passiva Extrair a geometria a partir de múltiplas imagens de uma cena envolve resolver o problema de correspondência, onde é necessário garantir que um conjunto de elementos projetados nas imagens sejam exatamente os mesmos elementos na cena [HZ00]. Assumindo que o problema da correspondência foi resolvido, de forma que a projeção de um ponto no espaço Euclidiano (P i ) seja conhecida nas duas imagens (p i e p i), conforme exibido na figura 2.11, o método de triangulação de raios correspondentes faz uso da lei dos senos (equação 2.1) para estimar a posição de P i. No entanto, para que tal cálculo seja possível, os parâmetros internos e externos das câmeras precisam ser conhecidos [HZ00]. Na figura 2.11, O C e O C representam a origem dos sistemas de referência das câmeras e R e T são a rotação e translação que transformam as coordenadas dos pontos em um sistema de referência para o outro. e e e são os pontos onde O C e O C seriam projetados na imagem capturada pela câmera da esquerda e direita, respectivamente Estereoscopia A reconstrução da cena com visão estéreo consiste em capturar duas projeções da cena, tomadas de diferentes pontos de vista, e estimar a profundidade em uma delas a partir da análise da disparidade entre elementos correspondentes nessas duas imagens (figura 2.11). A estereoscopia é o único meio passivo que dá correta noção de profundidade [Bou99]. Um dos cuidados necessários ao se utilizar múltiplas vistas de câmera é saber identificar

19 19 Figura 2.11: Sistema de aquisição estéreo, onde P i é um ponto no espaço observado por duas câmeras. p i e p i são a projeção de P i nas imagens da esquerda e da direita, respectivamente. O C e O C representam a origem dos sistemas de referência das câmeras e R e T são a rotação e translação que transformam as coordenadas dos pontos em um sistema de referência para o outro. e e e são os pontos onde O C e O C seriam projetados na imagem capturada pela câmera da esquerda e direita, respectivamente. Imagem extraída de [Bou99]. um ponto de translação ótimo entre elas, pois quanto menor a translação maior será a sensibilidade a ruído. Na seção serão referenciados sistemas que utilizam três ou mais vistas de câmera. A reconstrução da geometria associada com a parte visível da cena é composta por duas etapas básicas: a primeira é encontrar os pontos correspondentes nas duas projeções e a segunda é interseccionar os raios correspondentes no espaço 3D. Longuet-Higgins [LH81] idealizou o algoritmo para se computar a estrutura tridimensional de uma cena baseando-se em um par de imagens perspectivas correlacionadas, onde a posição e orientação relativa entre as duas projeções é desconhecida. Em seu trabalho é assumido que o problema da correspondência está resolvido e que se a cena contém ao menos oito pontos cuja imagens podem ser localizadas nas duas projeções. Neste caso, a orientação relativa das duas projeções e a estrutura tridimensional da cena são computadas de maneira direta a partir da solução de um sistema de equações lineares. A solução baseada em triangulação é de fácil aplicação, porém na prática as imagens possuem ruído, o que implica em problemas na intersecção dos raios no espaço. Tendo em vista esse obstáculo, Richard Hartley e Peter Sturm [HS95] propõe uma série de algoritmos que assumem que a calibração e a posição das câmeras são conhecidas e, modelando o ruído como uma função Gaussiana, descrevem métodos de triangulação que encontram o mínimo global da função de custo. Ao todo são sete os métodos propostos, sendo que cada um contém suas vantagens e desvantagens, conforme a aplicação e restrições impostas sobre o tempo de resposta do sistema. Nos trabalhos citados anteriormente, os parâmetros internos da câmera são conhe-

20 20 cidos, no entanto esses parâmetros estão sujeitos a alterações devido à fatores externos como choques mecânicos ou até mesmo variações de temperatura. Na tentativa de se contornar esse problema, métodos baseados no não conhecimento prévio dos parâmetros internos da câmera tem sido desenvolvidos. Dentre eles pode ser citado o trabalho de Zhengyou Zhang et al. [ZLF96], onde é descrito um algoritmo para auto-calibração de um sistema estéreo em que a movimentação de uma câmera em relação a outra é estimada sem a necessidade de objetos de calibração e assumindo-se que as coordenadas do ponto principal sejam iguais a zero. Zhang et. al. utilizam a redundância de informação contida na seqüência de imagens em configuração estéreo na solução do problema. Como prérequisito é necessário que a correspondência estéreo e temporal entre os elementos nas imagens seja estabelecida. Os resultados do sistema estão sujeitos a um fator de escala. Ian Reid e Andrew Zisserman [RZ96] exploram uma solução para o problema e a aplicam à uma situação real, onde vídeos da final da Copa Mundial de 1966 são analisados na tentativa de se definir se uma das jogadas mais polêmicas do futebol internacional teria ou não resultado em um gol para um dos times. Na abordagem são utilizadas duas seqüências de vídeo da mesma jogada, sem o conhecimento dos parâmetros internos ou externo das câmeras, e são feitas medições sobre um plano no espaço (e.g., o campo de jogo) com o objetivo de se descobrir se a bola atravessou completamente ou não a linha do gol e, caso não tenha atravessado, quando faltou para a ocorrência do evento. Como fonte de referência para diversas outras técnicas de calibração dos parâmetros internos da câmera e reconstrução da geometria a partir de imagens, as teses de doutorado de David Liebowitz [Lie01] e de Jean-Yves Bouguet [Bou99] podem ser consultadas, assim como o livro de Richard I. Hartley e Andrew Zisserman [HZ00] Três ou Mais Câmeras Duas vistas de câmera são o suficientes para a reconstrução da parte visível de uma cena, no entanto a adição de outras vistas de câmera servem para reduzir a incerteza associada ao posicionamento espacial das estruturas visualizadas [HZ00]. Isso se deve ao fato de que com duas vistas de câmera apenas pontos são tratados, enquanto que com três ou mais vistas de câmera fica possível estimar-se transformações rígidas baseadas em linhas. Outra vantagem é a redução do problema da oclusão e como desvantagem é apontado o aumento da complexidade dos sistemas. O primeiro trabalho a tratar dos problemas de se utilizar mais que duas vistas de câmera foi [FLM92]. Em seu trabalho, Olivier Faugeras et al. apresentam um método para auto-calibração utilizando trios de imagens. Os autores demonstraram que é possível a calibração de uma câmera apenas apontando-a para o ambiente, selecionando pontos de interesse e então seguindo-os na seqüência de imagens capturadas a medida que a câmera se movimenta. Neste caso, a movimentação da câmera é desconhecida, mas e assumido que os parâmetros internos sejam constantes. No próximo capítulo serão analisadas as técnicas passivas que fazem uso de uma única imagem para a recuperação de medidas no espaço Euclidiano.

21 21 3 CÁLCULO DE DIMENSÕES A PARTIR DE UMA ÚNICA IMAGEM Como mencionado anteriormente, a reconstrução da estrutura tridimensional e/ou extração de medidas de uma cena a partir de imagens tem motivado muitas pequisas no campo da visão computacional, no entanto o grupo de pesquisadores que tratam do problema utilizando uma única imagem é restrito. O presente capítulo é reservado à discussão das pesquisas pertencentes a esse seleto grupo que utiliza como principal ferramenta os princípios da geometria projetiva [HZ00]. 3.1 Métodos Baseados em Homografia É denominada homografia a relação entre dois elementos (e.g., pontos, linhas ou planos), de forma que qualquer ponto em um elemento corresponda a um e apenas um ponto no outro elemento e vice-versa. Nessa seção serão apresentados métodos que utilizam de homografias definidas entre elementos identificados em uma imagem e elementos no espaço Euclidiano para realizar medições diretamente sobre uma imagem convencional. Figura 3.1: Exemplo de medida de altura obtida a partir da aplicação da técnica descrita em [CZVG + 98]. Na imagem da esquerda, t r e b r são os pontos de referência, h r é a distância conhecida entre esses pontos. t e b são os pontos cuja distância h precisa ser estimada. Na imagem da direita é apresentada a medida estimada para h. Imagem extraída de [CZVG + 98].

22 22 O interesse na extração de medidas da cena a partir de uma única imagem é em parte motivado pela grande quantidade de imagens (e.g., fotografias, vídeos e pinturas) disponíveis no nosso dia a dia e que poderiam ser utilizadas na reconstrução da geometria da parte visível da cena ou apenas da porção que desperte maior interesse. Com base nessa motivação, Antonio Criminisi et al. [CZVG + 98] desenvolveram um algoritmo que calcula o comprimento de um segmento de reta diretamente de uma imagem, dado um outro segmento paralelo ao primeiro e de tamanho conhecido. O algoritmo proposto é aplicado, por exemplo, no auxílio à identificação da altura de suspeitos de crimes cujo delito foi registrado por uma câmera de segurança. A figura 3.1 mostra um exemplo de medição obtida. Dada a linha de fuga do plano de referência (i.e., solo), o ponto de fuga na direção vertical e ao menos uma altura de referência h r, determinada pela distância entre os pontos t r e b r, a altura h de qualquer ponto em relação ao plano de referência pode ser estimada informando-se um ponto t e sua projeção perpendicular sobre solo, b. É importante comentar que os pontos b r e b fazem parte de plano de referência e os segmentos de reta t r b r e tb são paralelos no espaço Euclidiano. Para se estimar a altura h desejada, um método que define uma homografia entre a linha demarcada sobre a imagem e a linha no espaço tridimensional é utilizado. Um dos fatores mais interessantes desse método é que os parâmetros internos e externos da câmera não precisam ser conhecidos, o que facilita a reutilização de imagens arquivadas. Uma das dificuldades em sua aplicação é estimar qual o ponto na imagem que melhor se posiciona em relação às extremidades do segmento de reta do qual o comprimento deseja-se mensurar. Figura 3.2: Resultado obtido a partir da aplicação do método descrito por [CRZ97] e [CRZ99a]. No lado esquerdo é exibida a imagem original. No lado direito as medidas estimadas para os segmentos de reta marcados sobre o plano de referência (a parede). Os pontos pretos foram utilizados na computação da homografia entre o plano de referência e o plano de imagem. A incerteza é limitada a ±1 desvio padrão e a dimensão real dos segmentos assinalados é de 139cm. Imagem extraída de [CRZ97]. Em trabalhos relacionados ao anterior, Antonio Criminisi et al. [CRZ97, CRZ99a] apresentam um algoritmo que permite a medição da distância entre dois pontos sobre um plano de referência (figura 3.2) a partir de uma imagem gerada com projeção perspectiva da cena e de uma medida conhecida sobre esse plano. A técnica apresentada faz uso de um método que define uma homografia entre do plano de imagem e o plano no espaço tridimensional, ao contrário da técnica anterior onde a homografia é aplicada de linha para linha. Da mesma forma que no método anterior, não há a necessidade de se informar uma imagem calibrada, ou seja, o conhecimento prévio dos parâmetros da câmera não se faz

23 23 necessário. A ênfase maior desses trabalho está na análise da incerteza que envolve as medições estimadas. A importância da análise da incerteza e a técnica empregada será discutida no capítulo 4. Seguindo a linha da utilização de homografias, Antonio Criminisi et al. [CRZ99b, CRZ00] descrevem como medições afins no espaço 3D (e.g., distâncias, áreas, etc.) podem ser computadas a partir de uma única imagem da cena em projeção perspectiva, apontando-se apenas a planaridade de pontos e paralelismo entre linhas, para a identificação da linha de fuga de um plano de referência e um ponto de fuga de uma direção não paralela a esse plano. Nesses trabalhos são apresentados: 1. Modos de se computar a distância entre planos paralelos ao plano de referência (com a dependência de um fator de escala em comum); 2. Como computar a área e comprimentos em qualquer plano paralelo ao plano de referência; 3. Como determinar a posição e orientação da câmera no espaço Euclidiano. A mesma abordagem de análise de incerteza aplicada em [CRZ97] e [CRZ99a] é utilizada para se estimar o erro que envolve as medições realizadas e mais uma vez os parâmetros internos e externos da câmera não precisam ser conhecidos. Figura 3.3: Reconstrução 3D de La Trinità a partir da aplicação da técnica descrita em [CRZ99b] e [CRZ00]: (a) La Trinitá (1426, Florença, Santa Maria Novella), afresco por Masaccio ( ); (b-e) visões do modelo tridimensional gerado. Imagem extraída de [Cri99]. As medidas obtidas a partir da utilização da técnica descrita em [CRZ99b] e [CRZ00] aplicam-se desde o auxílio a análises forênsicas até a modelagem virtual baseada em fotos ou pinturas. Um exemplo de reconstrução completa da estrutura tridimensional da parte visível da cena é apresentada na figura 3.3. Como referência adicional a respeito das

24 24 técnicas citadas até o momento nessa seção é apontada a tese de doutorado de Antonio Criminisi [Cri99]. De acordo com Fengrong R. Huang et al. [HHW04], a técnica citada anteriormente pode ser estendida para que seja estimada a distância entre um ponto pertencente ao plano de referência e um ponto em um plano perpendicular à referência. Os autores assumem que alguns dos parâmetros internos da câmera são conhecidos enquanto dois deles não o são. Os parâmetros conhecidos a priori são aqueles que, geralmente, são adotados como padrão por fabricantes das câmera atuais (e.g., coordenadas do ponto principal no centro da imagem, fator de distorção igual a zero e pixels com relação de aspecto igual a um). Outra contribuição dada por esse trabalho é um método de se estimar, com base na matriz que define a homografia calculada, os dois parâmetros internos da câmera que são desconhecidos. 3.2 Método para Medição de Dimensões de Caixas Seguindo uma linha de pesquisa diferente da apresentada até o momento, Kefei Lu [Lu00] aborda o problema de se obter as dimensões de caixas (i.e., paralelepípedos) com base em uma única imagem em tons de cinza, para aplicações industriais de transporte e armazenamento. Em seu trabalho, é desenvolvida uma solução onde a intervenção do usuário não é necessária após uma etapa de configuração inicial. O método proposto primeiro tenta identificar o objeto na imagem para depois estimar suas dimensões. Para a identificação, são extraídas direto da imagem propriedades que caracterizam uma caixa e que auxiliam em sua posterior reconstrução no espaço Euclidiano. Como exemplo dessas propriedades, podem ser citados segmentos de reta obtidos a partir de detecção de bordas. Os segmentos de retas, quando combinados, fornecem pistas a respeito de paralelismo e ortogonalidade no espaço tridimensional. Vértices triedrais (i.e., vértices formados pela intersecção de três segmentos de reta e que caracterizam um canto da caixa) são formados e combinados na tentativa de se estimar a posição do objeto na imagem. Em seu trabalho, Lu assume que três faces da caixa estão visíveis simultaneamente e que as imagens são obtidas por meio de projeção paralelo ortográfica, para fins de simplificação dos cálculos. De acordo com a autora, o processo pode falhar devido a má qualidade das imagens dadas como entrada ou devido ao excesso de textura presente nas faces. O excesso de textura gera uma grande quantidade de vértices triedrais e, conseqüentemente, um elevado número de combinações a serem testadas. A aplicação visa tempo real e impõe um limite no tempo máximo para realização do cálculo. Uma vez identificados os vértices do objeto sobre a imagem, o cálculo de suas respectivas coordenadas no espaço Euclidiano se faz necessário para que as dimensões das arestas sejam estimadas. A partir de restrições estabelecidas pela geometria da caixa (e.g., paralelismo e ortogonalidade entre arestas no espaço Euclidiano), um sistema de equações é montado e, desde que a distância entre a câmera e a caixa seja conhecida, as dimensões são finalmente calculadas. Caso a distância entre a câmera e a caixa não seja informada, o resultados do sistema estará sujeito a um fator de escala relativo às dimensões da imagem. Esse fator de escala é justificado pelo uso de projeção paralelo ortográfica, para a simplificação dos cálculos.

25 25 4 ANÁLISE DA INCERTEZA O erro em um experimento qualquer pode ser definido como a diferença entre o valor calculado ou observado e o valor verdadeiro. No entanto, o valor verdadeiro não é conhecido na maior parte das situações, caso contrário não haveria a necessidade da realização do experimento. O que ocorre com certa freqüência é a existência de um valor aproximado identificado a priori, por experimentos práticos ou teóricos. Ao se realizar medições diretamente sobre imagens, é importante estimar a incerteza associada a essas medições. O presente capítulo aborda a ocorrência de erros. Inicialmente serão apontados os tipos de erros e definida a diferença entre acurácia e precisão. Na seqüência é introduzido o conceito de incerteza e comentada a propagação do erros em um experimento. Por fim, são enumeradas as técnicas para o tratamento de erros e análise da incerteza aplicadas nos trabalhos referenciados nos capítulos anteriores. Os conceitos tratados nas seções seguintes são definidos com base nas observações feitas por Philip R. Bevington em [Bev69], onde a análise do erro é tratada de forma mais aprofundada que a que se propõe no presente capítulo. 4.1 Tipos de Erros Quando se realiza um experimento, são três os tipos de erros aos quais o resultado está sujeito: erros ilegítimos, erros sistemáticos e erros randômicos. Os erros ilegítimos costumam ser os mais fáceis de serem identificados e corrigidos. Esse tipo de erro emerge de enganos na computação ou na medição das entradas ditas conhecidas. A eliminação desse tipo de erro é feita através da correção da rotina empregada no experimento ou através da correção das entradas informadas. Os erros sistemáticos são mais difíceis de serem identificados e são originados por falhas na calibração de equipamentos ou por conclusões tendenciosas por parte do observador. Os erros sistemáticos podem ser estimados a partir da análise das condições do experimento e, em muitos casos, correções podem ser feitas aos dados de entrada ou saída para se compensar a ação de tal fator, além da calibração do equipamento ou re-condicionamento do ambiente, quando possível. O terceiro tipo de erro ao qual um experimento está sujeito é o chamado erro randô-