COM a legislação e normas em vigor, locais

Transcrição

1 Reconhecimento de Caminhos Táteis com Visão Computacional em Ambientes Controlados Rodrigo Lima, Maurício Marengoni, Universidade Presbiteriana Mackenzie Abstract This article presents the initial steps to build an application that for tactile flooring recognition in controlled environments providing help to visually impaired humans. The solution presented describes the use of a set of efficient algorithms for image processing such as: spatial and morphological filters, adaptive threshold and depth estimation. The system does depth estimation using Monocular Vision and the results obtained shows that it is possible to design a mobile system to help the impaired to move along this type of flooring. 1 INTRODUÇÃO COM a legislação e normas em vigor, locais públicos devem seguir determinados padrões para aumentar e facilitar a mobilidade de pessoas de baixa ou nenhuma visão. A ABNT NBR 9050, descreve padrões que os pisos táteis deverão seguir para se enquadrar à lei de acessibilidade [1]. Sendo isto uma norma, juntamente com a preocupação de grandes empresas e empresas públicas em melhorar e facilitar a acessibilidade de pessoas de baixa ou nenhuma visão, busca-se com este artigo, demonstrar que é possível, com a ajuda da visão computacional, reconhecer pisos táteis e contribuir, em trabalhos futuros com a criação de hardware específico, para melhorar a forma como estas pessoas se locomovem em ambientes controlados. Demonstra-se também neste trabalho, que é possível estimar a profundidade de campo com o uso de visão monocular e com isto evitar sistemas complexos e caros do ponto de vista computacional. Este aplicativo poderá auxiliar deficientes visuais no uso de dispositivos móveis integrado com uma Bengala de Hoover. Infelizmente, mesmo com normas e leis, muito ainda deve ser feito para a adaptação destes pisos, conforme pode ser observado na Figura 1. Figura 1: Descaso com pisos táteis[2] A Figura 1, ilustra o que ocorre nas cidades, onde o caminho direcional, muitas vezes não leva a lugar algum, sendo interrompido repentinamente, ou pode levar o deficiente visual a um obstáculo. Dado este tipo de problema, este trabalho teve como foco o desenvolvimento de uma aplicação para reconhecimento de pisos táteis em ambientes controlados para sistemas móveis. Em Sousa e Marengoni (2013), é demonstrada a possibilidade da utilização de aparelhos móveis para detecção de faixa de pedestres. Este trabalho serviu como motivação para melhorar, e até mesmo ampliar o uso de dispositivos móveis por deficientes visuais afim de melhorar sua capacidade de locomoção [3]. Este trabalho, baseia-se na utilização do algoritmo de Taylor et al. (2004, p ), Monocular Vision as a Range Sensor, que descreve os problemas na utilização de visão estéreo em dispositivos móveis: consumo maior de ener- X Workshop de Visão Computacional - WVC

2 gia, uso de memória e espaço para montagem das câmeras; o artigo menciona ainda uma forma de solucionar o problema da medição da profundidade para a extração da informação em 3D usando visão monocular. Embora o contexto do projeto como um todo seja desenvolver um protótipo do aplicativo que ajudará na acessibilidade, este artigo limita-se a demonstrar o processo de identificação do piso tátil tendo como entrada um stream de vídeo ou uma única imagem. As informações obtidas sobre o piso, devem gerar uma resposta com avisos, que poderão ser sonoros, ou em caso de implementação em celulares, vibração. Neste projeto foi utilizado o framework OpenCV 2.4.6, que é uma plataforma de visão computacional e fornece ao desenvolvedor diversos métodos já implementados que facilitam o desenvolvimento. O trabalho esta separado em 5 seções. Na seção 2 são apresentados conceitos básicos sobre a definição da norma, enquanto na seção 3 é descrito o algoritmo proposto. As seções 4 e 5 descrevem os resultados parciais e os trabalhos futuros que serão necessários para alcançar o resultado ideal do sistema. 2 CONCEITOS BÁSICOS Os pisos táteis, com o uso, apresentam imperfeições como sujeiras e o desgaste natural do piso, portanto, o método desenvolvido utiliza filtros para primeiramente identificar e remover estas imperfeições. Na Figura 2 podese observar os dois tipos de pisos descritos pela ABNT. É importante ressaltar que o piso pode variar suas medidas de acordo com os limites estabelecidos pela norma. de alerta, utilizado para informar desníveis, escadas e mudança de direção. Como o padrão ABNT limita-se a dizer apenas que os pisos devem ser cromo diferenciados, a segmentação por contorno foi o método escolhido para identificação. A Figura 3 ilustra um cenário típico onde o sistema deverá funcionar. Visualmente distingue-se contornos que servirão para determinar a assinatura do piso, ou seja, os padrões a serem extraídos do piso e comparados com a norma ABNT NBR Figura 3: Piso tátil em ambiente controlado Ainda na Figura 3, é possível observar a deformação causada pelo distanciamento da posição da câmera em relação ao piso, somando-se a isto o ângulo de captura do frame, este é um dos problemas para a estimativa de profundidade em visão monocular. O ângulo de posicionamento da câmera, é tratado como parâmetro de entrada, porém sabe-se que os smartphones atuais possuem outros artifícios tecnológicos, como giroscópios, capazes de identificar ângulos na horizontal e vertical. (a) Piso Direcional (b) Pisto de Alerta Figura 2: Piso tátil Na Figura 2a ilustra-se um piso direcional indicado para seguir, já na Figura 2b um piso Figura 4: Cones visuais de pessoas em pé [1] X Workshop de Visão Computacional - WVC

3 Também será adicionado como parâmetro, o ângulo de abertura da câmera obtido obtido de acordo com as especificações do dispositivo. Os ângulos de alcance visual são importantes pois fornecem ao algoritmo parâmetros que ajudam a simular a visão humana. Conforme indicado na Figura 4 a norma ABNT NBR 9050 ilustra a posição dos olhos, ou linha do horizonte (LH), a uma altura entre 1,40 m e 1,50 m do piso. O valor LH será uma entrada parametrizada, de acordo com a altura em que o dispositivo será utilizado. 3 ALGORITMO PROPOSTO Mesmo sendo uma tarefa fácil para o sistema de visão humano, a identificação de pisos táteis requer um algoritmo onde serão necessários vários passos até a extração da informação final. Um passo importante para este trabalho são as operações de filtragem. Filtros são ferramentas básicas utilizadas para remoção de ruídos [6], neste caso, é considerado ruído, qualquer parte da imagem que possa ser confundido com a informação desejada, como por exemplo manchas no piso. Ruídos como pequenas manchas no solo podem contribuir na detecção de falsos-positivos e ruídos próximos ao eixo do piso podem gerar falsos-negativos, sendo assim, o resultado final estaria comprometido. Porém, mesmo sendo uma etapa fundamental para o processo, há de se tomar certos cuidados em relação a desempenho, pois algumas operações de filtragem podem ter alto custo computacional, dificultando a obtenção do resultado em um tempo aceitável. Para minimizar este problema o processamento foi feito em camadas, onde a imagem de entrada com resolução de 1280x720 foi recortada para trabalhar apenas com os primeiros 400x720 pixels, ou seja, a parte mais próxima do usuário. Caso neste primeiro corte não fosse identificado o piso tátil, o algoritmo recorreria aos demais cortes reduzindo assim o tempo de filtragem. O filtro gaussiano, definido pela equação, G(x, y; δ) = 1 x2 + y 2 2πδ 2 e (1) 2δ 2 é usado para suavizar a imagem, de forma ponderada e simétrica. Ele é o resultado de uma convolução de cada ponto da matriz de entrada com o kernel gaussiano, que depois é somado para devolver a imagem de saída. Ele não é o mais rápido, porém, Bradski e Kaehler (2008) o classifica como o mais útil dos filtros de suavização [8]. O filtro gaussiano é utilizado antes de um filtro passa-alta, que tem como característica principal ressaltar bordas, regiões de interesse e mudança de intensidade, porém acaba por ressaltar alguns ruídos, que, com a utilização da gaussiana, serão diminuídos antes deste processo [6]. O filtro passa-alta foi aplicado com a Máscara ilustrada na Tabela 1. Tabela 1: Máscara para o filtro passa-alta Após estas duas operações a imagem de saída ainda pode apresentar pequenos ruídos, que podem ser removidos, completa ou parcialmente, por operações morfológicas utilizando uma operação de fechamento (uma dilatação após uma erosão) por um elemento estruturante do tipo retangular de tamanho 5x5. Um threshold adaptativo, com função de média, é realizado após as operações de filtragem. Bradski e Kaehler (2008) descrevem que o filtro threshold é uma decisão final sobre quais pixels o algoritmo irá trabalhar, isso por que, ao utilizarmos esta função determina-se um limiar para binarização obtendo um resultado final para os pixels que estão abaixo do limiar e outro para os que estão acima. O threshold adaptativo é na verdade uma variação do threshold, que se adapta melhor as condições de iluminação [8]. As etapas destacadas na Figura 5, ilustram passo a passo o processamento necessário para obter a imagem a ser utilizada na segmentação e na extração da informação. X Workshop de Visão Computacional - WVC

4 (a) (b) (c) (d) Figura 5: Processamento da imagem a utilização de uma única câmera. Said et al. (2012, p. 946), descrevem em seu trabalho como aumentar a precisão deste método, porém para isto seria necessário uma calibragem o que pode ser complicada, visto o tipo de público ao qual a aplicação é destinada [4], [5]. Sendo assim, optou-se por adotar um modelo sem calibragem. Utilizando a busca por contornos para extrair da imagem a informação de bordas, e com isso, retirar delas, usando o algoritmo Moments, o centro de massa podendo assim identificar se existe um piso tátil e se este é um piso direcional ou de alerta. A função findcontours, trabalha com imagens binárias, neste caso imagens processadas com o threshold, porém também poderia ser utilizado o algoritmo de Canny, que retorna apenas os pixels de borda. O algoritmo de moments é definido pela seguinte equação, m p,q = I(x, y)x p y q (2) Bradski e Kaehler (2008) descrevem que o algoritmo de moments soma todos os pixels do contorno, e é normalmente utilizado para comparar dois contornos [8]. No caso desta proposta, o algoritmo de moments é utilizado para achar o centro de massa dos contornos e comparar com contornos vizinhos, buscando identificar se a distância entre eles corresponde a alguma das marcações de um piso tátil. Esta distância é uma distância euclidiana definida em milímetros. A profundidade da imagem, pode ser extraída usando duas câmeras, visão estéreo, mas, como já foi mencionado, esta técnica apresenta alguns problemas em dispositivos móveis como tempo de processamento, consumo de energia e mais espaço para montagem das câmeras. A Figura 6 ilustra o problema de extrair informações em fotos. Percebe-se que, embora os pisos tenham a mesma dimensão, ao afastar-se da origem a foto sofre uma distorção simétrica. No trabalho de Taylor et al. (2004, p ), é descrito como resolver o problema de estimativa de profundidade de imagem com Figura 6: Problema de profundidade de campo Como pode ser observado na Figura 6, o ângulo proposto, dependendo da câmera utilizada, é semelhante ao cone visual descrito pela ABNT, e neste cone é possível observar uma área mais próxima do usuário,onde nem os olhos nem a câmera alcançarão. A área mais próxima será o ponto inicial, que é importante pois precisa-se dele para calcular a profundidade total. O ângulo demonstrado na imagem deve levar em consideração, tanto o campo de visão (FOV) quanto o ângulo de posicionamento da câmera. Deve-se tomar o cuidado para que o ponto inicial seja o mais próximo possível do cone visual, tentando aproximar a visão da câmera, à mesma visão obtida pelos olhos humanos. Além disto, o aplicativo não necessitará que seja parametrizada a altura do usuário. Mais informações sobre os ângulos e parâmetros utilizados no sistema, podem ser observados na Figura 7, onde Taylor et al. (2004, p ) demonstram o FOV, vertical e horizontal. X Workshop de Visão Computacional - WVC

5 β + 2α(n 1 v) y = h tan( ) n 1 (7) γ(2µ m + 1) x = y tan( ) m 1 (8) Sendo assim, para cada coordenada (u,v) determina-se um distanciamento em (x,y). Com estes valores, pode se comparar para cada contorno, a partir de seu centro de massa, o distanciamento entre seus centros [4]. Figura 7: Modelo de visão monocular [3] Na Figura 7 é demonstrado uma visão do Robô utilizado no experimento, Taylor et al. (2004, p ), especificando os ângulos de abertura e inclinação e ilustra as variáveis que são utilizadas nas equações 3-6. α + β + δ = 90 (3) tan(β) = b h tan(α + β) = b + d h tan(γ) = w b + d (4) (5) (6) As equações de 3-6 expõem um modelo trigonométrico, porém, como visto na Figura 5, a imagem sofre uma distorção, fica menor conforme se afasta da câmera, nos dois eixos, vertical e horizontal. Para solucionar este problema, relacionam-se as distancias reais com coordenadas (u,v), que são na verdade o posicionamento dos pixels aos quais quer-se obter a medida. Dado uma imagem de m por n pixels, neste caso 1280x720, tem-se : (a) (b) Figura 8: Piso de alerta e direcional [1] Sabendo o distanciamento entre os eixos, definida pela norma ABNT, pode-se confrontar a distância encontrada entre os dois centros de massa. Para definir de que se trata de um piso direcional, além de respeitar o distanciamento da norma, deve-se achar a distância em x, com uma margem de 5mm de variação em y, do outro centro de massa. Uma regra semelhante é aplicada ao piso de alerta, sendo que a distância para este é calculada no y, com uma margem de 5mm em x. Esta margem é aplicada para corrigir possíveis desvios e nos certificarmos de que o cálculo esta sendo feito com o eixo correto. (a) Figura 9: Piso direcional e de alerta após identificação (b) X Workshop de Visão Computacional - WVC

6 A Figura 9a e a Figura 9b, ilustra o resultado parcial obtido, onde pode-se observar os diversos pontos encontrados. Nos casos apresentados, o piso estava limpo, o que não gerou resultados indevidos, porém, este é um problema real e deve ser tratado em trabalhos futuros. 4 RESULTADOS PARCIAIS Foram feitas algumas filmagens com aparelho celular, para realização dos testes, a uma altura de aproximadamente 1,20m. Os dados de abertura da câmera foram considerados como parâmetros. A altura foi escolhida aleatoriamente e desde que inserida como parâmetro de entrada no aplicativo não causará prejuízo aos cálculos. As filmagens foram feitas em horários diferentes, para garantir que a iluminação não fosse um impeditivo para a realização do projeto. O algoritmo apresentou resultados satisfatórios, porém para aplicação em um ambiente real, necessitará de mais testes e desenvolvimento. Foram extraídos e analisados um total de 120 frames, retirados de 3 vídeos em horários diferentes em um mesmo local. Foram 93 as imagens de pisos direcionais, 9 apresentaram falsos positivos, 4 falsos negativos. E foram analisadas 27 de alerta, sendo que ocorreu apenas um falso negativo. A análise dos pisos de alerta resultaram em 20 falsos positivos em imagens de pisos direcionais. Os pisos de alertas se mostraram mais suscetíveis a iluminação e sujeira enquanto os pisos direcionais a velocidade do usuário. A velocidade influenciou em alguns casos a capacidade de foco da câmera e como os pisos direcionais são compostos, nesta análise, de apenas 3 barras paralelas, são poucos os centros de massa a serem analisados. Os pisos de alerta são dispostos em 5x5, ou seja, mesmo que não reconheça 3 ou 4, ainda será possível distinguir vários centros de massa no piso de alerta, porém, por serem menores são mais suscetíveis a iluminação e sujeira. Sujeira e, até mesmo desgaste dos pisos podem gerar resultados inesperados e para isto, deve-se considerar outros fatores, como por exemplo, o histórico dos frames já observados. Parte importante deste trabalho foi solucionar o problema de estimativa de distância com as equações desenvolvidas por Taylor et al. (2004, p ). 5 TRABALHOS FUTUROS É importante para este trabalho que tanto a minimização de ruídos quanto regras de validação do distanciamento dos centros de massa sejam aprimoradas, pois, como dito anteriormente, basear o resultado em apenas dois eixos pode gerar resultados falsos, e, até mesmo, em caso de aplicação real, trazer problemas ao usuário. Também, é importante, que na sequência, seja desenvolvido um protótipo capaz de gravar o stream, e a informação do ângulo de captura, frame a frame, para tornar os próximos testes mais aproximados do ambiente real ao qual este algoritmo se destina. Uma pesquisa de campo pode ser necessária afim de descobrir uma velocidade média do público pesquisado, para descobrir qual a velocidade de captura necessária para rastrear e identificar o piso, sem comprometer a segurança e a velocidade que eles já tem usando a bengala de rastreamento. Para versões futuras, estuda-se uma forma de utilizar uma outra câmera, com processamento em paralelo, para dar outras funções a aplicação, como leitura de placas de alerta, e detecção de pessoas. REFERÊNCIAS [1] ABNT NBR 9050, Acessibilidade a edificações, mobiliário, espaços e equipamentos urbanos, Acesso em Maio de [2] Uol Noticias, Piso para cegos acaba em muro em avenida da zona oeste de São Paulo, 13 de dezembro de Acesso em maio de [3] Kelly Sousa, Maurício Marengoni, Uso de Visão Computacional em Dispositivos Móveis para o Reconhecimento de Faixa de Pedestres, 2013 [4] Monocular Vision as a Range Sensor, T.Taylor, S.Geva and W.W.Boles, 2004 [5] Depth Estimation for a Mobile Platform Using Monocular Vision, Z. Said, K. Sundaraj e M. N. A. Wahab, 2012 [6] Maurício Marengoni e Denise Stringhini, Introdução a Processamento de Imagens e Visão Computacional usando OpenCV. SIBGRAPI, [7] Richard Szeliski, Computer Vision, Algorithms and Applications, 2011 [8] Gary Bradski, Adrian Kaehler, Learning OpenCV Computer Vision with the OpenCV Library, O Reilly, 2008 X Workshop de Visão Computacional - WVC