Sincronização Temporal em Redes de Sensores Móveis Baseada em Análise de Sequência de Imagens

Transcrição

1 Darlan Nunes de Brito Sincronização Temporal em Redes de Sensores Móveis Baseada em Análise de Sequência de Imagens Dissertação apresentada ao Curso de Mestrado em Modelagem Matemática e Computacional do Centro Federal de Educação Tecnológica de Minas Gerais, como requisito parcial à obtenção do título de Mestre em Modelagem Matemática e Computacional. Orientador: Prof. Dr. Flávio Luis Cardeal Pádua Centro Federal de Educação Tecnológica de Minas Gerais MESTRADO EM MODELAGEM MATEMÁTICA E COMPUTACIONAL CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS DIRETORIA DE PESQUISA E PÓS-GRADUAÇÃO Belo Horizonte MG Outubro de 2008

2

3 Resumo Esta dissertação de mestrado aborda o problema de se estimar a sincronização temporal entre sensores móveis distribuídos em uma rede ad hoc sem fio, por meio do uso de técnicas de análise de sequências de imagens. Diferentemente dos métodos existentes, os quais frequentemente se baseiam na ampla adaptação de algoritmos originalmente projetados para redes com topologias estáticas, ou ainda no desenvolvimento de soluções de hardware e/ou software especialmente projetadas para redes de sensores móveis, mas que levam a significativos consumos de energia e apresentam baixa escalabilidade quanto ao número de sensores, esta dissertação de mestrado propõe uma nova abordagem, potencialmente mais eficiente, a qual é baseada na análise de sequências de imagens da dinâmica da cena monitorada pelos sensores. Esta abordagem propõe que se reduza o problema de sincronizar um número genérico N de sensores heterogêneos ao problema de estimar uma reta em R N+1. Esta reta captura todas as relações temporais entre os dados dos N sensores distribuídos na cena e o vídeo da câmera responsável pela visualização dos mesmos. Mediante o uso da abordagem desenvolvida neste trabalho, é possível projetar redes de sensores que adquiram um conteúdo de informação mais amplo do ambiente, bem como minimizar a energia gasta por eventuais processamentos de dados de sincronização nos nós sensoriais ou ainda na transmissão de tais dados pela rede. O presente trabalho contempla a realização de simulações computacionais e a validação da técnica de sincronização com dados reais obtidos por meio de câmeras instaladas no ambiente de interesse bem como sensores instalados em robôs móveis, tais como GPS (Global Positioning System), sonares, acelerômetros e sensores de profundidade. PALAVRAS-CHAVE: Redes de sensores móveis, sincronização temporal, rastreamento visual de objetos, calibração de câmeras, Random Sample Consensus.

4 Abstract This work addresses the problem of estimating the temporal synchronization in sensor networks, by using image sequence analysis of scene dynamics. Unlike existing methods, which are frequently based on adaptations of techniques originally designed for wired networks with static topologies, or even based on solutions specially designed for ad hoc wireless sensor networks, but that have a high energy consumption and a low scalability regarding the number of sensors, this work proposes a novel approach that reduces the problem of synchronizing a general number N of sensors to the robust estimation of a single line in R N+1. This line captures all temporal relations between the sensors and can be computed without any prior knowledge of these relations. Experimental results show that our method can be successfully used to determine the temporal alignment in wireless sensor networks. KEY WORDS: Mobile Sensors Network, Temporal Alignment, visual object tracking, Camera Calibration, Random Sample Consensus

5 Lista de Abreviaturas e Siglas ABNT Associação Brasileira de Normas Técnicas GPSI Grupo de Pesquisas em Sistemas Inteligentes NTP Network Time Protocol RSSF Rede de Sensores Sem Fio RBS Reference-Broadcast Synchronization TDP Time Diffusion Protocol LAN Local área network E-RBS Efficient Reference Broadcast Synchronization TPSN Time Synchronization Protocol for sensor networks FTPS Flooding Time Synchronization Protocol NASA North America Spatial Agency COA College of Atlantic UFMG Universidade Federal de Minas Gerais RANSAC Random Sample Consensus pixels picture elements

6 Sumário Lista de Figuras 1 INTRODUÇÃO p Motivação p Monitoração de Habitat p Agricultura de Precisão p Monitoração de construções p Abordagem p Objetivos: Geral e Específicos p Contribuições p Organização do texto p TRABALHOS RELACIONADOS p NTP - Network Time Protocol p TDP - Time-Diffusion Protocol p Algoritmos Mini-sync e Tiny-sync p Descrição do algoritmo p Processamento de dados nos protocolos Tiny-sync e Mini-sync p Soluções específicas para RSSF p RBS - Reference Broadcast Synchronization p E-RBS - Eficient RBS p FTPS - Flooding Time Synchronization Protocol p. 48

7 2.8 TPSN - Time Synchronization Protocol for Sensor Networks p Considerações finais p FUNDAMENTAÇÃO TEÓRICA p Sistemas de Processamento de Imagem p Passos fundamentais no processamentos de imagens digitais p Aquisição de imagens digitais p Parâmetros das câmeras p Calibração de câmeras p Parâmetros diretos de calibração p Rastreamento de objetos p Representação do objeto p Detecção de objetos p Rastreamento de pontos p Rastreamento de núcleo p RANSAC - Random Sample Consensus p Avaliação de hipótese p Parâmetros para o RANSAC p Eficiência do RANSAC p TÉCNICA DE SINCRONIZAÇÃO PROPOSTA p Resultados experimentais p Sincronização de Sensores Móveis p Seqüências Sintéticas p Seqüências Reais p Sincronização de Câmeras que não Possuem Sobreposição de Campos de Visão p. 92

8 6 CONCLUSÃO p Trabalhos futuros p. 108 Referências Bibliográficas p. 109

9 Lista de Figuras 1.1 Sugestão de utilização de sensores móveis em uma plantação de alfaces p Demonstração do desalinhamento temporal em uma cena composta por dois sensores S 1 e S 2 visualizados por uma câmera c. Observa-se que os quadros da câmera c e os dados do sensor S 1 e S 2 possuem um desalinhamento temporal T 1 = 149 e T 12 = 194 respectivamente. p Monitoramento de um ecossistema (1) Sensores da rede sem fio para monitoramento dentro do ninho. (2) Dispositivos de gravação e transmissão dos dados para um nó gateway. (3) Antena transmissora para um notebook na estação de pesquisa. (4)-(5) Estação de pesquisa que possui o link de dados com o satélite. (6)Sistema sugerido para utilização de sensor móvel para monitoramento do ambiente não utilizado pela pesquisa original, (POLASTRE, 2003) p Montagem de uma cena composta por sensores movimentando-se por uma plantação de soja p Ponte de Akashi Kaikyo no Japão que utiliza monitoramento estrutural para: (1) validar suposições de projeto; (2) detectar anomalias de carga; (3) prover informações de seguranças após desastres naturais; (4)prover informações para manutenção p Visão geral do cenário considerado pela metodologia proposta neste trabalho. Um câmera de vídeo estática c visualiza um conjunto de sensores móveis S = s 1,...,s n p Arquitetura do sistema de sincronização utilizando TDP (SU; AKY- ILDIZ, 2005) p. 35

10 2.2 Esta figura mostra que o protocolo TDP não atua durante todo o tempo para sincronização da RSSF sendo que a sincronização é feita durante um tempo τ segundos por um nó mestre com intervalos de δ segundos (SU; AKYILDIZ, 2005) p Arquitetura TDP (SU; AKYILDIZ, 2005) p Exemplo da comunicação feita com a transmissão de uma mensagem partindo do nó 1 sendo imediatamente retornada pelo nó 2 para o nó 1 contendo o seu tempo local. Cada conjunto de transmissão e recepção deste resulta em um conjunto de dados (t 0,t b,t r ) p Dependência linear e restrições impostas para a 12 e b 12 para 3 conjuntos de dados p Análise do caminho crítico para um protocolo de sincronização tradicional (a) e RBS (b). (ELSON, 2003) p Gráfico comparativo para os protocolos de comunicação E-RBS e RBS (LEE; YU; KWON, 2006) p Modelo de sincronização para o método TSPN p Passos fundamentais no processamento de imagens (GONZALES; WOODS, 2007) p (a) Matriz bidimensional que representa uma imagem adquirida por uma câmera digital cuja resolução é de 56 x 46 pixels. (b) Imagem adquirida com uma câmera digital convertida para tons de cinza... p Esquema de um sistema para a aquisição de imagens digitais (TRUCCO; VERRI, 1998) p A relação entre os sistemas de eixos coordenados da câmera e do mundo p Figura do alvo de calibração planar p Modelo em perspectiva da câmera p. 64

11 3.7 Representação de objetos.(a) Centróide, (b) múltiplos pontos, (c) Caminho retangular, (d) caminho elíptico, (e) Baseado em múltiplas partes, (f) Esqueleto do objeto, (g) contorno do objeto com pontos, (h) Contorno completo do objeto, (i) silhueta do objeto (YILMAZ; JAVED; SHAH, 2006) p Detecção de objetos utilizando três métodos diferentes (a) Harris, (b) KLT e (c) operadores SIFT p Exemplo da metodologia de mistura do modelo gaussiano para subtração de fundo (YILMAZ; JAVED; SHAH, 2006) p Segmentação de uma imagem (a), Segmentação por deslocamentomédio (b) e Método de cortes normalizados(c) (YILMAZ; JAVED; SHAH, 2006) p Figura de rastreamento por correspondência de pontos. (a) Todas as possiblidades de associação de pontos no quadro t 1 com pontos no quadro t. (b) Conjunto único de associação desenhados com linha negrito, (c) correspondência multiframe p Resultado do rastreamento on-line usado por Jepson et al. (JEP- SON; FLEET; EL-MARAGHI, 2003). (a) A região do alvo em diferentes quadros. (b) A probabilidade do componente estável. Note que as probabilidades em torno da boca e sombrancelha mudam, enquanto eles permanecem a mesma e em outras regiões p Visualização de dois sensores móveis na cena de interesse, os quais descrevem trajetórias Q 1 ( ) e Q 2 ( ), cujas projeções no plano de imagem da câmera são denotadas por q 1 ( ) e q 2 ( ), respectivamente. Sejam q 1 (t) e q 2 (t) posições instantâneas estimadas pelo rastreador no quadro t. Sejam ainda Q 1 (t 1 ) e Q 2 (t 2 ) duas amostras de posições dos sensores no sistema de coordenadas do mundo, cujas projeções calculadas com o auxílio de uma matriz de projeção P são denotadas por q 1 (t 1 ) e q 2 (t2) p Figura do robô com uma região de rastreamento no centro de massa em forma de elipse p. 80

12 4.3 Exemplo de um espaço de alinhamentos temporais "candidatos"(votos) para dois sensores na cena. Neste caso, tem-se um espaço de 3 dimensões p Espaços de votos 2D obtido por meio da simulação para uma cena artificial contendo um único sensor s 1. A trajetória do sensor rastreada na seqüência de vídeo sintética na câmera foi corrompida com um ruído ruído gaussiano branco de média zero e desvio padrão (a)-(c)- (e) 5 pixels e (b)-(d)-(f) 10 pixels. A matriz de calibração utilizada em todos os experimentos corresponde à mesma de uma câmera real (modelo Sony DCR-TRV320), com erro em subpixels. Os parâmetros de desalinhamento temporal simulados são α = 3.0 e β = 47 para todas as figuras. Em todos os casos, observamos nos gráficos as retas que recuperam o alinhamento temporal entre o sensor e a câmera, e que levam a erros menores do que (a)-(b) 1 amostra, (c)- (d) 3 amostras e (e)-(f) 5 amostras p Espaços de votos 3D obtidos para cenas artificiais contendo dois sensores móveis s 1 e s 2. A trajetória do sensor rastreado na sequência de vídeo sintética foi corrompida com um ruído ruído gaussiano branco de média zero e desvio padrão (a)-(c)-(e) 5 pixels e (b)-(d)-(f) 10 pixels. A matriz de calibração utilizada em todos os experimentos corresponde à mesma de uma câmera real (modelo Sony DCR-TRV320), com erro em subpixels. Os parâmetros de desalinhamento temporal simulados são α = [ ] e β = [ ] para todas as figuras. Em todos os casos observamos nos gráficos as retas que recuperam o alinhamento temporal entre o sensor e a câmera, e que levam a erros menores do que (a)-(b) 1 amostra, (c)-(d) 3 amostras e (e)-(f) 5 amostras p Percentuais de retas que levam a erros médios de alinhamento temporal menores ou iguais a (a) 1, (b) 3 e (c) 5 amostras para níveis de ruído no sistema de rastreamento de acordo com a Tabela 5.1.1, dada uma cena composta por apenas um sensor s 1 e uma matriz de calibração com o erro em subpixels p. 98

13 5.4 Percentuais de retas que levam a erros médios de alinhamento temporal menores ou iguais a (a) 1, (b) 3 e (c) 5 amostras para níveis de ruído no sistema de rastreamento de acordo com a Tabela 5.1 e uma matriz de calibração com erro em subpixels. As curvas em azul e vermelho se referem, respectivamente, à sincronização de um sensor s 1 e à sincronização de um sensor s 2 com a câmera de referência c, considerando uma cena artificial composta por dois sensores..... p Espaços de votos 2D obtidos por meio da simulação para uma cena artificial contendo um único sensor s 1. A trajetória do sensor rastreado na sequência de vídeo sintética foi corrompida com um ruído ruído gaussiano branco de média zero e desvio padrão 2. A matrizes de calibração utilizada em todos os experimentos corresponde à mesma de uma câmera real (modelo Sony DCR-TRV320), adicionado um ruído gaussiano branco de média zero e desvio padrão (a)-(c)-(e) 5 pixels (b)-(d)-(f) 10 pixels. Os parâmetros de desalinhamento temporal simulados são α = 1.0 e β = 32.0 para todas as figuras. Em todos os casos observamos nos gráficos as retas que recuperam o alinhamento temporal entre o sensor e a câmera, e que levam a erros menores do que (a)-(b) 1 amostra, (c)-(d) 3 amostras e (e)-(f) 5 amostras p Espaços de votos 3D obtidos por meio da simulação de uma cena contendo 2 sensores s 1 e s 2. A trajetória do sensor rastreado na sequência de vídeo sintética foi corrompida com um ruído ruído gaussiano branco de média zero e desvio padrão 2 pixels. A matrizes de calibração utilizada em todos os experimentos corresponde à mesma de uma câmera real (modelo Sony DCR-TRV320), adicionado um ruído gaussiano branco de média zero e desvio padrão (a)-(c)-(e) 5 pixels (b)-(d)-(f) 10 pixels. Os parâmetros de desalinhamento temporal simulados são α = [ ] e β = [ ] para todas as figuras. Em todos os casos observamos nos gráficos as retas que recuperam o alinhamento temporal entre o sensor e a câmera, e que levam a erros menores do que (a)-(b) 1 amostra, (c)-(d) 3 amostras e (e)-(f) 5 amostras p. 101

14 5.7 Percentuais de retas que levam a erros médios de alinhamento temporal menores ou iguais a (a) 1, (b) 3 e (c) 5 amostras para níveis de ruído no sistema de calibração de acordo com a Tabela 5.1 e um ruído no sistema de rastreamento com desvio padrão igual a 2 pixels, dada uma cena composta por apenas um sensor s p Percentuais de retas que levam a erros médios de alinhamento temporal menores ou iguais a (a) 1, (b) 3 e (c) 5 amostras para níveis de ruído no sistema de calibração de acordo com a Tabela e o ruído no sistema de rastreamento com desvio padrão igual a 2 pixels. As curvas em azul e vermelho se referem, respectivamente, à sincronização de um sensor s 1 e à sincronização de um sensor s 2 com a câmera de referência c, considerando uma cena artificial composta por dois sensores p (a) Cena real monitorada pelo sistema de sincronização. Neste caso, tem-se um único sensor móvel (robô Pioneer 3 AT produzido pela Active Media), cuja trajetória rastreada no vídeo é ilustrada pela curva em vermelho. (b) Espaço de votos e reta que recupera o alinhamento temporal entre o sensor móvel s 1 e a câmera c p Uma cena 3D que é visualizada por N câmeras estacionárias localizadas em diferentes pontos, cujos os campos de visão não são necessariamente sobrepostos. Temos ainda um sensor movendo-se através do campo de visão de todas as câmeras p (a) Espaço de votos para a câmera c 1 e o movimento do sensor s. (b) Espaço de votos para a câmera c 2 e o movimento do sensor s. Cada ponto em (a) e (b) representam alinhamentos temporais candidatos. As retas reconstruídas t c2 = t e t c2 = t descrevem o alinhamento temporal entre o sensor e as câmeras c 1 e c 2 respectivamente. Para estas equações a nova equação obtida t c2 = 1.011t c que recupera o alinhamento temporal entre as duas seqüências de vídeo p. 105

15 5.12 (a) e (b) Trajetórias dos centróides dos sensores nas câmeras 1 e 2, respectivamente. A trajetória azul foi estimada pelo rastreador WSL (JEPSON; FLEET; EL-MARAGHI, 2003), enquanto a vermelha foi obtida da projeção da trajetória 3D do sensor no plano de imagem, usando as matrizes de projeção determinadas durante o processo de calibração das câmeras. (c) Imagem anterior ao alinhamento foi criado por superposição da banda verde de um quadro t 2 com a vermelha e azul do quadro t 1 = (t 2 β g )/α g usando os coeficientes de alinhamento α g e β g. (d) Após o alinhamento foi criado trocando a banda verde da imagem com aquela do quadro t 1 = (t 2 β e )/α e, com α e, β e determinada por nosso algoritmo. Desvios do alinhamento causam "duas imagem artificiais p. 106

16 16 1 INTRODUÇÃO As chamadas Redes de Sensores Sem Fio (RSSF) têm demonstrado seu grande potencial ao trazer cada vez mais novas oportunidades e desafios para diferentes campos do conhecimento (CHEE-YEE; KUMAR, 2003). A nova tecnologia de produção de sensores cada vez menores e com taxas de consumo inferiores a microamperes tem permitido a ciência ir muito mais longe do que se imaginava na década passada. Sensores sem fio têm sido criados para ficarem um longo tempo sem a interferência humana ou até mesmo para que nunca a sofram, como no caso da sonda Spirit que foi enviada pela agência espacial americana NASA à Marte para explorar o planeta. Neste caso, é impossível de realizar substituição da bateria da sonda, mas devido ao custo da missão de envio, é fundamental que a sonda funcione por um longo tempo colhendo o maior número de amostras possível. Esta nova tecnologia tem propiciado surgir questões que antes os cientistas não haviam pensado, obrigando aos desenvolvedores deste tipo de tecnologia pensar não somente em questões de hardware e software mas também em quais são as necessidades dos cientistas para a precisão, regime de amostragem e sincronização dos sensores (ESTRIN, 2007). Estruturalmente, as RSSF são compostas por diversos nós sensores distribuídos espacialmente sobre uma região de interesse, os quais se organizam em uma rede ad hoc sem fio (TILAK; ABU-GHAZALEH; HEINZELMAN, 2002). Os nós sensores possuem capacidade de comunicação, processamento e sensoriamento, sendo dotados de uma fonte de energia limitada, cujo consumo é dependente da aplicação de interesse (PERKINS; CORREAL; O DEA, 2002). Dentre as diversas aplicações de RSSF, pode-se citar segurança patrimonial, controle de tráfego aéreo, automação industrial, robótica móvel, sistemas militares de monitoramento e agricultura de precisão (CHEE- YEE; KUMAR, 2003; POTTIE; KAISER, 2000). Em todas as aplicações de sistemas distribuídos, tais como as citadas acima para RSSF, identifica-se a necessidade de se alinhar temporalmente (sincronizar) os dados adquiridos pelos diversos sensores, ou seja, colocar as amostras das grandezas físicas medidas pelos sensores em uma

17 1 INTRODUÇÃO 17 Figura 1.1: Sugestão de utilização de sensores móveis em uma plantação de alfaces. única linha do tempo de referência. Naturalmente, sem a existência deste referencial de tempo, não se pode associar ou estabelecer correspondências coerentes temporalmente entre dados de diferentes sensores, o que inviabiliza eventuais análises e tomadas de decisão coordenadas com base na integração ou fusão de tais dados. Vejamos o exemplo da Figura 1.1. Nesta cena temos sensores se movimentando em uma região onde é necessária a determinação de parâmetros como a temperatura ideal para o crescimento das plantas, as condições de umidade relativa do solo e o índice pluviométrico ou intensidade luminosa nas quais as plantas produzem de forma mais eficiente. A análise estatística dos dados adquiridos pelos sensores não é feita pelos próprios nós que têm uma capacidade limitada de processamento, mas sim em equipamentos com maior capacidade como computadores de pequeno ou grande porte dependendo da aplicação. Os dados não são enviados no momento em que são adquiridos pois isto causaria um enorme tráfego de dados na rede, fazendo com que a mesma ficasse congestionada e lenta, ocorrendo a possibilidade de perda de dados. Além disto, este envio periódico de dados causaria um grande consumo de energia. Estima-se que em torno de 17% do consumo total de energia seja gasto para enviar um conjunto de dados pela rede (POLASTRE, 2003). Devido ao grande consumo de bateria utilizado para o envio, estes dados então são armazenados nas memórias internas e posteriormente enviados em grande quantidade para a base de processamento. Neste cenário surge um problema fundamental que consiste em determinar em qual momento (tempo físico), estas medidas ocorreram. Para relacionar

18 1 INTRODUÇÃO 18 as medidas de dois ou mais sensores diferentes para o tratamento estatístico dos dados é preciso determinar o momento da aquisição. Assim, quando é preciso unir de forma consistente dados de sensores diferentes surge a necessidade de determinar a relação temporal entre as medidas das grandezas. Para isto é preciso que os relógios dos sensores estejam operando com a mesma base de tempo ou que seja possível determinar uma base de tempo externa comum a todos. Tipicamente, o desalinhamento temporal entre diferentes sensores origina-se por duas razões principais. A primeira relaciona-se com o fato de que os sensores utilizados possam apresentar diferentes taxas de amostragem, enquanto a segunda relaciona-se com a existência de um deslocamento temporal entre as sequências de amostras, o qual é criado quando os sensores não são ativados simultaneamente, daí a necessidade de sincronização entre os sensores. Esta sincronização deve ser tão mais rápida quanto a necessidade da aplicação exige. Em um documentário recentemente apresentado em um canal de TV pago (POLASTRE, 2003), foi exibida uma aplicação de uma rede de sensores sem fio em um vinhedo no Canadá onde 65 sensores foram instalados em um acre de terra e enviavam dados de temperatura, umidade e intensidade da luz do sol com uma freqüência igual a 5 minutos, sendo então necessária uma sincronização a cada 5 minutos. Em uma outra aplicação, a estrutura de teste para abalos sísmicos necessita uma sincronização com um tempo de 5ms (PAEK et al., 2006). Com o objetivo de se fazer a sincronização de sensores móveis em uma rede sem fio, este trabalho propõe uma nova metodologia. Especificamente, para a solução deste problema, propõe-se o uso de câmeras que consigam visualizar toda a cena ou parte dela. O problema pesquisado deste trabalho pode ser enunciado como se segue: Dada uma cena 3D contendo N sensores móveis heterogêneos, distribuídos em uma rede ad hoc sem fio, cujos movimentos são monitorados por uma câmera de vídeo calibrada e cujas localizações são conhecidas, deseja-se estimar uma função de N+1 dimensões responsável por capturar as relações temporais entre todos os sensores presentes em tal rede. Para uma melhor compreensão da abordagem proposta neste trabalho, observe a Figura 1.2, a qual considera uma cena composta por apenas dois sensores S 1 e S 2 e uma câmera c. Os quadros da sequência de vídeo obtida pela câmera c bem como os dados dos sensores S 1 e S 2 representam informações obtidas no tempo, as

19 1 INTRODUÇÃO 19 c t g 1 T 2 = 45 T 1 = 149 s t 1 g 2 T 12 = 194 s t 2 Figura 1.2: Demonstração do desalinhamento temporal em uma cena composta por dois sensores S 1 e S 2 visualizados por uma câmera c. Observa-se que os quadros da câmera c e os dados do sensor S 1 e S 2 possuem um desalinhamento temporal T 1 = 149 e T 12 = 194 respectivamente. quais frequentemente encontram-se desalinhadas (não-sincronizadas). Por exemplo, supondo que o quadro 51 da câmera c e as amostras 200 e 6 dos sensores S 1 e S 2, respectivamente, correspondem ao mesmo instante de tempo no mundo, diz-se que os quadros da câmera c e os dados do sensor S 1 possuem um desalinhamento temporal T 1 = 149. Analogamente, os quadros da câmera c e os dados do sensor S 2 possuem um desalinhamento T 2 = -45 e os dados dos dois sensores possuem um desalinhamento T 12 = 194. Os desalinhamentos T 1, T 2 e T 12 são as incógnitas cujo processo de determinação foi objeto de estudo e pesquisa neste projeto. De posse dos valores destas incógnitas, pode-se descrever completamente as relações temporais entre os sensores. A idéia básica da abordagem deste trabalho consiste em estender a metodologia para alinhamento espaço-temporal de múltiplas sequências de vídeo, desenvolvida por Pádua el. al. (PáDUA, 2005; PáDUA et al., 2004), para o âmbito de elaboração de uma técnica alternativa para o alinhamento temporal de múltiplos sensores heterogêneos em redes sem fio. Neste contexto, a abordagem aqui feita está fundamentada

20 1.1 Motivação 20 na definição de uma reta de N + 1 dimensões, a qual captura globalmente as relações temporais entre um conjunto de N sensores e uma sequência de vídeo adquirida por uma câmera que visualiza tais sensores em movimento na cena de interesse. Uma propriedade fundamental desta reta é que ainda embora seu conhecimento implique no conhecimento do alinhamento temporal entre os sensores e a câmera, a estimativa de pontos sobre a mesma pode ser realizada sem o conhecimento prévio de tal alinhamento. Utilizando-se esta propriedade como ponto de partida, a abordagem desta dissertação de mestrado reduziu o problema de se estimar o alinhamento temporal entre N sensores para o problema de se estimar de forma robusta uma única reta de N + 1 dimensões a partir de um conjunto de pontos gerados em R N Motivação Nesta seção serão descritas três aplicações de RSSFs que tem se tornado de grande importância para a comunidade científica. Um dos exemplos é o monitoramento de habitat que tem ajudado na determinação de condições ótimas da fauna e flora de determinados ecossistemas, com o objetivo de se recuperar espécies em extinção. Outra utilização que tem um futuro promissor é o monitoramento de variáveis envolvidas no processo de agricultura de precisão com o objetivo de aumentar-se a produção das fazendas. Finalmente temos o exemplo de monitoração de construções. Esta monitoração não tem relevância tão grande para a humanidade mas tem utilizado cada vez com maior freqüência as RSSFs para evitar acidentes por desgastes de material ou prevenção para destruição por desastres naturais Monitoração de Habitat O monitoramento do meio ambiente representa uma das aplicações para redes de sensores com um enorme potencial de pesquisa para a comunidade científica. Aparelhando o meio ambiente com um grande número de sensores em rede podemos coletar dados em escala e resolução que seriam dificilmente, ou até impossível de se conseguir por meio de outra forma de sensoriamento. Com isto é possível realizar tarefas mais complexas como amostragem estatística, fusão de dados e monitoramento do estado de saúde do ecossistema. A escala temporal das medidas dos sensores deve ser definida pela ordem de grandeza do tempo de mudança dos organismos.

21 1.1 Motivação 21 Os sensores devem coletar os dados em taxas iguais ou maiores que as condições de mudança do meio que está sendo monitorado. O sistema de análise de dados deve ser capaz de identificar não somente a mudança mas também a duração de eventos. Um exemplo de utilização de rede de sensores para monitoramento de habitat é mostrado por Polastre (POLASTRE, 2003), o qual propõe o monitoramento de pássaros marinhos em uma ilha localizada 15km ao sul de Mount Desert Island chamada Great Duck Island. Nesta ilha há aproximadamente 5000 casais de um pássaro chamado Petrel os quais vivem em três tipos de habitat diferentes. Nesta ilha foi montado um observatório pela escola College of Atlantic(COA) para a observação deste ecossistema. Os pesquisadores de pássaros marinhos buscam responder, principalmente, as seguintes questões: Qual é a duração dos vários gradientes de temperatura do ambiente? Quais mudanças ocorrem nos ninhos durante o período reprodutivo? Quais são os tipos de ninhos que os Petrels selecionam? Quais destas condições produzem um microclima ótimo para o acasalamento, incubação e choca? Quais são as diferenças no microclima entre as áreas que possuem um grande número de ninhos de Petrel e as áreas que não têm? É muito improvável que qualquer um dos parâmetros medidos pela rede de sensores sem fio irá determinar porque os Petrels escolhem um determinado lugar para fazer seus ninhos. Entretanto os muitos parâmetros medidos pelos sensores podem ajudar a correlacionar os dados que indicam o que leva um pássaro a selecionar um determinado lugar para seus ninhos. Neste exemplo, Polastre (POLASTRE, 2003), com o objetivo de ter uma boa aproximação para o problema, colocou um sensor dentro de cada ninho dos Petrels sendo que alguns ninhos ficaram sem sensor para avaliar o efeito da presença do mesmo. Estes sensores têm que trabalhar de forma sincronizada pois é necessário determinar se algum fator externo provocou a mudança de temperatura dentro do ninho ou a mudança da umidade relativa dentro do ninho. Estando os sensores sincronizados, é possível avaliar se a alteração climática ocorreu em todos os sensores ao mesmo tempo. Esta sincronização poderia ser feita por meio de envio periódico de mensagens mas tem-se um problema com este tipo de sincronização que é o aumento significativo do consumo.

22 1.1 Motivação 22 Operação % de consumo de energia Transmissão de um pacote 17,37 Recepção de pacote 6,94 Escuta de rádio por 1ms 1,08 Operação do sensor por 1 amostra analógica 0,94 Operação do sensor por 1 amostra digital 0,30 Leitura de uma amostra do ADC 0,001 Leitura da EEPROM 0,96 Programar e apagar EEPROM 72,38 Tabela 1.1: Necessidades médias de consumo de energia, para operação do sensor MICA utilizado para monitoração dos ninhos pelo autor da pesquisa.(polastre, 2003) Pela Tabela 1.1 podemos observar que a segunda maior fonte de consumo de energia é a transmissão de pacotes. Caso haja um aumento do tamanho do pacote devido ao envio de dados de sincronização, ocorrerá um aumento significativo no consumo de energia. Caso este pacote precise ser transmitido com uma grande freqüência para se fazer também a sincronização dos sensores teremos uma diminuição considerável no tempo de operação do sensor. A Figura 1.3 mostra como foi instalado o sistema de monitoramento dos ninhos. Como no exemplo da Figura 1.3, sensores móveis podem ser utilizado para monitoração do ecossistema, onde um robô se movimenta fazendo medidas de temperatura, umidade relativa, luz ambiente e entrada e saída dos Petrels no ninho. Para que se consiga tratar de forma estatística os dados das leituras destes sensores é necessário determinar o momento que foi realizada cada medida, necessitando então de uma sincronização entre os sensores pois somente com esta sincronização é possível determinar em qual ninho foi feita a medida e em qual momento, para identificar mudanças em todo o sistema que provocaram mudanças internas Agricultura de Precisão A variabilidade dos fatores de produção está associada a múltiplas causas, desde a variabilidade climática até o ambiente em torno de uma única semente (solo, oxigênio, disponibilidade de água e nutrientes etc.) que é depositada no solo. As formas de variabilidade que estão sendo estudadas e manejadas em agricultura de precisão podem ser classificadas em "Variabilidade Espacial (aquela que ocorre com um atributo na área, por exemplo: variação da concentração de fósforo no solo em uma área de 20 hectares), "Variabilidade Temporal (aquela que ocorre ao longo do

23 1.1 Motivação 23 Figura 1.3: Monitoramento de um ecossistema (1) Sensores da rede sem fio para monitoramento dentro do ninho. (2) Dispositivos de gravação e transmissão dos dados para um nó gateway. (3) Antena transmissora para um notebook na estação de pesquisa. (4)-(5) Estação de pesquisa que possui o link de dados com o satélite. (6)Sistema sugerido para utilização de sensor móvel para monitoramento do ambiente não utilizado pela pesquisa original, (POLASTRE, 2003). tempo, por exemplo: disponibilidade de água no solo em função da sazonalidade da precipitação pluvial) e uma terceira que representa a ação do homem nas duas primeiras, chamada "Variabilidade Induzida pelo Manejo (aquela criada pelas decisões de manejo tomadas nas áreas de cultivo, por exemplo: alocação de culturas e regulagem de máquinas) (PIRES et al., 2004). Esta última ocorre, por exemplo, quando há máquinas desgastadas e desreguladas, sistemas de cultivo diferenciados, partes da lavoura deixadas em pousio por vários anos e deficiência no controle de plantas daninhas (FARNHAM, 2000). Uma das alternativas para se monitorar e controlar estas variáveis consiste na utilização de RSSF. A utilização de RSSF em agricultura ainda é bastante rara (WANG; ZHANG; WANG, 2006), mas com o desenvolvimento de novas técnicas de medida e de novos sensores que possuem um custo menor é possível que este uso cresça muito em breve. Dados para muitas variáveis em agricultura de precisão podem ser obtidas por técnicas de sensoriamento remoto como imagens de satélite, ou fotos de aviões. Mas é essencial que se tenha também medidas diretas. Estas medidas muitas vezes são feitas por equipamentos estacionários como estações meteorológicas ou sensores fixados diretamente na terra. Estas medidas estacionárias oferecem

24 1.1 Motivação 24 Figura 1.4: Montagem de uma cena composta por sensores movimentando-se por uma plantação de soja. a desvantagem de fornecer informações apenas de variáveis que envolvem toda a plantação como o clima da região e o relevo ou como estão as posições das curvas de nível, por exemplo. Estes dados são muito ruins para prever por exemplo a acidez do solo em cada região da plantação ou a umidade do solo que são variáveis mais localizadas. Para medidas mais precisas como estas temos a utilização de sensores em máquinas que se movimentam pela plantação, como tratores colheitadeiras entre outras. Esta técnica tem a desvantagem de que estas máquinas não estão sempre se movimentando pela plantação e para pequenos agricultores onde o manejo através de maquinário é menor temos que as medidas ficariam bastante prejudicadas. É neste contexto que surge a necessidade de um sistema de monitoração através de sensores móveis utilizados para entender a variabilidade da produção. Uma RSSF pode estar hábil a coletar dados do campo periodicamente e em tempo real, como é o caso para controle de irrigação (CAMILLI et al., 2007). Segundo Wang,Zhang e Wang (2006), podemos classificar as aplicações para agricultura em cinco tipos diferentes: monitoramento do meio ambiente, agricultura de precisão, controle de máquinas e processos, automatização de benfeitorias e sistema de rastreabilidade. Cada uma destas aplicações possui um conjunto de variáveis que devem ser monitoradas e ou controladas pelos sistemas. E muitas destas variáveis como temperatura e quantidade de luz incidente na folha de uma planta não fazem muito sentido se não forem informados os momento nos quais estas variáveis foram medidas, pois estas podem ter sido medidas após a irrigação ou ao amanhecer. Para

25 1.1 Motivação 25 Figura 1.5: Ponte de Akashi Kaikyo no Japão que utiliza monitoramento estrutural para: (1) validar suposições de projeto; (2) detectar anomalias de carga; (3) prover informações de seguranças após desastres naturais; (4)prover informações para manutenção. avaliação de apenas uma planta, a sincronização não é necessária, mas quando se quer avaliar os dados de produção de duas plantas diferentes, então é necessário que se saiba os momentos que foram adquiridos os dados de cada planta sendo então necessário que se tenha dados de sincronização dos sensores Monitoração de construções A monitoração estrutural procura detectar e localizar problemas estruturais em prédios, aviões, navios ou pontes. Esta monitoração é muito complexa, o que faz com que demande muita pesquisa até se tornar um método prático. Além disto, é necessário um grande número de dados para que seja possível fazer alguma previsão utilizando dados de vibração em um terremoto, vento ou passagem de carros (XU et al., 2004). Muitos dos monitoramentos feitos hoje têm utilizado sensores com fio mas o monitoramento por meio desta metodologia é caro e muitas vezes este preço torna inviável o projeto. Uma solução promissora para o problema de monitoramento consiste no uso de RSSF, pois estas oferecem uma solução de fácil instalação reduzindo com isto os custos,e as necessidades de manutenção (PAEK et al., 2006). Assim como em outras aplicações envolvendo redes de sensores sem fio, a monitoração de construções necessita de sensores que possuam o menor consumo de energia possível para que o índice de manutenção com trocas de bateria seja pequeno

26 1.2 Abordagem 26 e possa reduzir custos. Esta maior preocupação com a manutenção se justifica devido a grande dificuldade de acesso aos locais onde estão os sensores. Para fazer sincronizações com períodos contínuos temos que ocorreria um aumento significativo no consumo de energia. Portanto é fundamental no caso de monitoração estrutural que se tenha um método de sincronização eficiente. Uma importante consideração a fazer em monitoração de construções é a taxa na qual as unidades sensoras fazem a aquisição dos dados. Isto é importante para nos dar uma idéia das necessidades para desempenho em tempo real do sistema. Esta taxa de geração de dados depende da taxa de amostragem que viabiliza amostrar a freqüência fundamental de vibração do sistema. Para estruturas muito grandes, este modo fundamental é da ordem de hertz e então devemos ter uma taxa de amostragem da ordem de dezenas de hertz. Mas quando é necessária uma grande quantidade de sensores, para se realizar a varredura de todos eles seriam necessários uma taxa de amostragem extremamente alta. A maioria dos algoritmos usados para analisar informações de vibração são baseados em procedimentos de análise modal (KOTTAPALLI et al., 2003). Para a análise modal ser feita em uma estrutura é necessário que os dados de vibração obtidos dos diferentes sensores distribuídos na estrutura estejam sincronizados no tempo. A tolerância para erros na sincronização dos dados deve ser da ordem de milisegundos (KOTTAPALLI et al., 2003). Para a monitoração com sensores com fio a sincronização é um problema extremamente fácil de se resolver já que todas as amostragens são feitas por uma central, mas em uma rede de sensores sem fio este problema tornase um grande desafio. Como podemos observar nos exemplos anteriores temos dois principais desafios ainda para a difusão dos métodos de monitoramento que utilizam rede de sensores sem fio que é a sincronização e a diminuição do consumo de energia. Neste contexto este trabalho propõe uma nova metodologia para sincronização de redes de sensores sem fio que seja mais eficiente produzindo com isto taxas de consumo de energia e tráfego de rede menores. 1.2 Abordagem Espera-se que qualquer solução suficientemente genérica para o problema de sincronização temporal entre sensores em uma rede sem fio deva tratar de forma eficaz os seguintes pontos (ELSON; GIROD; ESTRIN, 2002; PALCHAUDHURI; SAHA;

27 1.2 Abordagem 27 JOHNSON, 2004): Consumo de energia: o consumo eficiente de energia em RSSF exerce grande impacto na qualidade de sua operação. Exatidão de sincronização ajustável: protocolos de sincronização tradicionais tentam alcançar o mais alto grau de exatidão possível. Entretanto, observa-se que quanto maior é o grau de exatidão do sistema de sincronização, maior é sua complexidade e seu custo. Portanto, deve-se projetar sistemas nos quais a exatidão da sincronização seja ajustável à demanda da aplicação. Não-determinismo: RSSF são sistemas dinâmicos com consideráveis taxas de falhas e presença de não-determinismo na operação de seus nós. Neste contexto, o sistema de sincronização projetado deve ser robusto ao comportamento não determinístico dos nós da rede. Multihop: RSSF possuem múltiplos hops distribuídos em sua rede, os quais costumam se mover segundo trajetórias muitas vezes aleatórias. Ausência de fontes externas de sincronização: RSSF podem não possuir uma infra-estrutura externa que defina uma referência global de tempo. Escalabilidade: a eficiência do sistema de sincronização deve ser escalável diante do aumento do número de sensores a serem sincronizados. Independência da topologia de rede: o sistema de sincronização deve ser robusto às variações na topologia da rede de sensores. Taxas de amostragem desconhecidas: as taxas de amostragem das grandezas físicas medidas pelos sensores são constantes, desconhecidas e arbitrárias. Deslocamento temporal arbitrário: o deslocamento temporal entre os dados dos sensores é constante, desconhecido e arbitrário. Especificamente, a técnica a ser pesquisada neste projeto considera um cenário no qual uma câmera estática possa ser adequadamente posicionada no ambiente de forma que a mesma seja capaz de visualizar o conjunto de sensores se movendo na cena durante um intervalo de tempo previamente especificado, como ilustrado na Figura 1.6. Neste cenário, assume-se ainda que a câmera de vídeo utilizada é uma câmera pinhole calibrada. Sendo os parâmetros intrínsecos e extrínsecos

28 1.3 Objetivos: Geral e Específicos 28 z c y c c x c z w y w s 1 s 2 s 3 s 4... s n x w Figura 1.6: Visão geral do cenário considerado pela metodologia proposta neste trabalho. Um câmera de vídeo estática c visualiza um conjunto de sensores móveis S = s 1,...,s n. desta câmera constantes ao longo do tempo, tem se que a transformação que leva as posições dos sensores no sistema de coordenadas do mundo para o sistema de coordenadas da câmera também será constante. Partindo do pressuposto que os sensores utilizados bem como a câmera de vídeo operam a taxas de amostragem constantes, pode-se relacionar as coordenadas temporais (números dos quadros) na sequência de vídeo da câmera com as coordenadas temporais das amostras da grandeza física medida pelo sensor por meio da seguinte transformação afim unidimensional: t i = α i t + β i (1.1) onde t i é a coordenada temporal da grandeza física medida pelo sensor S i (i = 1,...,N), t é o número do quadro na sequência de vídeo obtida pela câmera de referência c e α i, β i são constantes desconhecidas que representam a dilatação e o deslocamento temporal, respectivamente, entre o sensor S i e a câmera c. Em geral, estas constantes não deverão ser números inteiros. 1.3 Objetivos: Geral e Específicos Pretende-se que este trabalho contribua para o desenvolvimento de Redes de Sensores Móveis dotando-as de uma infra-estrutura mais eficaz, eficiente e robusta às intempéries inerentes aos ambientes de atuação das mesmas.

29 1.4 Contribuições 29 O produto final deste projeto é a apresentação de uma nova metodologia para sincronização de múltiplos sensores heterogêneos distribuídos em redes ad hoc sem fio, baseada no uso de técnicas de análise de sequências de imagens, cuja implementação e validação foram inicialmente desenvolvidas com o auxílio de simulações computacionais e posteriormente com dados reais obtidos por meio de câmeras instaladas no ambiente de interesse e sensores instalados em robôs móveis, tais como sonares, acelerômetros e sensores de profundidade. Para tanto, foram perseguidos os seguintes objetivos específicos: 1. Desenvolvimento de um software para simular a dinâmica de uma cena 3D composta por um número genérico de sensores heterogêneos móveis, bem como o processo de visualização dos mesmos a partir de uma câmera estática calibrada. 2. Reconstrução das trajetórias dos sensores móveis no sistema de coordenadas do mundo e no plano de imagem da câmera. 3. Extensão da metodologia originalmente desenvolvida por Pádua et al. (PáDUA et al., 2004), para que a mesma seja capaz de gerar espaços de votos a partir das trajetórias dos sensores anteriormente estimadas. 4. Validação do processo de reconstrução da reta que captura as relações temporais entre os sensores utilizando-se os espaços de votos anteriormente calculados, o algoritmo RANSAC e o Método do Mínimos Quadrados. 5. Experimentação e validação da metodologia proposta com dados reais. 1.4 Contribuições A sincronização dos dados adquiridos por múltiplos sensores heterogêneos em redes de sensores móveis é de fundamental importância para diversas aplicações relacionadas com a fusão e/ou integração de tais dados. O desenvolvimento de uma metodologia eficiente para tal fim é uma tarefa crítica para o avanço das pesquisa em redes de sensores e também robótica móvel. Na Universidade Federal de Minas Gerais (UFMG), onde já existem grupos consolidados em tais áreas de pesquisa nos Departamentos de Engenharia Elétrica e Ciência da Computação, tem-se verificado a demanda por esta metodologia em diversos trabalhos.

30 1.5 Organização do texto 30 Ao propor uma nova metodologia de sincronização baseada na análise de sequências de imagens da cena monitorada por um conjunto de sensores, este projeto abre espaço para importantes esforços de pesquisa conjunta entre laboratórios de renome nacional e internacional da Universidade Federal de Minas Gerais com o Laboratório de Sistemas Inteligentes do Centro Federal de Educação Tecnológica de Minas Gerais. Certamente, a criação e intensificação das interações entre tais laboratórios destas instituições durante a execução deste trabalho contribuirão para diversos projetos conjuntos no futuro. A principal relevância do trabalho para a comunidade científica, que resultou na publicação em um artigo para o congresso SIBIGRAPI, foi sua contribuição para o desenvolvimento da base tecnológica responsável pela criação da tecnologia nacional nas áreas de Redes de Sensores e Visão Computacional. Embora alguns sistemas para sincronização temporal em redes de sensores já tenham sido descritos e implementados, uma solução fechada e comercial para o problema ainda não está disponível no Brasil. Devido a barreiras comerciais impostas sobre os componentes do sistema, já que muitos deles podem ser utilizados na indústria bélica, a execução deste projeto seria de grande contribuição para a comunidade brasileira, já que pode ser um trabalho de apoio para a criação de produtos nacionais. Em relação ao estado da arte da pesquisa na área, este trabalho contribuiu com uma metodologia inovadora, a qual demonstra ser mais eficiente e robusta do que muitos dos trabalhos relacionados. 1.5 Organização do texto Este texto está organizado em 5 capítulos sendo esse o seu primeiro capítulo. No capítulo 2 são apresentados os trabalhos relacionados e discutidas outras metodologias de sincronização temporal em sistemas distribuídos. Neste capítulo ainda é apresentada uma análise crítica destas metodologias, apresentando os pontos negativos de cada uma delas. No capítulo 3 é apresentada a fundamentação teórica desta deste trabalho. Neste capítulo temos uma visão geral sobre aquisição e tratamento de imagens digitais, seguida por uma descrição de como determinar os parâmetros que levam a transformação de um ponto no mundo para o plano de imagem. Este processo é chamado de calibração de câmeras. Apresentamos ainda a descrição do funcionamento de rastreadores de objetos em uma seqüência de vídeo, que trata-se

31 1.5 Organização do texto 31 de determinar a trajetória de um objeto em pixels na câmera. Por último, temos uma seção para descrever o funcionamento de uma algoritmo simples mas muito robusto para ajuste de modelos baseado em conjuntos de dados com ruído. Este algoritmo é chamado de RANSAC-Random Sample Consensus (FISCHLER; BOLLES, 1987). No capítulo 4 é apresentado em detalhes o algoritmo proposto para solução do problema de sincronização em uma rede de sensores móveis sem fio. Finalmente no capítulo 5 são apresentados e discutidos os resultados obtidos com a metodologia de sincronização desenvolvida. Neste capítulo apresentamos resultados obtido para seqüências sintéticas e uma seqüência real que comprovam a eficiência da técnica de sincronização proposta. Adicionalmente são apresentados resultados da aplicação da metodologia para a sincronização de câmeras que não possuem sobreposição de campos de visão. Finalmente apresentamos as conclusões do trabalho e as direções futuras para a pesquisa.