CENTRO UNIVERSITÁRIO POSITIVO NÚCLEO DE CIÊNCIAS EXATAS E TECNOLÓGICAS ENGENHARIA DA COMPUTAÇÃO VISÃO COMPUTACIONAL

Transcrição

1 CENTRO UNIVERSITÁRIO POSITIVO NÚCLEO DE CIÊNCIAS EXATAS E TECNOLÓGICAS ENGENHARIA DA COMPUTAÇÃO VISÃO COMPUTACIONAL Marcos Antonio Wypych Monografia apresentada à disciplina de Projeto Final,como requisito parcial à conclusão do Curso de Engenharia da Computação. Orientador: Prof. Alessandro Zimmer. UNICENP/NCET Curitiba 2007

2 TERMO DE APROVAÇÃO Marcos Antonio Wypych Visão Computacional Monografia aprovada como requisito parcial à conclusão do curso de Engenharia da Computação do Centro Universitário Positivo, pela seguinte banca examinadora: Prof. Alessandro Zimmer (Orientador) Prof ª. Adriana Cursino Thomé Prof. José Carlos da Cunha Curitiba, 15 de Dezembro de

3 AGRADECIMENTOS Agradeço a minha esposa Mara pela paciência e compreensão. Ao Prof. Alessandro Zimmer pela indispensável orientação por todo o projeto. Ao meu pai Eduardo Wypych pela ajuda na construção da esteira. A fundamental ajuda dos meus colegas: Ari e Edson pelas dicas de software e Roger pelas dicas em hardware. Aos professores e colegas por todas as sugestões e conhecimentos repassados. 3

4 RESUMO O projeto consiste no desenvolvimento de um sistema de visão computacional que possa retirar informações de objetos que passam através de uma esteira. O objetivo é simular o processo automatizado de seleção de objetos através do processamento de imagens. O sistema é formado por um computador, duas webcam e um hardware que controla a esteira. O computador é responsável por executar o programa que faz a aquisição das imagens e o seu processamento, pela comunicação com o hardware da esteira e também por fornecer a interface que permite visualizar os resultados assim como controlar e monitorar a esteira. O hardware é composto por um microcontrolador, um motor DC, um motor de passo, fotosensores e a comunicação serial. Ele executa o controle de velocidade da esteira, o acionamento do mecanismo de seleção, identifica a passagem de um objeto e executa a comunicação com o computador. O funcionamento se faz da seguinte forma: um objeto vai se deslocando pela esteira, passa por um fotosensor, neste ponto o microcontrolador identifica a passagem de um objeto e envia uma mensagem para o computador avisando que existe um objeto a ser analisado. O computador faz a aquisição de duas imagens do objeto, uma com vista superior e outra com vista lateral. As duas imagens são processadas auxiliando na identificação da forma do objeto. Na seqüência o computador devolve uma mensagem ao hardware avisando qual deve ser o caminho que o objeto deve seguir na esteira. Para validar o projeto serão usados objetos nas formas de: cubo, cone e cilindro cujos tamanhos serão variados. Palavras chave: Esteira, Webcam, Microcontrolador, Visão Computacional. 4

5 COMPUTATIONAL VISION ABSTRACT The project consists of the development of a system of computational vision that removes object information that passes through a mat. The objective is to simulate the automatized process of objects election through the image processing. The system is formed by a computer, two webcams and the hardware that controls the mat. The computer is responsible for executing the program that makes the acquisition of the images and its processing, for the communication with the hardware of the mat and also supplies the interface that allow to visualize the results, to control and monitoring the mat. The hardware is composed of a microcontroller, an DC motor, an step motor, photosensors and the serial communication. It executes the control of speed of the mat, the drive of the selection mechanism, it identifies the passing through of an object and executes the communication with the computer. The functioning occurs of the following form: an object if dislocates for the mat, it passes by a photosensor, in this point the microcontroller identifies the passing through of an object and sends a message for the computer informing that an object exists to be analyzed. The computer makes the acquisition of two images of the object, one with top view and another one with side view. The two images are processed assisting in the identification of the form of the object. In the sequence the computer returns to a message to the hardware informing which must be the way that the object must follow in the mat. To validate the project were used objects in the cube, cone and cylinder forms whose the sizes will be varied. Key words: Mat, webcam, analysis of images, computational vision 5

6 SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO...12 CAPÍTULO 2 FUNDAMENTAÇÃO TEÓRICA Representação de Imagens Aquisição de Imagens Pré-Processamento Histograma Limiarização Segmentação Microcontrolador Motor de Passo Motor DC Fotosensor...25 CAPÍTULO 3 ESPECIFICAÇÃO DO PROJETO Descrição do Hardware Microcontrolador Motor DC Motor de Passo Fotosensor Webcam Painel de Controle e Conexões Fonte Computador Comunicação Esteira Descrição do Software Programa Aquisição Pré processamento Histograma

7 3.2.5 Limiarização Detecção de Cantos Escopo das Imagens que serão Identificadas...35 CAPÍTULO 4 DESENVOLVIMENTO E IMPLEMENTAÇÃO Circuito do Microcontrolador Mecanismo de Seleção Controle do Motor da Esteira Conexão Serial Firmware Software Algoritmo para Detecção de Canto...45 CAPÍTULO 5 VALIDAÇÃO E RESULTADOS...49 CAPÍTULO 6 - CONCLUSÃO...56 CAPÍTULO 7 - REFERÊNCIAS BIBLIOGRÁFICAS...57 APÊNDICE A GLOSSÁRIO

8 LISTA DE FIGURAS Fig Representação de imagem...16 Fig Disposição dos pixeis...18 Fig Aplicação do filtro de média (A)...19 Fig Aplicação do filtro de média (B)...19 Fig Histograma...20 Fig Pinagem do Fig Esquema interno de um motor de passo unipolar...24 Fig Caixa de um motor de passo...26 Fig Esquema de um motor DC...27 Fig Diagrama Geral...29 fig Características do motor de passo...31 Fig Webcam LG 350K...32 Fig Medidas Esteira Fig Medidas Esteira Fig Maquete da Esteira...38 Fig Cone...40 Fig Cubo...41 Fig Cilindro...41 Fig Diagrama esquemático do Microcontrolador...43 Fig Diagrama esquemático do motor M Fig Diagrama esquemático do motor DC...45 Fig Diagrama esquemático da porta serial...46 Fig Fluxograma do firmware...47 Fig Interface...57 Fig Esquemático do Software...58 Fig Área de procura...60 Fig Funções para Processamento de Imagem...61 Fig Objetos de prova...62 Fig Testes A...63 Fig Testes B...63 Fig Testes C...63 fig Testes D...63 Fig Testes E...63 Fig Testes F...63 Fig Testes G...63 Fig Testes H...63 Fig Testes I...64 Fig Testes J...64 Fig Testes K...64 Fig Testes L...64 Fig Primeira bateria de testes...65 Fig Testes B...65 Fig Testes A...65 Fig Testes D...66 Fig Testes C...66 Fig Testes E...66 Fig Testes F...66 Fig Testes G...66 Fig Testes H...66 Fig Testes I...67 Fig Testes J...67 Fig Testes L...67 Fig Testes K...67 Fig Segunda bateria de testes

9 LISTA DE TABELAS TABELA 1 SINAIS DA PLACA MICROCONTROLADORA...37 TABELA 4.2 SINAIS DA PLACA MICROCONTROLADORA

10 LISTA DE SIGLAS NCET- Núcleo de Ciências Exatas e Tecnológicas UNICENP Centro Universitário Positivo WIA Windows Image Acquisition API Application Programming Interface USB Universal Serial Bus PWM Pulse Width Modulation LDR - light dependent resistor 10

11 LISTA DE SÍMBOLOS Ω - ohm m metro cm - centímetro V volt Hz hertz A âmpere b bits B - byte 11

12 CAPÍTULO 1 - INTRODUÇÃO Desde a década de 60 a área de processamento de imagens vem sendo objeto de desenvolvimento devido ao seu grande número de aplicações. Em vários ramos temos o processamento de imagens como ferramenta fundamental. Seja na geomática com o uso de fotografias aéreas e de imagens de satélite usadas para geoprocessamento, sensoriamento remoto e metereologia. Na medicina temos a análise de imagens geradas por tomografia computadorizada auxiliando o diagnóstico de doenças. Na robótica onde sistemas autômatos podem interpretar imagens e tomar decisões. No controle de tráfego e na interpretação de placas de carro. Na indústria a automatização vem retirando cada vez mais, o ser humano de tarefas perigosas e repetitivas, aumentando a agilidade da produção e melhorando a qualidade. E é na indústria que mais uma vez o processamento de imagens contribui com o processo de controle de qualidade e de seleção de objetos. O processo de seleção de objetos em tempo real é muito comum nas indústrias. Como exemplo podemos citar a produção de embalagens onde existe a necessidade de identificar se a forma de uma caixa está dentro dos padrões de qualidade e se não estiver, será preciso realizar o descarte da caixa, também de forma automática. A proposta deste projeto tem como principal objetivo o de identificar e selecionar objetos de formas pré-definidas que se deslocam em uma esteira semelhante a um processo industrial. A identificação será feita com o uso de ferramentas de computação gráfica para processamento de imagens. A tecnologia usada para atingir o objetivo deste projeto é a visão computacional. Visão computacional é a determinação de características dos objetos representados por uma imagem. O desenvolvimento desta tecnologia veio com a necessidade de melhoria da informação visual bem como de realizar a percepção de dados de imagens através das máquinas. Através de fotos retiradas das vistas superior e lateral de um objeto realiza-se o processamento destas imagens com o objetivo de identificar algumas formas padrões. De posse destas informações o sistema toma uma decisão com relação ao caminho que o objeto deve seguir na esteira. Este documento foi elaborado levando em conta duas principais divisões que são: software executado pelo computador e que consiste na aquisição, processamento das imagens e 12

13 no software e hardware usados para controle do protótipo da esteira e comunicação com o computador. 13

14 CAPÍTULO 2 FUNDAMENTAÇÃO TEÓRICA O projeto se utiliza de conceitos de computação gráfica e eletrônica descritos na sequência. 2.1 Representação de Imagens Existem dois tipos básicos de representação de imagens que são a representação vetorial e a representação matricial. Na representação vetorial, são usados como elementos básicos os pontos, as linhas, as curvas, as superfícies tridimensionais ou mesmo os sólidos que descrevem os elementos que formam as imagens sinteticamente no computador (EDUARDO AZEVEDO, 2003). Na representação matricial a imagem é descrita por um conjunto de células em um arranjo espacial bidimensional, uma matriz. Cada célula representa os pixeis (ou pontos ) da imagem matricial. Os objetos são formados usando adequadamente esses pixeis. Essa é a representação usualmente empregada para formar a imagem nas memórias e telas dos computadores e na maioria dos dispositivos de saída gráficos (impressoras e vídeos)(eduardo AZEVEDO, 2003). A alteração na apresentação dos pixeis permite modificar a imagem, alterando seu tamanho, intensidade e cor. Para realizar esta modificação é necessário conhecer cada elemento da imagem. Podemos atribuir a imagem a uma função bidimensional f(x,y) contínua onde existe um valor de f proporcional a intensidade do brilho naquele ponto (pixel). As coordenadas (x,y) identificam o ponto na imagem. Em uma imagem monocromática, o valor do pixel é um escalar entre um limite mínimo (Lmin) e máximo (Lmax) definindo uma única banda de cor. Ou seja, se temos uma imagem monocromática com limites Lmin < n < Lmax sendo Lmin = 0 e Lmax = 255, teremos uma imagem com uma escala de cinza com uma profundidade de 1 byte por pixel. 14

15 Fig. 2.1: Representação de uma imagem Fonte: IMAGEM DIGITAL, 2007 Uma imagem colorida é uma imagem multibanda ou multiespectral, formada pela composição de bandas das cores primárias vermelha (R), verde(g) e azul(b). Uma representação comum de um imagem colorida utiliza três bandas R, G e B com profundidade de 1 byte por pixel para cada banda ou com profundidade de 24 bits por pixel por banda (IMAGEM DIGITAL, 2007). 2.2 Aquisição de Imagens Dois elementos são necessários para a aquisição de imagens digitais. O primeiro é um dispositivo físico que seja sensível a uma banda do espectro de energia eletromagnética (como raios X, ultravioleta, visível, ou banda infravermelha) e que produza um sinal elétrico de saída proporcional a um nível de energia percebida. O segundo, chamado digitalizador, é um 15

16 dispositivo para a conversão da saída elétrica de um dispositivo de sensoreamento físico para a forma digital (GONZALEZ, 2000). Um dispositivo com as características acima são as câmeras CCD ou CMOS largamente usadas em webcam ou em dispositivos de segurança. Nos CCDs, a carga elétrica correspondente aos fótons capturados em cada pixel é transferida seqüencialmente, linha por linha, coluna por coluna, até um conversor de carga para voltagem e amplificador de sinal localizado fora da área do sensor. Já nos CMOSs, a conversão e amplificação se dá em cada fotodetector e os valores podem ser lidos independentemente. Ambas as tecnologias têm seus prós e contras: os CCDs sempre produziram imagens melhores não só pela maior experiência em sua produção, mas porque a menor complexidade e o processamento unificado das cargas elétricas geram menos interferências e ruído. Nos CMOS, por outro lado, a amplificação em cada fotodiodo costumava gerar imagens excessivamente ruidosas e dificultava a filtragem, necessária em milhões de pontos individuais. A situação se inverte quando pensamos em processo produtivo (muito associado ao custo) e complexidade de integração. Um sensor CMOS é, essencialmente, um circuito integrado como um módulo de memória ou um processador podendo ser fabricado nas mesmas fábricas e se beneficiar dos mesmos avanços tecnológicos. Além de baratear sua produção, isso facilita demais a integração de recursos e outros circuitos. A tecnologia CMOS também está sofrendo uma evolução e com o passar do tempo estima-se que que a qualidade de uma imagem CMOS seja igual ou superior a uma imagem CCD (CCD, 2007). 2.3 Pré-Processamento A imagem adquirida normalmente pode conter interferências e ruídos que podem prejudicar o processamento da imagem. Existe então uma etapa de pré processamento na imagem digitalizada que consiste em melhorar a qualidade e a nitidez. Esse pré processamento é feito através de filtros que manipulam os valores de intensidade dos pixeis. Existem vários tipos de filtros com diferentes finalidades. Um deles é o filtro de média que é uma técnica que permite a redução de ruído em uma imagem. Considerando uma dada vizinhança nbh, o método consiste em calcular a média de todos os pontos dentro desta vizinhança para cada pixel da imagem original. 16

17 A fim de se realizar o cálculo da média, pode-se considerar que existem três possibilidades de localização dos pixels: O pixel é um dos cantos da imagem. Neste caso, apenas quatro pixels da imagem de entrada participam do computo do seu valor. Um exemplo é o pixel D11 da. O pixel é da lateral da imagem. Neste caso, apenas seis pixels da imagem de entrada participam do computo do seu valor. Um exemplo é o pixel D21 da figura 2.2 (B). O pixel não é nem de canto nem de lateral da imagem. Neste caso, todos os nove pixels da imagem de entrada participam do computo do seu valor. Um exemplo é o pixel D22 da figura 2.2(B). Para ilustrar melhor como são efetuados os cálculos, consideremos as três possibilidades de localização do pixel e a forma de se obter seu valor: D11= S11 S12 S21 S22 /4 D21= S11 S12 S21 S22 S31 S32 /6 D22= S11 S12 S13 S21 S22 S23 S31 S32 S33 /9 Fig. 2.2 Disposição dos pixeis As possibilidades acima devem ser consideradas no algoritmo para o cálculo do filtro de média. Um exemplo do efeito do filtro de média em uma imagem é mostrada na figura 2.3 (A) e (B) (FILTRO DE MÉDIA, 2007). 17

18 Fig. 2.3 Aplicação do filtro de média (A) e (B) Fonte: (FILTRO DE MÉDIA, 2007) 2.4 Histograma O histograma de uma imagem digital com níveis de cinza no intervalo [0, L -1] é uma função discreta p(rk)=nk/n em que rk é o número de pixels na imagem com esse nível de cinza, n é o número total de pixels na imagem e k = 0,1,2,...,L-1. Grosseiramente falando, p(rk) dá uma estimativa da probabilidade de ocorrência do nível de cinza rk. Um gráfico dessa função para todos os valores de k fornece uma descrição global da aparência de uma imagem. (GONZALEZ, 2000). 2.5 Limiarização Quando temos um objeto claro sobre um fundo escuro por exemplo podemos usar a técnica de limiarização que analisa o histograma da imagem para conseguir identificar um ponto limiar entre o objeto e o fundo como o ponto T mostrado na figura

19 Fig. 2.4 Histograma Suponha que o histograma de níveis de cinza da figura 2.4 corresponda a uma imagem f(x,y), composta por objetos iluminados sobre um fundo escuro, de maneira que os pixels do objeto e os do fundo tenham os seus níveis de cinza agrupados em dois grupos dominantes. Uma maneira óbvia de extrair os objetos do fundo é através da seleção de um limiar T que separe os dois grupos. Então, cada ponto (x, y) tal que f(x, y) > T é denominado um ponto do objeto; caso contrário, o ponto é denominado um ponto do fundo (GONZALEZ, 2000). Uma das maiores dificuldades em processamento de imagens é a determinação deste ponto T de forma automática. O método de Otsu é um dos modelos para achar esse limiar automaticamente. No método de Otsu seguimos os seguinte passos: 1.Tratar o Histograma da Imagem como uma Função Densidade de Probabilidade Discreta: Onde: Pr r q =nq /n n= número total de píxels da Imagem sendo n= 0,1,2,..., L-1 nq= número de píxels com intensidade rq L= número total dos possíveis níveis de intensidade da Imagem 2.Um valor k para o Threshold pode ser escolhido tal que: C0 seja a classe de Píxels com níveis entre [0, k-1] e C1 seja a classe de Píxels com níveis entre [k, L-1] 3.O método de Otsu escolhe k tal que maximize a variância inter-classes: 2 = 0 0 t t 2 Onde: k 1 0= P q r q q=0 19

20 L 1 1 = P q r q q=k k 1 0= qp q r q / 0 q=0 L 1 1= qp q r q / 1 q=k L 1 T = qp q r q q=0 O método acima pode ser chamado de thresholding automático(otsu, 2007). 2.6 Segmentação A segmentação subdivide uma imagem em suas partes ou objetos constituintes sendo que o nível da subdivisão que deve ser realizada depende do problema a ser resolvido. A segmentação automática é uma das tarefas mais difíceis em processamento de imagens. Os algoritmos de segmentação de imagens monocromáticas são geralmente baseados em uma das seguintes propriedades básicas de valores de níveis de cinza: descontinuidade e similaridade. Na primeira categoria, a abordagem é particionar a imagem baseado em mudanças bruscas nos níveis de cinza e as principais áreas de interesse nessa categoria são a detecção de pontos isolados e detecção de linhas e bordas na imagem. Na segunda categoria, a abordagem baseia-se em limiarização, crescimento de regiões e divisão e fusão de regiões (GONZALEZ, 2000). 2.7 Microcontrolador O microcontrolador é um componente eletrônico que já tem em seu invólucro vários blocos que normalmente um microprocessador não possui. O objetivo do microcontrolador é facilitar a implementação de sistemas de forma mais simples do que usando um microprocessador. Usando um microcontrolador o circuito terá uma redução de tamanho se comparado com um que usa um microprocessador. Um microcontrolador pode já ter embutido várias características como timer, comunicação serial, conversor A/D que são grandes complicadores se tiverem que ser implementados a parte. No caso do microcontrolador 8051 temos um chip com 40 pinos descritos a seguir: 20

21 P1.0 a P1.7 - Porta bidirecional de 8 bits com os pinos individualmente endereçáveis. Pode ser usado como a parte baixa para endereçamento. RST Pino de reset que deve ficar em nível lógico TTL durante 2 ou mais ciclos. P3.0 P3.7 - Porta bidirecional com pull up interno que podem ser usados também como função especial descritos a seguir P3.0 e P3.1 Rx e Tx respectivamente usados para comunicação serial. P3.2 e P3.3 Interrupção externa INT0 e INT1 P3.4 e P3.5 Timer T0 e T1. P3.6 e P3.7 Pinos de controle para leitura e escrita de memória ou dispositivos externos XTAL2 e XTAL1 Oscilador externo. P0.0 a P0.7 Porta bidirecional de 8 bits P2.0 a P2.7 Porta bidirecional de 8 bits que pode ser usado com a parte de endereçamento mais alta. PSEN Habilita a execução de programa externo. ALE Controla o latch de endereços. EA\ - Seleciona se o microcontrolador vai usar ou não a memória de dados interna (SILVA JUNIOR, 1998). 21

22 Fig. 2.5 Pinagem do 8051 Fonte: SILVA JUNIOR, Motor de Passo Os motores de passo são atuadores que têm o intuito de prover um movimento uniforme a cada transição de bobinas energizadas. Os ângulos de deslocamento dependem do número de enrolamentos contidos internamente no motor, sendo que motores menos precisos podem ter um passo de 90º e os mais precisos podem ter uma variação de 1,8º a 0,72º por passo. Existem dois tipos diferentes de motores de passo, os magnéticos permanentes e os de relutância variável. Eles podem ser distinguidos através da tentativa de girar o motor quando este não está energizado, os motores do tipo magnéticos permanentes tendem a prender o eixo mesmo sem alimentação, enquanto os de relutância variável girarão livremente. Além disso, existem duas formas de enrolamento dos motores, que são unipolar e bipolar. O motor unipolar contém um canal comum para cada segmento de bobinas, enquanto o motor bipolar não contém canal 22

23 comum, sendo que o circuito de controle deste motor é muito mais complexo (MOTOR ELÉTRICO, 2007). Fig. 2.6 Esquema interno de um motor de passo unipolar Fonte: The Robots Builder's Bonanza 2000 Na figura 2.7 temos o desenho de um corte da carcaça de motor de passo mostrando sua estrutura interna. Fig. 2.7 Caixa de um motor de passo Fonte: The Robots Builder's Bonanza

24 2.9 Motor DC Os motores DC são os mais utilizadas pelo ser humano. Eles são encontrados em diversos eletrodomésticos, equipamentos de informática, robôs, etc. Eles usam basicamente corrente contínua para o seu funcionamento. O movimento do rotor de um motor elétrico é conseqüência da atuação de forças eletromagnéticas desenvolvidas entre os pólos do rotor e do estator. Essas forças atuam através de atração e repulsão dos pólos conforme figura 2.7. Um motor DC normalmente possui uma velocidade final mais alta que o de um motor de passo, outra vantagem é que ele possui um torque mais elevado. Em um motor DC o controle de velocidade é um pouco mais complicado que em um motor de passo. Nos casos em que necessitamos controlar a velocidade de um motor DC temos que fazer isso sem uma perda considerável no torque. Uma técnica utilizada para esse fim é o controle do motor DC através de PWM (pulse-width modulation) que consiste em variar a largura de um pulso dentro de um mesmo período. Se a largura do pulso for igual a do período inteiro teremos potência máxima aplicada ao motor, caso contrário a velocidade diminui sem que haja um perda considerável no torque do motor (MOTOR ELÉTRICO, 2007). Fig. 2.8 Esquema de um motor DC Fonte: Adaptada de hyperphysics

25 2.10 Fotosensor Os fotosensores funcionam baseados no fenômeno de fotocondutividade. Quando um fluxo luminoso incide sobre um material semicondutor, os fótons podem fornecer energia suficiente para produzir a ruptura de ligações covalentes ( um elétron abandoa a ligação covalente deixando um buraco no seu lugar). Portanto, a ação dos fótons ocasiona a produção de pares elétron-buraco, o que provoca o aumento da condutividade do semicondutor. Este fenômeno é conhecido como fotocondutividade. Existem vários tipos de fotosensores tais como os fotoresitores, fotodiodos e fototransistores (MELLO, 1983). Os fotoresistores são constituídos simplesmente de material semicondutor: quando o fluxo luminoso incide sobre os mesmos, a sua condutividade aumenta ou seja, sua resistividade diminui. Eles também são conhecidos como LDR (light dependent resistor). Os fotodiodos são constituídos de maneira análoga a um diodo. A junção de um diodo é polarizada inversamente e quando incide na região da junção um feixe luminoso, são quebradas as ligações covalentes, aumentando a concentração dos portadores em minoria e, conseqüentemente, provocando a variação da corrente de saturação. Esta variação da corrente de saturação atua no circuito associado ao fotodiodo. Os fototransistores são constituídos basicamente de duas junções, havendo uma janela que permite a incidência de luz sobre a junção base-emissor, aumentando a condutividade deste diodo base-emissor, com o conseqüente aumento da corrente de coletor (MELLO, 1983). 25

26 CAPÍTULO 3 ESPECIFICAÇÃO DO PROJETO O projeto se divide em duas partes: Hardware e Software. O hardware é usado para controlar a esteira e o Software para o processamento das imagens. 3.1 Descrição do Hardware O Hardware do projeto tem o objetivo de controlar a esteira e identificar o momento de acionamento das duas webcam. Ele é basicamente composto pela fonte, microcontrolador, duas webcam, um fotosensor, um motor DC, um motor de passo, um painel de controle (fig. 3.1) e a parte mecânica que é composta pela esteira e todos os suportes necessários. Ilustração 2 Diagrama Fig.3.1 da Este Diagrama Geral 26

27 3.1.1 Microcontrolador Para o projeto será usado o microcontrolador ATM89S52 compatível com a série 8051 com as seguintes características: 3 Portas de I/O bidirecionais endereçáveis por bit 1 Canal serial UART com interrupção e 3 modos de operação Timers/Contadores de 8/16 bit com 4 modos de operação cada um 5 Entradas de interrupção com arquitetura nesting bytes de memória RAM interna, sendo apenas 128 bytes de uso geral 8 Kbytes de memória PROM interna (desabilitáveis) Até 64Kbytes de memória RAM externa (não compartilhada) Até 64Kbytes de memória ROM externa (não compartilhada) Pino de saida de oscilador de meia onda (1/4 do clock) Clock de 1 a 12Mhz 4 bancos de registradores Arquitetura CISC Motor DC O motor DC usado no projeto foi uma motor de acionamento de limpador de parabrisa. Sua alimentação é de 12V e será acionado por PWM de freqüência de 100Hz. O motor DC foi ligado a um conjunto de duas engrenagens para aumentar a força no tracionamento da esteira. Na última engrenagem o existe uma polia dentada tipo M3 que faz a ligação por uma correia ao cilindro da esteira Motor de Passo No projeto foi usado um motor de passo unipolar da Panasonic modelo 55spm25. É um motor que pode ser alimentado de 12V a 24V. Suas característica básicas podem ser vistas na fig

28 Fig. 3.2 Características do motor de passo Fotosensor LED Fotosensor monitorado pelo microcontrolador com o objetivo de avisar o computador da presença de um objeto na esteira. Através do sensor o computador saberá a posição do objeto e acionará o disparo da webcam. 28

29 3.1.5 Webcam Duas Webcam LG 350K com acionamento através da biblioteca WIA da Microsoft. Especificação das webcam: Sensor de imagem: VGA( pixels) 1 / 4,5 polegadas. Formato de saída de vídeo: VGA(640X480), CIF(352X288), SIF(320X240), QCIF(176X144), QSIF(160X120) Cores: RGB24, I420 Max fps: 15fps(VGA), 30fps(CIF) Protocolo USB: USB V1.1 Controle de exposição automática Controle automático de ganho Lentes: f = 4,5mm, F1,25 Angulo de visão: 53 graus Alcance de visão: 5cm até infinito Tamanho: 50 x 60 x 85 mm Fig. 3.3 Webcam LG 350K Painel de Controle e Conexões Dispõe de uma chave liga/desliga geral. Uma chave para ligar a iluminação da própria esteira. Conector DB9 fêmea para conexão serial. Entrada para energia. 29

30 3.1.7 Fonte Fonte DC com saída de 5V e 12V para os motores de passo, motor DC e circuito microcontrolador Computador Microcomputador PC compatível mínimo Pentium IV 2GHz, 512Mb de memória RAM e com uma saída serial RS232 e duas USB 2.0. Sistema Operacional Windows XP SP Comunicação A comunicação entre o computador e o microcontrolador será através da saída serial padrão RS232. A aquisição das imagens será através da conexão USB diretamente no computador sendo que o acionamento para aquisição será feito pelo programa através do componente WIA fornecido pela Microsoft. O programa ficará encarregado de monitorar um sinal da entrada serial para saber quando deve executar a aquisição Esteira A esteira será montada em uma estrutura de madeira (MDF). A estrutura irá comportar os rolos da esteira, o motor DC para movimentar a esteira, o motor de passo para acionamento do seletor de objeto, o suporte para as duas câmeras, suporte para o fotosensor, encaixe para a conexão serial, USB e cabo de alimentação, fonte interna, placa do microcontrolador e placa do servomotor. A esteira será em tecido Poliéster 600. A figura 3.2 mostra as medidas da maquete. 30

31 Fig. 3.4 Medidas Esteira 1 31

32 Fig. 3.5 Medidas Esteira 2 32

33 Fig. 3.6 Maquete da Esteira 3.2 Descrição do Software Temos o firmware que é o programa que será embutido no microcontrolador para controle da esteira e o software que roda no computador e faz a aquisição e processamento das imagens 33

34 3.2.1 Programa O firmware do microcontrolador será desenvolvido em assembler utilizando o software Reads51. A parte central do programa de aquisição do processamento de imagem será desenvolvido em C++. Temos interface gráfica para mostrar o andamento do processo e o estado dos sensores, a imagem adquirida e o resultado da análise. Ambiente de programação e compilação usado é o Borland C++ Builder 6.0. O programa possui os requisitos definidos a seguir: Aquisição O driver usado para aquisição é o componente WIA fornecido pela Microsoft. O componente WIA define uma interface genérica para acesso a dispositivos de imagem com integração completa em ambiente windows. O WIA define uma uma API (interface de programação de aplicação) para uma comunicação entre as aplicações do software e os dispositivos da aquisição da imagem (a fonte dos dados). O programa faz uso do componente wia_ocx que faz parte do pacote WIAAutSDK.zip encontrado em O programa suporta o controle de duas webcam tanto para visualização como aquisição das imagens Pré processamento No pré processamento foi utilizado o filtro de média aplicado à imagem adquirida. Foi utilizado o filtro de média pela sua facilidade de implementação. O resultado que ele apresentou foi suficiente para remover ruídos da imagem depois de segmentada. O filtro de média é executado quantas vezes forem necessárias para suavizar os contrastes da imagem. O números de vezes que o filtro é executado na implementação será definido nos testes finais, mas em alguns pré-testes um número aceitável ficou entre 5 e 10 vezes. 34

35 3.2.4 Histograma A montagem do histograma é uma etapa intermediária e o mesmo será usado para o cálculo do limiar Limiarização A etapa de limiarização no projeto é de fundamental importância, além de que esse processo precisa ser totalmente automático. O algoritmo de limiarização adotado é o método de OTSU (OTSU, 2007). O método de Otsu escolhe um valor de limiar tal que maximize a variância inter-classes Detecção de Cantos O programa possui um algoritmo que identifica os cantos nas imagens coletadas dos objetos definidos no item Partindo do principio que as imagens geradas dos objetos são formas próximas a de um quadrado, retângulo, triângulo e circunferência desenvolveu-se um algoritmo para encontrar os cantos dessas imagens Escopo das Imagens que serão Identificadas Os objetos que irão receber identificação são: um cilindro, um cubo e um cone. Teremos como amostra os objetos acima citados de dois tamanhos diferentes. Fig Cone 35

36 Fig Cubo Fig Cilindro 36

37 CAPÍTULO 4 DESENVOLVIMENTO E IMPLEMENTAÇÃO A execução do projeto foi dividida basicamente em três partes que são: hardware, software e montagem do protótipo. A seguir será feita a descrição da implementação de cada parte começando pelo hardware. 4.1 Circuito do Microcontrolador O microcontrolador usado é o AT89S52 da Atmel completamente compatível com a linha 8051 e que possui uma memória flash interna programável de 8Kb. Esse microcontrolador foi escolhido pela sua facilidade de programação via porta paralela dispensando gravadores comprados e facilitando os testes. Outro motivo da escolha é possuir uma capacidade de memória interna para programa e dados suficiente para o desenvolvimento do projeto sem a necessidade de uso de circuitos adicionais para ROM e RAM externas. O microcontrolador vai controlar 2 motores sendo um DC e outro motor de passo. Também vai monitorar quatro fotosensores e fará a comunicação com o microcomputador. A tabela 4.1 mostra uma descrição dos sinais usados na placa do microcontrolador Rótulo do Sinal Tipo do Barramento Tipo de Pinagem sinal Função DIR_M1 Controle 0/1 P1.0 Indica a direção que o motor de passo de seleção vai girar, sendo 1 para sentido horário e 0 para sentido anti-horário. PAS_M1 Controle 0/1 P1.1 Clock indicando quanto passos o motor de passo vai executar. FS1 Controle 0/1 P1.2 Fim de curso do motor de passo de seleção indicando a posição inicial. PWM_1 Controle 0/1 P1.3 Sinal PWM para controle do motor DC que traciona a esteira. FS2 Controle 0/1 INT0 Sinal vindo do fotosensor que identifica a passagem de um objeto na esteira. FS3 Controle 0/1 P1.5 Sinal vindo do fotosensor indicando que o objeto passou pelo primeiro caminho de saída da esteira. FS4 Controle 0/1 P1.6 Sinal vindo do fotosensor indicando que o objeto passou pelo segundo caminho de saída da esteira. RX Dados 0/1 RXD Recepção serial. TX Dados 0/1 TXD Transmissão serial. Tabela 1 Sinais da placa microcontroladora 37

38 A figura 4.1 mostra o diagrama esquemático do circuito do microcontrolador. Fig. 4.1 Diagrama esquemático do Microcontrolador Mecanismo de Seleção Um motor de passo é um tipo de motor elétrico que é usado quando algo tem que ser posicionado muito precisamente ou rotacionado em um ângulo exato. Por possuir essas características é que o motor de passo foi utilizado para o dispositivo de seleção dos objetos. O valor da tensão de alimentação influencia diretamente no torque do motor. No projeto verificou-se que o torque fornecido com uma alimentação de 12V foi suficiente. No eixo do motor de passo foi acoplado uma haste de alumínio de aproximadamente 30cm com um contrapeso em uma das pontas. O contrapeso foi usado para deixar o centro de massa da haste o mais próximo possível do acoplamento com o eixo do motor de passo para evitar um esforço desnecessário do motor. A ponta próxima ao contrapeso aciona o fotosensor FS1 indicando a posição inicial do mecanismo de seleção. A haste vai direcionar o objeto que se desloca na 38

39 esteira para um entre três caminhos possíveis. O motor utilizado movimenta-se em ângulo de 7.2 graus. Fazendo com que a posição inicial (zero grau) da haste seja em paralelo com a esteira podemos ter a haste na posição 0 (0 passos X 7,20=00), na posição 1 ( 4 passos X 7,20=28,80) e posição 3 (21 passos X 7,20=151,20). O microcontrolador fornece dois sinais para o controle do motor de passo. Um sinal de clock e um sinal para o sentido de movimento do motor que pode ser horário ou anti-horário. Esses dois sinais são usados por uma lógica auxiliar que gera automaticamente as fases para o motor. O motor de passo é acionado pelo driver ULN2004. Na figura 4.2 temos o diagrama esquemático do controle do motor de passo M1 12V 10K 7 4 Q Q CLK GND 6 74HC74 INA INB INC IND INE INF ING 1 74HC Q M1 MOTOR PASSO 6 9 Q 9 CLK 8 74HC HC86 D COM U8B PR 12 CL U4D 14 ULN2004 OUTA OUTB OUTC OUTD OUTE OUTF OUTG 5 R1 U8A VCC D PR CL 1 GND U6 U4A DIR_M1 PS_M1 4 5V C1 10nF Fig Diagrama esquemático do motor M Controle do Motor da Esteira Os motores DC trabalham com corrente contínua que é aplicado através de um comutador para a armadura do motor. Essa armadura é composta de um enrolamento que com a passagem da corrente induz um campo magnético. Dentro desta armadura temos um estator móvel que é constituído de materiais ferromagnéticos. Esse estator passa a se movimentar conforme a indução do campo magnético que está sempre se alterando conforme o comutador. O motor DC foi usado para movimentar o cilindro da esteira por possuir um maior torque que um motor de passo. O motor DC também tem grande flexibilidade em controle de 39

40 velocidade e precisão. O acionamento e controle da velocidade deste motor será feito por PWM. A freqüência do PWM será de 100Hz. O microcontrolador vai gerar os pulsos do PWM usando o timer interno baseado no clock de 11,049MHz. Para proteção do microcontrolador o sinal passa por um optoacoplador. Após o optoacoplador um transistor TIP122 se encarregada de alimentar o motor DC de 12V. Na figura 4.3 temos o driver que controla o motor DC. VCC_ARROW PWM_1 R1 47K ISO1 OPTO ISOLATOR-A R1 Q1 TIP R6 RESISTOR MG2 1 MOTOR AC Fig. 4.3 Diagrama esquemático do motor DC O motor DC foi acoplado a um conjunto de engrenagens e a uma polia dentada. Uma correia dentada modelo M3 faz a ligação entre a polia ligada ao motor com a polia ligada ao rolo que traciona a esteira Conexão Serial A conexão serial padrão RS232 utiliza-se somente dos sinais RX, TX e GND. A conexão de saída na esteira é feita por um conector DB9 Fêmea. Por fim temos na figura 4.4 o diagrama esquemático do circuito da conexão serial 40

41 Fig. 4.4 Diagrama esquemático da porta serial 4.2 Firmware Ainda como parte do hardware temos o firmware que roda no microcontrolador fazendo o controle de todo o circuito. Ele foi todo desenvolvido em assembler e foi gravado diretamente no microcontrolador. O código seguiu o seguinte fluxograma. 41

42 Fig. 4.5 Fluxograma do firmware O firmware possui rotina para controle do motor de passo. Essa rotina inicializa o motor de passo sempre para a posição inicial evitando que o mecanismo de seleção perca sua referência. Além de movimentar o motor de passo nos sentidos horário e anti-horário a rotina monitora o fotosensor usado para fim de curso do mecanismo de seleção. 42

43 Outra rotina importante é a geração do sinal PWM para controle do motor DC. Essa rotina faz uso do timer para controlar a largura do pulso em um sinal de 100Hz. O contador do timer é alterado conforme a solicitação do software fazendo com que a largura do pulso varie e mude a velocidade do motor. O software pode enviar um inteiro com variação de 0 a 255. Com o valor 0 o motor fica parado e com o valor 255 o motor gira em velocidade máxima. O firmware também possui uma rotina para estabelecer a comunicação serial entre a esteira e o computador. Qualquer dado que chegue pela serial gera uma interrupção. A rotina de controle da serial é executada e interpreta se o dado chegado é um comando ou um parâmetro. Se o bit mais significativo do byte que chegou for 0 o byte é um comando único, se for 1 o byte é um comando e o próximo byte recebido será encarado como um parâmetro. A tabela 4.2 define os códigos aceitos na comunicação serial. Valor Tipo Significado 01H Entrada Move motor de passo para posição 0 02H Entrada Move motor de passo para posição 1 03H Entrada Move motor de passo para posição 2 80H Entrada Altera a velocidade do motor DC ( o próximo parâmetro recebido é a velocidade que pode variar de 0 a FFH) 04H Entrada Liga o motor DC 05H Entrada Desliga o motor DC 65H Saída Avisa o programa que existe um objeto para ser processado. Tabela 2 Sinais da placa microcontroladora O fotosensor que monitora a passagem de um objeto gera uma interrupção que envia uma mensagem para o computador tirar uma foto. 4.3 Software O software possui a interface mostrada na figura 4.6 que permite a visualização do andamento do processo e dos resultados obtidos. Permite também enviar comando diretamente para a esteira, tais como: ligar e desligar, controlar a velocidade e posicionar o mecanismo de seleção. A interface também permite que o processo rode automaticamente fazendo a aquisição das imagens conforme exista um objeto passando pela esteira ou manualmente com a esteira parada onde se posiciona o objeto sob as webcam. Neste caso pode-se acompanhar todo o 43

44 processo passo a passo acionando os botões na seqüência de aquisição, mono, media, limiar e cantos. Fig. 4.6 Interface O programa segue a estrutura mostrada na figura 4.7. Nela temos o gerenciador que recebe e envia informações para a interface, para o componente de aquisição de imagem (WIA), para a serial e para as funções de processamento da imagem. 44

45 Fig. 4.7: Esquemático do Software Algoritmo para Detecção de Canto O software no modo automático e após receber uma mensagem da esteira de que existe um objeto para ser analisado, executa as seguintes funções automaticamente: Aquisição da imagem. Transforma a imagem para monocromática. Executa o filtro de média. Monta o histograma. Acha o limiar automaticamente. Executa o algoritmo para encontrar os cantos da figura. A aquisição da imagem é feita através do componente WIA da microsoft. A imagem das duas webcam são mostradas em tempo real na tela de pré-visualização. Quando o objeto passa pelo fotosensor a esteira emite um aviso para o software executar a aquisição da imagem. 45

46 A imagem recebida é um bitmap com 24 bits de profundidade de cor. Essa imagem é transformada em um imagem monocromática fazendo a média dos valores de RGB de cada pixel. Já na imagem monocromática é executado 10 vezes um filtro de média. O objetivo de executar o filtro várias vezes é o de deixar a imagem o mais suave possível. Nos testes notou-se que após executar o filtro de 4 a 6 vezes a imagem não sofria mais alteração. Para garantir que o filtro foi aplicado de forma correta ele é executado 10 vezes. Também verificou-se que a aplicação do filtro várias vezes não teve grande impacto no tempo de resposta do processamento. A etapa de filtragem tornou-se fundamental para a retirada de sujeiras espalhadas na imagem monocromática e para o cálculo de um melhor limiar automático. Com a imagem monocromática é montado um histograma da imagem filtrada que será usado pela função do limiar automático de OTSU(OTSU, 2007). Com o histograma montado executa-se a função do limiar de OTSU. O algoritmo comprovou-se muito eficiente para destacar a imagem do objeto. O método de Otsu escolhe um limiar tal que maximiza a variância inter-classes. De posse do valor do limiar destacamos a imagem do objeto do fundo. O objeto recebe o valor de cor '0' (preto) e o fundo recebe o valor de cor '255' (branco) para cada pixel. Com a imagem do objeto aplica-se a função para encontrar os cantos do objeto. Essa função executa as seguintes tarefas. Encontra-se as coordenadas x e y do centro do objeto. Sendo que: Cx = Σx/t Cy = Σy/t Onde: Cx e Cy são as coordenadas do centro do objeto t é o total de pixels do objeto. x e y são coordenadas dos pixels do objeto. Procura a coordenada 'D' que é o ponto mais distante do centro do objeto. Define dois parâmetros 'r' e 'R' paradelimitar a faixa de procura de novos pontos. Os dois parâmetros são percentuais da distância 'D' sendo r = 0,4D e R=0,6D Os valores de 0,4 e 0,6 foram os que mostraram um melhor rendimento na delimitação da faixa de pocura. Procura novos pontos válidos na região delimitada armazena em um vetor. 46

47 Testa os pontos válidos na procura de possíveis pontos que sejam canto. A figura 4.7 mostra como são usados os parâmetros 'r' e 'R' e D para delimitar a área de procura de cantos em um quadrado. As áreas cinza são pontos de procura. Fig. 4.8 Área de procura Após determinar os possíveis cantos da figura determina-se qual é o objeto que passou pela esteira da seguinte forma: Cubo: Vista superior encontra 4 cantos e vista lateral encontra 4 cantos. Cone: Vista superior encontra mais de 4 cantos e vistal lateral encontra 3 cantos. Cilindro: Vista superior encontra mais de 4 cantos e vista lateral encontra 4 cantos. Com essa informações o programa devolve uma resposta para a esteira dizendo que caminho tomar: Se for cubo o comando para desviar o objeto para a primeira saída é enviado. Se for cone o comando para desviar o objeto para a segunda saída é enviado. Se for cilindro o comando para deixar o objeto passar para a terceira saida é enviado. Se o algoritmo não conseguir identificar uma forma também o comando para deixar o objeto passar para a terceira saída é enviado. Para executar o processamento da imagem o programa se utiliza de uma biblioteca de funções mostrada na Fig

48 Fig. 4.9.: Funções para Processamento de Imagem A funções executam a seguinte tarefas: imgcanto: recebe a imagem, as coordenadas do centro da imagem e retorna um vetor de coordenadas de cantos. imgcentro: recebe a imagem e retorna a coordenadas do centro da imagem. imgfiltromedia: recebe a imagem e executa o filtro de media. imghistograma: recebe a imagem e retorna um vetor com o histograma. imglimiarotsu: recebe o histograma e calcula o limiar automático. imggetdata: recebe a imagem e transforma em uma matriz [320][240][3]. imgsetdata: recebe uma matriz [320][240][3] e retorna uma imagem bitmap. imgmono: recebe uma imagem e transforma em monocromática. 48

49 CAPÍTULO 5 VALIDAÇÃO E RESULTADOS Para validar o projeto foram usados 3 objetos conforme definidos na especificação, cada um em dois tamanhos diferentes. Os objetos são o cubo, o cone e o cilindro. Todos foram construídos em papel cartão na cor preta. Fig. 5.1 Objetos de prova Os testes para validar foram feitos em duas etapas, uma somente com iluminação natural e outra em um ambiente fechado com pouca iluminação natural em conjunto com a iluminação da própria esteira. Em cada uma das etapas cada um dos três objetos passaram pela esteira 10 vezes. A seqüência de passagem dos objetos foi definida aleatoriamente, mas com o cuidado de que cada objeto passasse pela esteira 10 vezes. O primeiro teste foi feito de dia somente com a iluminação natural. A fig. 5.2 mostra como ficou a imagem antes e depois de processadas para cada objeto. 49

50 (A) (B) (C ) (D) (E) (F) (G) (H) 50

51 (I) (J) (K) (L) Fig. 5.2 Testes O resultado do primeiro teste é mostrado na Figura Nele podemos ver que houve um erro na interpretação na passagem de dois cubos. O dois erros foram notados no cubo menor onde o foi encontrado 6 cantos na visão lateral. 51

52 Fig Primeira bateria de testes O segundo teste foi feito em ambiente fechado com pouca iluminação e com a iluminação da esteira ligada. As figuras 5.3 mostram como ficou a imagem antes e depois de processada. (A) (B) 52

53 (C ) (D) (E) (F) (G) (H) 53

54 (I) (J) (K) (L) Fig. 5.3 Testes O resultado do segundo teste é mostrado na Figura 5.4. Com a iluminação controlada não houve erros de interpretação na passagem dos objetos. 54