Inspeção Visual Automática em Problemas Industriais

Transcrição

1 Inspeção Visual Automática em Problemas Industriais Luis Miguel Morais Martins Dissertação para obtenção do Grau de Mestre em Engenharia Mecânica Júri Presidente: Prof. Mário Manuel Gonçalves da Costa Orientador: Prof. João Rogério Caldas Pinto Co-orientador: Prof. Carlos Baptista Cardeira Vogal: Prof. Mário António da Silva Neves Ramalho Novembro 2013

2

3 Think different. Steve Jobs i

4

5 Agradecimentos Expresso aqui os meus agradecimentos a todos que ajudaram e me apoiaram ao longo deste importante trabalho e ao longo do decorrer do meu percurso académico. Ao meu orientador Prof. João Rogério Caldas Pinto pelo apoio, motivação, dedicação, sugestões e disponibilidade que sempre demonstrou para o desenvolvimento deste trabalho. Ao meu co-orientador Prof. Carlos Cardeira pelas sugestões neste trabalho e pela disponibilidade em fazer as visitas e a contactar a empresa MATCERAMICA. À empresa MATCERAMICA pela disponibilidade para as visitas efetuadas à sua fábrica, o que ajudou a compreender melhor o processo de fabrico e de controlo da qualidade dos seus produtos cerâmicos, e à disponibilização de um conjunto de pratos com e sem defeitos. O que foi essencial para o desenvolvimento deste trabalho. Ao laboratório de Controlo, Automação e Robótica do IST do departamento de Engenharia Mecânica pelas infrastruturas disponibilizadas. A todos os meus colegas do IST que me apoiaram ao longo deste trabalho, o que se revelou muito importante. Por fim quero agradecer à minha família, à minha namorada e aos meus amigos pelo apoio e paciência. Dedico este trabalho ao meu Pai que já não está entre nós, mas que sempre me apoiou na minha vida e no meu percurso académico. iii

6

7 Resumo Este trabalho apresenta um sistema de inspeção visual automática para a deteção de defeitos em pratos de cerâmica utilizando técnicas de processamento de imagem e de decisão automática. São detetados, localizados e identificados três diferentes tipos de defeitos, defeitos do tipo impressão, bolha e decalque. Os defeitos do tipo impressão são caracterizados por falta de tinta no padrão do prato, do tipo bolha são caracterizados por círculos côncavos com pequenas fissuras e do tipo decalque são uma mistura dos dois últimos. É sugerido um sistema de reconhecimento de padrões onde entram as imagens dos pratos de cerâmica com e sem defeitos e saiem os resultados da identificação. Este sistema é baseado em três pontos principais, pré-processamento, extração de características e por fim treino e identificação. Para a extração de características utilizaram-se descritores SIFT e SURF e como técnica de decisão automática utilizaram-se redes neuronais artificiais do tipo Multi Layer Perceptron (MLP). Realizou-se também um estudo comparativo entre dois diferentes sistemas de aquisição de imagens e também entre os dois tipos de descritores. O sistema desenvolvido foi validado com sucesso com uma taxa de precisão de identificação de pratos de 85%, com os descritores SURF a serem mais eficazes que os SIFT e com o segundo sistema de aquisição de imagens a prevalecer face ao primeiro. Palavras-chave: Inspeção Visual Automática, Defeitos, Redes Neuronais Artificiais, Descritores SIFT, Descritores SURF, Sistema de Aquisição de Imagens. v

8

9 Abstract This work presents an automatic visual inspection system for detection of defects in ceramic plates, using image processing techniques and automatic decision. Three different types of defects are used, type printing, bubble and decal, they are detected, located and identified. Type printing defects are characterized by the lack of ink on the plate, bubble defects are characterized by concave circles with small cracks and decal defects are the mixture between the last two. This work suggests a system for recognition of patterns, where the input are the images of ceramic plates with or without defects and the output are the results of the identification. This system is based on three main points, pre-processing, feature extraction and finally training and identification. For the feature extraction, descriptors SIFT and SURF were used and for automatic decision, artificial neural networks multi layer perceptron (MLP) were used. Also a comparative study between two different image acquisition systems and descriptors were conducted. The system was validated successfully with an accuracy rate of identification of 85 %, with SURF descriptors being more effective than SIFT and the second image acquisition system to prevail over the first. Keywords: Automatic Visual Inspection, Defects, Artificial Neural Networks, SIFT Descriptors, SURF Descriptors, Image Acquisition System vii

10

11 Índice Agradecimentos... iii Resumo... v Palavras-chave:... v Abstract... vii Keywords:... vii Lista de Figuras... xi Lista de Tabelas... xv Abreviaturas... xvii Capítulo 1: Introdução Objetivos Enquadramento histórico da arte Motivação Contribuições Estrutura do documento... 6 Capítulo 2: Técnicas de Processamento de Imagem Binarização Detetor de arestas de Canny Transformada de Hough Transformada de reta Transformada de círculo Transformada de Harris Descritores SIFT Descritores SURF Capítulo 3: Técnicas de Decisão Automática Introdução Redes neuronais Avaliação dos classificadores ix

12 Capítulo 4: Descrição dos Métodos Implementados Aquisição de Imagens Iluminação Segmentação da imagem Descritores e deteção de defeitos Capítulo 5: Apresentação e Discussão dos Resultados Capítulo 6: Conclusões e Trabalho Futuro Bibliografia Apêndice A: Tipos de defeitos Apêndice B: Empresa MATCERAMICA x

13 Lista de Figuras Figura 1 Passos típicos de um sistema de reconhecimento de padrões [Jain, 2000] Figura 2 Tipos de defeitos em pratos de cerâmica: (a) Defeito do tipo impressão; (b) Defeio do tipo bolha e (c) Defeito do tipo decalque Figura 3 Tipos de defeitos ampliados: (a) Defeito do tipo impressão; (b) Defeito do tipo bolha e (c) Defeito do tipo decalque... 5 Figura 4 Imagem binária de um prato de cerâmica... 7 Figura 5 Ângulo da direção da aresta Figura 6 Reta para um par fixo (a) Plano ; (b) espaço de parâmetros. [Gonzalez, 2004]. 12 Figura 7 Espaço de parâmetros usado para a transformada de círculo de Hough Figura 8 Mapeamento no espaço de parâmetros dos pontos, Figura 9 Classificação dos pontos da imagem utilizando o operador Harris Figura 10 Fluxograma do algoritmo SIFT Figura 11 Gráfico comparativo entre o Laplaciano e DoG [Low, 2004] Figura 12 Diferença entre duas escalas consecutivas [Low, 2004] Figura 13 Exemplo do algoritmo para localizar as DoG [Low, 2004] Figura 14 Histograma das regiões em torno de um ponto de interesse [Low, 2004] Figura 15 Localização, escala e orientação de um ponto de interesse [Low, 2004] Figura 16 Descritor para a região local [Low, 2004] Figura 17 Histograma de orientações [Low, 2004] Figura 18 Gradiente multiplicado pela magnitude das orientações [Low, 2004] Figura 19 Representação de um descritor [Low, 2004] Figura 20 Imagem integral representante da soma dos valores dos píxeis em escala de cinza [Bay, 2008] Figura 21 Diagrama simplificado de uma rede neuronal Figura 22 Neurónio biológico [Wasserman, 1989] Figura 23 Modelo matemático de um neurónio artificial Figura 24 - Divisão de um conjunto de dados Figura 25 Sistema de aquisição de imagens (a)-(c) Primeiro sistema; (d) Segundo sistema Figura 26 Imagens tiradas com o primeiro sistema de aquisição Figura 27 - Imagens tiradas com o segundo sistema de aquisição xi

14 Figura 28 Iluminação direcional Figura 29 Imagem Padrão Figura 30 Exemplos de pré-processamento de algumas imagens. As imagens originais encontram-se à esquerda; As imagens processadas à direita Figura 31 Pré-processamento de uma imagem: (a) Imagem original; (b) Imagem binarizada; (c) Imagem binarizada e centrada; (d) Imagem final centrada; (e) Imagem final, centrada e rodada Figura 32 Prato dividido em 3 zonas: (a) Zona da folha preta; (b) Zona da folha branca; (c) Zona restante do prato Figura 33 Perfis de rotação: (a) Perfil cheio padrão; (b) Perfil cheio da imagem Figura 34 Fluxograma do pré-processamento Figura 35 Fluxograma da separação do prato em 3 zonas Figura 36 Rede neuronal artificial Figura 37 Dendrograma do Cluster Figura 38 Fluxograma da classificação Figura 39 Quantidade e densidade dos pontos de interesse de cada descritor: (a) SIFT; (b) SURF Figura 40 Gráfico da precisão dos pontos de interesse bem classificados antes e depois da filtragem para descritores SIFT e SURF Figura 41 Prato com defeito do tipo impressão (tipo A) antes e depois da filtragem Figura 42 Prato com defeito do tipo bolha (tipo B) antes e depois da filtragem Figura 43 Prato com defeito do tipo decalque (tipo C) antes e depois da filtragem Figura 44 Gráfico da precisão dos pontos de interesse bem classificados antes e depois da filtragem para descritores SIFT e SURF Figura 45 Gráfico da precisão da identificação da presença de defeitos nos pratos com os descritores SIFT e SURF Figura 46 Prato com defeito do tipo impressão (tipo A) antes e depois da filtragem Figura 47 Ampliação da zona do defeito da Figura Figura 48 Prato com defeito do tipo decalque (tipo C) antes e depois da filtragem Figura 49 Gráfico da precisão dos pontos de interesse bem classificados antes e depois da filtragem para descritores SIFT e SURF com o 2º sistema de aquisição de imagens Figura 50 Gráfico da precisão da identificação da presença de defeitos nos pratos com os descritores SIFT e SURF com o 2º sistema de aquisição de imagens Figura 51 Prato com defeito do tipo impressão (tipo A) antes e depois da filtragem com o 2º sistema de aquisição de imagens xii

15 Figura 52 Prato sem defeito antes e depois da filtragem com o 2º sistema de aquisição de imagens Figura 53 Defeito do tipo A Figura 54 Defeito do tipo B Figura 55 Defeito do tipo C Figura 56 Fachada da empresa MATCERAMICA xiii

16

17 Lista de Tabelas Tabela 1 Exemplo entre escala e oitava [Low, 2004] Tabela 2 Comparação entre SURF e SIFT [Oyallon, 2013] Tabela 3 Matriz de confusão dos pontos de interesse antes da filtragem para descritores SURF Tabela 4 Matriz de confusão dos pontos de interesse depois da filtragem para descritores SURF Tabela 5 Matriz de confusão dos pontos de interesse antes da filtragem para descritores SIFT Tabela 6 Matriz de confusão dos pontos de interesse depois da filtragem para descritores SIFT Tabela 7 Matriz de confusão dos pontos de interesse depois da filtragem para descritores SURF Tabela 8 Matriz de confusão dos pontos de interesse depois da filtragem para descritores SIFT Tabela 9 Matriz de confusão dos pratos para 200 unidades escondidas (máxima precisão) para descritores SURF Tabela 10 Matriz de confusão dos pratos para 10 unidades escondidas para descritores SURF Tabela 11 Matriz de confusão dos pratos para 40 unidades escondidas (máxima precisão) para descritores SIFT Tabela 12 Matriz de confusão dos pratos para 10 unidades escondidas para descritores SIFT Tabela 13 Matriz de confusão dos pontos de interesse depois da filtragem para descritores SURF Tabela 14 Matriz de confusão dos pontos de interesse depois da filtragem para descritores SIFT Tabela 15 Matriz de confusão dos pratos para 30 unidades escondidas (máxima precisão) para descritores SURF Tabela 16 Matriz de confusão dos pratos para 10 unidades escondidas para descritores SURF Tabela 17 Matriz de confusão dos pratos para 30 unidades escondidas (máxima precisão) para descritores SIFT xv

18 Tabela 18 Matriz de confusão dos pratos para 10 unidades escondidas para descritores SIFT Tabela 19 Comparação entre SIFT e SURF para máxima precisão Tabela 20 - Comparação entre SIFT e SURF para minimização de erros em pratos com defeito Tabela 21 Tipos de defeitos nos pratos xvi

19 Abreviaturas AGV DoG HSV IA ISO MLP RGB RNA SIFT Robôs ou Veículos Móveis (Automatic Guided Vehicle) Diferença de Gauss Sistema de cores formadas pelas componentes tonalidade, saturação e brilho Inteligência Artificial Índice de sensibilidade do filme Multilayer Perceptron Sistema de cores aditivas formado por vermelho (Red), verde (Green) e azul (Blue) Redes Neuronais Artificiais Scale-invariant feature transform SURF Speeded Up Robust Features SVM Máquina de Vetores de Suporte (Support Vector Machine) xvii

20

21 Capítulo 1: Introdução No atual estado da economia mundial existe uma grande competição entre as empresas. E este fator leva as empresas a tentar aumentar constantemente a produtividade e qualidade dos seus produtos. Também importante para estas empresas é a diminuição dos custos, ou seja, produzir mais com menor custos, com o apoio da automação industrial isso tem-se verificado. Contudo as empresas também necessitam de produzir produtos com qualidade, daí o controlo da qualidade ser bastante elevado e também muito importante. Ou seja, num mercado altamente competitivo as empresas precisam de qualidade e produtividade. A implementação de sistemas que emulam a visão humana e que até mesmo a superam em determinadas aplicações é uma realidade nos dias de hoje. Sistemas baseados em processamento de imagem por computador têm sido cada vez mais aplicados em diversas áreas, como por exemplo, interpretação de fotografias aéreas, diagnósticos médicos e naturalmente na indústria [Bueno, 2000]. Nesta tem sido utilizada em duas grandes áreas, a inspeção visual automática e no guiamento de robôs ou veículos móveis (AGV). Na indústria encontram-se aplicações da inspeção visual automática na aferição de medidas geométricas, texturas, cores de produtos em áreas tão diversas como a área têxtil, rochas ornamentais, componentes para automóvel, inspeção de circuitos, entre outras. Nas industria é exigido um elevado padrão e índice de uniformidade, logo exige-se uma grande concentração por parte do operador que está a fazer o controlo da qualidade dos produtos. Contudo, a inspeção realizada por operadores humanos tem algumas desvantagens, como por exemplo, consumir mais tempo que um sistema automático e nem sempre a eficiência humana ser a mesma, visto poder ser comprometida por fatores externos, fatores ambientais e pessoais. Isto resulta num custo mais elevado sem uma total garantia do resultado final da inspeção. Quando um processo de inspeção é automatizado pretende-se que esse sistema simule o mais possível a inteligência e a experiência humana a uma elevada velocidade de processamento. Para se alcançar este objetivo as várias soluções são construídas em torno de câmaras, computadores e sistemas de iluminação, que todos juntos compõem o chamado sistema de visão por máquina ou sistema de inspeção visual automático [Vernon, 1991]. Estes sistemas utilizam várias técnicas de processamento de imagem para extração da informação apoiadas em técnicas de decisão automáticas da área de inteligência artificial, tais como as redes neuronais artificiais [Haykin, 2001]. Um sistema de visão automático para resolver este tipo de problemas industriais deve ser capaz de realizar vários objetivos, tais como: ter a capacidade de detetar vários tipos de defeitos, ter em conta o tempo de execução e o custo computacional, fazer uma aquisição de imagens adequada ao problema e ter em conta uma quantidade suficiente de amostras de cada tipo de defeito para ter representatividade. 1

22 A criação de um sistema automatizado dando uso à visão assistida por computador para detetar defeitos em pratos de cerâmica é uma mais-valia para a indústria cerâmica e os custos da sua implementação são justificados por uma melhoria na qualidade dos produtos e uma maior produtividade devido a um controlo da qualidade mais rápido e preciso. Há que também ter em conta em que nalguns postos de trabalho o ambiente é de muito ruído e pouco saudável. Este facto, a juntar ao aspeto sempre monótono de um processo de inspeção, justifica também a eliminação direta destes postos de trabalho Objetivos Este trabalho tem como objetivo desenvolver um sistema de inspeção visual automática para detectar e classificar defeitos em pratos de cerâmica, para assim se poder aumentar ganhos de produtividade e qualidade através de uma inspeção mais sistemática e robusta. Para isso acontecer podem-se distinguir os seguintes objectivos, mais específicos, para este trabalho: Criar uma base de dados representativa de imagens de pratos de cerâmica com presença e ausência dos defeitos em estudo e utilizados nos processos de treino e teste do sistema de inspeção visual automática; Aplicar técnicas de processamento de imagem com vista à deteção de defeitos em pratos de cerâmica; Aplicar e avaliar algumas técnicas de inteligência artificial para a extração de características e classificação de defeitos, como as redes neuronais; Detetar e localizar defeitos em pratos de cerâmica; Identificar o tipo de defeito encontrado; Decidir a rejeição ou aceitação do produto em questão Enquadramento histórico da arte Cerâmica é a arte de produzir objetos tendo a argila como matéria prima. Esta palavra deriva da palvra grega κέραµος (argila queimada). Atualmente usa-se este termos para descrever a ciência de manufactura de objetos a partir de materiais terrosos e flexíveis, que de seguida tornam rígidos através do calor, como por exemplo pratos de cerâmica. A cerâmica tem, para além da aplicação usual em artefactos para uso doméstico, aplicações em áreas tão diversas como na tecnologia aeroespacial para fazer componentes dos veículos aeroespaciais ou na indústria de componentes elétricos com a criação de tubos e isolantes elétricos [Acedida, Junho 2013]. Atualmente em muitas indústrias cerâmicas, a produção é feita ainda da forma tradicional em instalações muito pouco modernizadas. Para que a qualidade do produto final aumente é necessário a introdução de novas tecnologias e a consequente modernização das instalações. Com isto consegue-se também diminuir os custos de manutenção e diminuir a variação na qualidade dos produtos fabricados. 2

23 Este subcapítulo apresenta uma revisão bibliográfica sobre os principais trabalhos relacionados com o problema de deteção de defeitos. São abordadas várias técnicas, para a solução do problema, essencialmente na área do processamento de imagem e inteligência artificial. A maioria destes trabalhos abordados segue os passos usuais num sistema de reconhecimento de padrões, ou, neste caso, de reconhecimento de defeitos, ilustrados na Figura 1. Figura 1 Passos típicos de um sistema de reconhecimento de padrões [Jain, 2000]. Em [Kumar, 2002], os autores abordam o uso de redes neuronais artificiais (RNA) e support vector machines (SVM) para a deteção de defeitos em superfícies com textura em que cada pixel das imagens de inspeção é representado por um vetor de características que serve para medir localmente a homogeneidade da textura das superfícies. Utilizou-se um conjunto de imagens para treinar uma rede neuronal do tipo MLP com cinco e dois neurónios nas duas camadas escondidas respetivamente. De seguida os autores também realizaram experiências com SVM de núcleo polinomial em vez da rede neuronal. Este é portanto um exemplo da aplicação do fluxograma da Figura 1. Em [Jia, 2004], os autores utilizam um sistema de inspeção visual em tempo real que também testou RNA e SVM tal como [Kumar,2002] para detetar automáticamente padrões em superfícies de aço. Os autores detetaram, através dos resultados obtidos, potencial para a solução do problema com SVM como um classificador promissor. Neste trabalho apenas é testado a deteção de um único defeito ou a ausência dele, onde o uso de SVM obtém melhores resultados que as redes neuronais artificiais MLP. Neste trabalho utilizaram-se 3 tipos de defeitos ao invés de 1 como [Jia, 2004]. Em [Choi, 2006] os autores também utilizam um algoritmo baseado em SVM tal como [Jia, 2004], mas neste caso utilizam 6 tipos de defeitos para um sistema de inspeção de siderurgia, onde utilizam 50% das imagens para treino e os restantes 50% para teste. Já em [Bueno, 2000] é estudado um sistema de inspeção visual automático de peças cerâmicas via inteligência artificial, onde os autores propõem um sistema para aquisição de imagens e análise das imagens para posterior inspeção utilizando inteligência artificial, nesse caso clustering. Em [Gonzalez, 2010] os autores desenvolvem um sistema para inspecionar e classificar azulejos de acordo com os defeitos encontrados nos cantos dos azulejos. Utilizando redes neuronais obtiveram resultados de 98,69% de sucesso e também fizeram um estudo comparativo de diferentes métodos de iluminação onde se conseguiram bons resultados com diferenças mudanças de iluminação. 3

24 Os trabalhos apresentados nesta secção apresentam o tipo de técnicas utilizadas para problemas de inspeção visual automática e de inteligência artificial, como por exemplo as redes neuronais que vão ser utilizadas neste trabalho, para a deteção de defeitos. 1.3 Motivação A ocorrência de defeitos num processo de fabrico é muito frequente e quase impossível de evitar. Então é sempre necessário o controlo da qualidade traduzida pela inspeção do produto final para detetar eventuais defeitos existentes e assim se poder tomar uma decisão de aceitação ou rejeição do produto de forma a garantir um produto com qualidade. Atualmente o controlo da qualidade realizado por parte da indústria, em particular a indústria cerâmica é feito através de inspeção visual humana e não inspeção visual automática. Por exemplo na MATCERAMICA (ver Apêndice B), sedeada em Vale de Ourém Batalha, no litoral do centro de Portugal que é a maior empresa produtora de faiança (cerâmica branca) da Península Ibérica e uma das maiores da Europa, com uma capacidade produtiva superior a 1 milhão de peças por mês, é feito um controlo da qualidade da cerâmica produzida de forma maioritariamente manual. Naturalmente que isto se prende com a grande experiência dos seus funcionários e com a grande variedade de defeitos que podem ocorrer. Contudo, é opinião da própria empresa que, em muitas situações, seria desejável automatizar o processo de inspeção. Durante a inspeção, os funcionários da empresa identificam, visualmente e também às vezes pelo som do prato ao ser batido com uma peça de metal, os defeitos nos pratos ao longo da linha de produção e de seguida dividem os pratos em dois lotes, com ou sem defeito, para que depois sejam tomadas ações para corrigir os pratos defeituosos, isto no caso de ser possível corrigir, caso contrário serão destruídos. Os 3 tipos de defeitos analisados e detetados neste trabalho são os que se podem ver pelas imagens na figura 2. Na figura 3 podem ser vistos os mesmos 3 defeitos mas com uma ampliação maior para se poder visualizar melhor. A inspeção realizada por operadores humanos está sujeita a várias falhas, podendo ser destacadas algumas: As pessoas estão sujeitas ao cansaço e ficam desatentas, o que pode levar à falha na deteção de um defeito; As pessoas alternam na atividade dentro da empresa, o que leva a que não haja um padrão de decisão na inspeção muito uniforme. Finalmente a linha de produção poderia ser mais rápida caso houvesse uma inspeção visual automática e não manual Todos os fatores expostos atrás motivaram a realização deste trabalho que aborda o desenvolvimento de um sistema de inspeção visual automático para alguns tipos de defeitos e assim 4

25 contribuir para que possa ser aumentada a qualidade e a produtividade da empresa nas suas linhas de produção. Figura 2 Tipos de defeitos em pratos de cerâmica: (a) Defeito do tipo impressão; (b) Defeio do tipo bolha e (c) Defeito do tipo decalque. Figura 3 Tipos de defeitos ampliados: (a) Defeito do tipo impressão; (b) Defeito do tipo bolha e (c) Defeito do tipo decalque. 5

26 1.4 Contribuições Este trabalho vem contribuir no âmbito tecnológico e industrial ao estudar o problema de inspeção de defeitos em pratos de cerâmica de uma unidade industrial real. Do ponto de vista científico foram realizados estudos e experiências de aplicação de técnicas de processamento de imagem e decisão automática aplicadas a um sistema de deteção de cerâmicas defeituosas. Em particular: Foi feito um estudo comparativo de resultados entre dois sistemas diferentes de aquisição de imagens Foram estudados dois tipos de descritores diferentes e treinada uma rede neuronal como sistema de decisão baseada nesses descritores. Para o futuro deste trabalho espera-se que venha a ser integrado numa solução de engenharia para ser aplicado numa parte de uma linha de produção para inspeção de pratos de cerâmica. 1.5 Estrutura do documento O texto deste trabalho encontra-se dividido em 6 capítulos. No Capítulo 1 é feita uma introdução ao problema, os objetivos gerais e específicos deste trabalho, o método de pesquisa, descreve a motivação para a sua solução do problema, apresenta as contribuições no âmbito tecnológico e científico e também trabalhos relacionados com a inspeção visual automática e com as técnicas utilizadas para a resolução do problema. O Capítulo 2 apresenta a fundamentação teórica relacionada com este trabalho e técnicas utilizadas para processamento de imagem. No Capítulo 3 é apresentada uma introdução às técnicas de decisão automáticas e inteligência artificial, passando pelas redes neuronais até à avaliação dos classificadores. O Capítulo 4 apresenta o sistema desenvolvido e proposto para resolver o problema em causa. O Capítulo 5 apresenta os resultados obtidos e comparações dos sistemas das técnicas utilizadas para desenvolver os sistemas. Por fim, o Capítulo 6 apresenta as conclusões a que se chegou no final deste trabalho. 6

27 Capítulo 2: Técnicas de Processamento de Imagem 2.1 Binarização A binarização é um conjunto de processos que permitem transformar uma imagem RGB numa imagem binária. RGB é a abreviatura do sistema de cores aditivas por vermelho, verde e azul. O grande objetivo do sistema RGB é a reprodução de cores em dispositivos eletrónicos, como por exemplo câmaras digitais, televisões e monitores de computador. Na Figura 4 pode-se ver uma imagem binária de um dos pratos de cerâmica que foram utilizados neste trabalho. Figura 4 Imagem binária de um prato de cerâmica A binarização faz-se a partir da versão em níveis de cinzento da imagem a cores e pode ser feita de várias formas. No caso mais simples o operador define um valor de threshold que se mantém para todas as imagens e que permite atribuir o valor 0 aos pixels com um valor abaixo desse threshold e um aos restantes. Os restantes métodos envolvem o cálculo desse valor de threshold de forma automática, sendo o mais conhecido o método de Otsu [Jianzhuang, 1991]. Após a imagem estar binarizada foram utilizadas neste trabalho algumas operações de processamento de imagem que permitem remover ruído, realçar arestas e suavizar a imagem para a segmentação. Em particular foram usadas neste trabalho operações de dilatação e erosão que podem ser combinadas para gerar vários filtros morfológicos [Falcão, 2007] 2.2 Detetor de arestas de Canny O detector de arestas de Canny, Canny Edge Detector foi desenvolvido por John F. Canny em 1986 e utiliza um algoritmo multi-estágios para detectar uma ampla margem de arestas na imagem. Canny também desenvolveu uma teoria computacional sobre deteção de arestas, explicando porque as técnicas funcionam [Deriche, 1987]. 7

28 Podemos também falar do detetor de arestas ideal, em que John Canny propôs que o detector de arestas óptimo deveria respeitar três parâmetros, sendo eles os seguintes: boa deteção, boa localização e resposta mínima. Para ter uma boa deteção o algoritmo deve ser capaz de identificar todas as arestas possíveis na imagem. Deve ter uma boa localização para que as arestas encontradas estejam o mais próximo possível das arestas da imagem original. E para ter uma resposta mínima, cada aresta da imagem deve ser marcada apenas uma vez, o ruído da imagem não deve criar falsas arestas. Como foi dito em cima, Canny usa um algoritmo de multi-estágios, esses estágios são os seguintes: O primeiro estágio é a redução de ruído, porque o detector de arestas de canny é suscetível ao ruído presente nos dados da imagem não processada, então usa um filtro baseado numa gaussiana onde se usa um filtro de gauss para fazer a convolução da imagem. O resultado é uma versão ligeiramente desfocada da original mas com uma presença de ruído muito mais reduzida. De seguida mostra-se um exemplo de um filtro gaussiano 5x5, o asterisco representa a operação de convolução. B A (2.1) O próximo e segundo estágio é encontrar a intensidade do gradiente da imagem. As arestas de uma imagem podem indicar uma variedade de direções, então o algoritmo de Canny usa quatro filtros para detectar as arestas horizontais, verticais e diagonais na imagem desfocada. O operador de deteção de arestas (Roberts, Prewitt ou Sobel por exemplo) retorna um valor para a primeira derivada na direção horizontal e na direção vertical. A partir disto o gradiente da aresta e a direção podem ser determinados da seguinte forma: (2.2) (2.3) Onde é a magnitude e o ângulo de direção do gradiente. O ângulo de direção da aresta é arredondado para um dos quatro ângulos que representam a vertical, horizontal e as duas diagonais (0º, 45º, 90º e 135º por exemplo) tal como se mostra na Figura 5. Figura 5 Ângulo da direção da aresta. 8

29 O terceiro estágio designa-se por supressão não máxima e significa que dado estimativas dos gradientes da imagem, é levada a cabo uma pesquisa para determinar se a magnitude do gradiente assume um máximo local na direção do gradiente. Por exemplo: se o ângulo de inclinação arredondado do gradiente for de 0º, ou seja, a aresta está na direção norte-sul, considera-se que o ponto está na aresta se a sua magnitude do gradiente for maior que as magnitudes dos píxeis nas direções norte e sul. se o ângulo de inclinação arredondado do gradiente for de 90º, ou seja, a aresta está na direção este-oeste, considera-se que o ponto está na aresta se a sua magnitude do gradiente for maior que as magnitudes dos píxeis na direções oeste e este. se o ângulo de inclinação arredondado do gradiente for de 135º, ou seja, a aresta está na direção este-sul, considera-se que o ponto está na aresta se a sua magnitude do gradiente for maior que as magnitudes dos píxeis na direções norte-este e sul-oeste. se o ângulo de inclinação arredondado do gradiente for de 45º, ou seja, a aresta está na direção este-sul, considera-se que o ponto está na aresta se a sua magnitude do gradiente for maior que as magnitudes dos píxeis na direções norte-oeste e sul-este. A partir desta fase referida como supressão não máxima é obtido um conjunto de pontos das arestas, na forma de uma imagem binária. Estes conjuntos são muitas vezes referidos como arestas finas. O quarto e último estágio do algoritmo multi-estágios de Canny designa-se por traçar as arestas na imagem e fazer um threshold com histerese. Gradientes de grande intensidade são mais prováveis de corresponder às arestas do que gradientes de pequena intensidade. Na maioria dos casos é impossível especificar um threshold (limiar) no qual uma dada intensidade do gradiente alterna entre corresponder ou não a uma aresta. Portanto Canny usa um com threshold com histerese. Fazer um threshold com histerese requer dois limites, alto e baixo. Fazendo uma suposição de que as arestas ou bordas importantes devem ser curvas contínuas ao longo da imagem, permite seguir uma secção fina de uma dada linha e descartar alguns píxeis com ruído que não conseguem constituir uma linha mas produziram gradientes grandes. Portanto começa-se por aplicar um threshold alto, isto marca e destingue as arestas em que se pode ter quase certeza serem genuínas. Partindo destas arestas e usando a informação direcional obtida anteriormente, as arestas podem ser traçadas através da imagem. Enquanto se traça uma aresta, aplica-se o limiar threshold baixo, o que permite traçar secções finas das arestas desde que se encontre um ponto de partida. Quando este processo é completo fica-se com uma imagem binária na qual cada pixel é marcado como sendo um pixel da aresta ou não. Da saída (output) complementar da etapa de rastreio da aresta é obtido um mapa binário da aresta, que deste modo também pode ser tratado como um conjunto de curvas da aresta ou borda, que consequentemente após processamento podem ser representados como polígonos no domínio da imagem. 9

30 Uma abordagem mais refinada para obter arestas com precisão sub-pixel é usar a abordagem de detecção de arestas diferencial, onde a exigência de supressão não máxima é formulada em termos de derivadas de segunda e terceira ordem calculados a partir de uma representação do espaço de escala [Lindeberg, 1998]. Uma explicação variacional para o ingrediente principal do detector de arestas de Canny, isto é, obter zero cruzamentos da segunda derivada ao longo da direção do gradiente, foi demonstrado que é o resultado da minimização de uma funcional Kronrod-Minkowski enquanto se maximiza o integral ao longo do alinhamento da aresta com o campo de gradiente [Kimmel, 2003]. Em conclusão o algoritmo de Canny é adaptável a diferentes ambientes. Os seus parâmetros permitem que seja adaptado para reconhecimento de arestas de características diferentes, dependendo dos requisitos particulares de uma dada aplicação. O algoritmo de Canny tem um certo número de parâmetros ajustáveis, que podem afetar o tempo de computação e eficácia do algoritmo. Como por exemplo: O tamanho do filtro gaussiano. O filtro de suavização utilizado na primeira fase afeta diretamente os resultados do algoritmo de Canny. Filtros menores causam menos desfocagem e permitem a deteção de linhas pequenas e definidas. Um filtro maior causa maior desfocagem, manchando o valor de um pixel ao longo de uma maior área da imagem. Maiores raios de desfocagem são mais úteis para a deteção de arestas maiores e mais suaves, por exemplo, de um arco-íris. Thresholds: a utilização de dois thresholds com histerese permite uma maior flexibilidade do que uma abordagem de um único limite, mas os problemas gerais das abordagens de threshold ainda se aplicam. Um threshold muito alto pode perder informações importantes. Por outro lado, um threshold muito baixo vai identificar de forma falsa informações irrelevantes, como o ruído, como importantes. É díficil dar um limite genérico que funcione bem em todas as imagens, ainda não existe nenhuma abordagem testada e comprovada para este problema. No artigo original de Canny, a derivação do filtro ideal levou a um filtro de resposta impulsional finita o qual pode ser lento de aplicar no domínio espacial se a grau de suavização (alisamento) necessário for importante, ou seja, o filtro vai ter um grande suporte espacial neste caso. Por esta razão, é frequentemente sugerida a utilização do formato de Rachid Deriche s, resposta de impulso infinita de Canny, isto é, o detector de Canny-Deriche, que é recursivo e o qual pode ser calculado num curto período de tempo fixo para qualquer quantidade desejada de alisamento. Neste contexto, contudo, a aplicação recursiva regular do operador de Canny não dá uma boa aproximação de simetria de rotação e por conseguinte dá uma tendência para as arestas horizontais e verticais [Canny, 1986]. 10

31 2.3 Transformada de Hough A transformada de Hough é uma técnica que faz a deteção de formas geométricas em imagens digitais. É uma técnica de extração de características (features) usada em análise de imagens, visão computacional e processamento de imagem digital [Duarte, 2003]. Ou seja, a transformada de Hough é um método para encontrar, por exemplo, retas, círculos ou outras formas simples numa imagem. O objectivo da técnica é encontrar situações imperfeitas de objetos dentro de uma determinada classe de formas através de um procedimento de votação. Este procedimento de votação é levado a cabo num espaço de parâmetros, a partir do qual os objectos candidatos são obtidos como máximos locais num espaço chamado acumulador, que é expressamente construído pelo algoritmo para calcular a transformada de Hough. A transformada clássica de Hough é uma forma rápida de encontrar retas numa imagem binária, mas mais tarde foi estendida para identificar posições de formas arbitrárias. As formas mais comuns são círculos ou elipses Transformada de reta Dado um conjunto de pontos numa imagem, tipicamente uma imagem binária, para se encontrar os subconjuntos destes pontos que definem retas utiliza-se o seguinte procedimento. Encontrar primeiro todas as retas determinadas por cada par de pontos e depois então encontrar todos os subconjuntos de pontos que estão próximos a retas particulares. No entanto este procedimento tem um problema a nível computacional, por ser muito exigente mesmo em aplicações mais triviais [Gonzalez, 2004]. O problema é que o procedimento envolve encontrar ou aproximadamente retas e depois fazer ou aproximadamente comparações de cada ponto para todas as retas. Com a transformada de Hough é diferente, considera-se um ponto, e todas as retas que passam através desse ponto. Muitas retas passam através de,, e todas satisfazem a equação para alguns valores de e. Se se escrever a equação da seguinte forma e se considerarmos o plano, também designado por espaço de parâmetros, fica-se com uma equação de uma reta para um par fixo,. De seguida, um segundo ponto, também tem uma reta no espaço de parâmetros associado a ele, e então esta reta intercepta a reta associada a, em,, onde é o declive e a interseção da reta que contém, e, no plano. Todos os pontos contidos na reta atrás referida têm outras retas no espaço de parâmetros que se interceptam em,. A Figura 6 mostra este conceito. 11

32 Figura 6 Reta para um par fixo (a) Plano ; (b) espaço de parâmetros. [Gonzalez, 2004] Transformada de círculo A transformada de círculo de Hough funciona de forma análoga à transformada de reta. O círculo ao contrário da reta é mais simples de representar no espaço de parâmetros, visto que os parâmetros do círculo podem ser transferidos directamente para o espaço de parâmetros. De seguida pode-se ver a equação de um círculo: Através da equação verifica-se que o círculo tem três parâmetros: e. Os parâmetros e são as coordenadas do centro do círculo no plano x-y, e é o raio. Podemos também representar parametricamente o círculo da seguinte forma: (2.4) (2.5) O espaço de parâmetros de um círculo pertence a tal como se pode ver pela Figura 7, enquanto que a reta pertence a. O número de parâmetros necessários para descrever a forma aumenta tanto quanto a dimensão do espaço de parâmetros, implicando o aumento da complexidade da transformada de Hough. E devido a este motivo, a transformada de Hough é sobretudo aplicada a formas simples com parâmetros pertencendo ao espaço de parâmetros ou no máximo. Figura 7 Espaço de parâmetros usado para a transformada de círculo de Hough. 12

33 De seguida o processo para encontrar círculos numa imagem usando a transformada de Hough inicia-se com a deteção de arestas na imagem. Depois, para cada ponto não nulo nesta imagem, o gradiente local é calculado. Usando este gradiente, cada ponto ao longo da reta indicada por esta rampa é incrementado no acumulador, partindo de um valor mínimo para um valor máximo especificado de distância. Ao mesmo tempo, a localização de cada um desses pixeis não nulos da imagem de arestas é anotada. Os centros candidatos são selecionados de entre os pontos deste acumulador, bi-dimensional, que são superiores a um limiar fornecido e maior do que todos os seus vizinhos imediatos. Estes centros candidatos são ordenados por ordem decrescente dos valores do seu acumulador, de maneira que os centros com os pixeis de maior suporte surgam primeiro. Em seguida, para cada centro, todos os pixeis não nulos serão considerados. Estes pixeis são ordenados de acordo com sua distância ao centro. Da menor distância ao raio máximo, seleciona-se um raio único, melhor suportado pelos pixeis não nulos. Finalmente um centro é mantido se houver suporte suficiente dos pixeis não nulos na imagem de arestas e também se tiver uma distância suficiente de qualquer centro previamente selecionado. A Figura 8 mostra os pontos que pertencem à circunferência na imagem de entrada sendo mapeados no espaço de parâmetros como uma circunferência de centro. Como se pode verificar nesta Figura cada ponto no espaço da imagem gera uma circunferência no espaço de parâmetros e a interseção de todos os círculos, neste caso três, ocorre no ponto que é o centro da circunferência no espaço da imagem. Figura 8 Mapeamento no espaço de parâmetros dos pontos 2.4 Transformada de Harris Nos campos de visão computacional e análise de imagem, o detetor ou transformada de Harris pertence à categoria de deteção de características (features). Deteção de features é um passo de préprocessamento de vários algoritmos que se baseiam na identificação de pontos característicos ou pontos 13

34 de interesse de modo a realizar correspondências entre imagens, reconhecer texturas, categorizar objetos ou construir panoramas. A transformada de Harris foi desenvolvida para resolver as limitações do método de Moravec [Moravec, 1976], tornando-se num método mais eficaz em termos de repitibilidade e deteção de pontos, contudo teve um aumento do custo computacional. Embora o custo computacional seja mais elevado, este método é mais utilizado, pois actualmente dispõe-se de maior poder computacional, tornando assim o custo desprezável. O detetor de Harris, também conhecido por detetor de Plessey baseia-se numa auto-correlação local de um ponto numa imagem, esta função mede as mudanças locais de gradiente do ponto na imagem. Usando uma função espacial, com coordenadas e e considerando que para imagens a preto e branco e que para imagens a cores. A equação (2.6) define, no ponto,, a mudança de intensidade na imagem para um deslocamento definido, esta é a função de auto-correlação para uma imagem a preto e branco. Para se conseguir o mesmo para uma imagem a cores, tem que se estender a equação (2.6) [Harris, 1988].,,,,, (2.6) Na equação (2.6), para pequenos valores dos parâmetros e pode-se fazer uma aproximação bilinear, a equação (2.7) mostra a aproximação.,, (2.7) A matriz é a matriz Hessiana que é definida na equação (2.8) [Harris and Stephens, 1988]. (2.8) O operador de Harris está definido na equação (2.9), e são os autovalores da matriz que formam um descritor invariante à rotação enquanto que é uma constante empírica escolhida geralmente no seguinte intervalo [0,04 ; 0,06] [Harris, 1988]., (2.9) A Figura 9 usa o operador de Harris para mostrar como distinguir pontos de canto, bordas e regiões planas. Os pontos de regiões planas caracterizam-se por terem valores de e pequenos, isto é,, também pequeno em qualquer direção. Para representar uma borda ou aresta tem-se por exemplo, um valor alto para e um valor baixo para ou vice-versa, ou seja, 0, significa então que a variação de curvatura é alta somente numa direção, representado assim uma aresta. Se e tiverem valores altos implica que 0 e então existe uma quina com alta corvatura em todas as direções. 14

35 Figura 9 Classificação dos pontos da imagem utilizando o operador Harris. 2.5 Descritores SIFT Scale-invariant feature transform (SIFT) é um algoritmo de visão computacional para detectar e descrever características locais em imagens. O algortimo foi publicado por David Low, em As suas aplicações incluem o reconhecimento de objectos, mapeamento, modelação e reconstrução 3D, navegação robótica, reconhecimento de gestos e identificação de movimento. O SIFT é um dos melhores para o efeito, mas também é lento, por exemplo, uma imagem com uma resolução de 1000x700 demora cerca de 6 segundos a gerar 4000 features, estes tempos variam, podendo aumentar, dependendo da capacidade de computação. Para qualquer objecto numa imagem os pontos de interesse no objecto são extraídos para fornecer uma descrição característica do objecto. Esta descrição, extraída a partir de uma imagem de treino, pode então ser utilizada para identificar o objecto durante a tentativa de localizar o objecto numa imagem de teste contendo muitos outros objectos. Para executar um reconhecimento fiável, é importante que as características extraídas a partir da imagem de treino sejam detectáveis mesmo sob mudanças na escala da imagem, ruído e iluminação. Esses pontos geralmente situam-se em regiões de alto contraste da imagem, tais como as bordas do objecto. Ou seja, estas características são invariantes à escala, rotação, mudanças de ponto de vista e mudanças de iluminação. Outra característica importante destas características é que as posições relativas entre elas na imagem original não devem mudar de uma imagem para outra. Por exemplo, se apenas os quatro cantos de uma porta foram utilizados como características, iriam funcionar independentemente da posição da porta, mas, se os pontos do resto da porta forem também utilizados, o reconhecimento falhará se a porta é aberta ou fechada. Da mesma forma, as características localizadas em objectos articulados ou flexíveis não irão funcionar se acontecer alguma mudança na geometria entre duas imagens do conjunto que está a ser processado. No entanto, na prática o SIFT detecta e utiliza um número muito maior de características a partir das imagens, o que reduz a contribuição dos erros causados por estas variações Na Figura 10 está representado o algortimo SIFT [Low, 2004]. 15

36 Construir o espaço de escala é a preparação inicial, criam-se representações internas da imagem original para garantir a invariância à escala. Isto é conseguido através da construção de um espaço de escala (scale space). Para se criar um espaço de escala, pega-se na imagem original e criam-se progressivamente imagens desfocadas. O criador do SIFT sugere que 4 oitavas e 5 níveis de desfocagem são ideias para o algoritmo. O processo que gera o que é chamado de uma oitava vai do primeiro ao terceiro passo do algoritmo de Low. Construir o Espaço de Escala Diferença de Gauss (DoG) Localizar as DoG Localização dos Potenciais Pontos de Interesse Filtragem de Bordas e de Respostas de Baixo Contraste Atribuir a Orientação aos Pontos de Interesse Construir os Descritores dos Pontos de Interesse Figura 10 Fluxograma do algoritmo SIFT. Para a construção do espaço de escala utiliza-se um Kernel Gaussiano:,,,,, (2.10) onde,, 1 2 exp, (2.11) 2 A quantidade de desfocagem em cada imagem é importante, assumindo que uma quantidade de desfocagem numa imagem é σ, então, a quantidade de desfocagem na próxima imagem será. Onde k é uma constante à escolha [Low, 2004]. 16

37 Tabela 1 Exemplo entre escala e oitava [Low, 2004] A Tabela 1 mostra um exemplo para o valor de k em função da oitava e da escala em que se usam 4 oitava e 5 níveis de desfocagem. Cada σ varia com um factor de 2 do anterior. O passo seguinte no algoritmo é o Take Difference of Gaussians (DoG), corresponde a avaliar as derivadas de segunda ordem ( ou o Laplaciano). Isto realça as bordas e os cantos na imagem. Estas bordas e cantos são bons para encontrar pontos de interesse. Calcular todas as derivadas de segunda ordem é muito intenso a nível computacional, então faz-se uma aproximação. Aproximando a escala normalizada laplaciano da gaussiana (LoG) com a diferença das gaussianas (DoG) é muito mais eficiente:,,,, (2.12),,,, (2.13) Figura 11 Gráfico comparativo entre o Laplaciano e DoG [Low, 2004]. A partir da equação de calor representado pelo Laplaciano: e usando uma aproximação de diferenças finitas de : (2.14) 17

38 ,,,, (2.15) temos:,,,, 1 (o factor 1 é constante ao longo de todas as escalas). Para gerar o Laplaciano das imagens de Gauss rapidamente, usa-se então o espaço de escala. Depois calcula-se a diferença entre duas escalas consecutivas ou a diferença das Gaussianas como se mostra na Figura 12. Figura 12 Diferença entre duas escalas consecutivas [Low, 2004]. O próximo passo do algoritmo é localizar as DoG (Locate DoG Extrema) que consiste em (ver Figura 13): Analisar cada diferença de gaussiana (DoG) de cada imagem Olhar para todos os pontos vizinhos (incluindo a escala) Identificar o mínimo e o máximo Figura 13 Exemplo do algoritmo para localizar as DoG [Low, 2004]. 18

39 A detecção de extremos do espaço de escala produz muitos candidatos a pontos de interesse, alguns dos quais são instáveis. Então o próximo passo no algoritmo chama-se localização dos potenciais pontos de interesse (Sub Pixel Locate Potencial Feature Points), que consiste em realizar um ajuste detalhado aos dados nas proximidades para a localização, escala e a proporção das curvaturas principais. Esta informação permite que os pontos que têm baixo contraste sejam rejeitados porque são sensíveis ao ruído ou estão mal localizados ao longo de uma borda. Em primeiro lugar, para cada candidato a ponto de interesse é utilizada uma interpolação dos dados mais próximos para determinar a sua posição com precisão. A abordagem inicial serve apenas para localizar cada ponto chave no local e na escala do ponto de interesse candidato. A nova abordagem calcula a localização interpolada dos extremos, o que melhora substancialmente a correspondência e a estabilidade. A interpolação é feita usando a expansão de Taylor quadrática da função DoG (diferenças de gauss) do espaço de escala,,, com o ponto de interesse candidato como a origem. Esta expansão de Taylor é dada por: 1 2 (2.16) onde D e as suas derivadas são avaliadas no ponto de interesse candidato e,, é o deslocamento a partir deste ponto. A localização do extremo é determinada fazendo a derivada desta função em relação a e defini-la como zero. (2.17) Se o deslocamento for maior que 0.5, em qualquer dimensão, então significa que o extremo encontra-se mais próximo do outro ponto de interesse candidato. Neste caso, o ponto de interesse candidato é alterado e a interpolação realiza-se neste ponto. Caso contrário o deslocamento é adicionado ao ponto de interesse candidato para obter a estimativa interpolada para a localização do extremo. A seguir elimina-se os pontos de interesse com baixo contraste, para isso o valor da expansão de Taylor de segunda ordem é calculado no deslocamento. Se este valor for inferior a 0.03, o ponto de interesse candidato é eliminado. Caso contrário é mantido com localização final de: e escala, onde é a localização original do ponto de interesse na escala. Depois eliminam-se as reações nas bordas, a função da diferença de gaussianas (DoG) terá melhores resultados ao longo das bordas mesmo que o ponto de interesse candidato não seja robusto a pequenas quantidades de ruído. Então, para se aumentar a estabilidade, é necessário eliminar os pontos de interesse que determinaram mal a localização mas que têm reações elevadas nas bordas. Para eliminar essas reações usa-se a matriz Hessiana. Os valores próprios da matriz Hessiana são proporcionais às curvaturas de D. (2.18) 19

40 Se α e β forem os maiores e os menores valores próprios de H, respectivamente, pode-se escrever:, (2.19) (2.20) Então se o rácio entre as duas expressões acima for r, temos: 1 (2.21) Para confirmar o rácio das curvaturas principais faz-se o seguinte: 1 (2.22) Em seguida atribui-se a orientação aos pontos de interesse, em que a ideia principal é reunir as direções e magnitudes do gradiente à volta de cada ponto de interesse. Depois encontra-se a orientação ou orientações mais importantes na região e atribuem-se aos pontos de interesse. Quaisquer cálculos posteriores são feitos em relação a esta orientação. Para obter invariância de rotação da imagem faz-se o seguinte: cria-se um histograma de direções de gradiente locais calculados para a escala selecionada, atribui-se orientação canônica no pico do histograma suavizado e cada ponto especifica coordenadas 2D estáveis (x,y,escala,orientação). Para se fazer a atribuição da orientação a imagem é suavizada com o gaussiano de variância igual à dimensão do ponto de interesse, resultando na imagem L. De seguida calcula-se a magnitude do gradiente e orientação para cada ponto de amostragem (x,y) na região à volta do ponto de interesse:, 1, 1,, 1, 1 (2.23), tan, 1, 1 (2.24) 1, 1, Para regiões em torno de um ponto de interesse cria-se um histograma com 36 colunas para a orientação, pesa-se cada ponto com uma janela gaussiana de 1.5, criam-se pontos de interesse para todos os picos com valor 0.8 (ver Figura 14) para cada coluna do histograma (um ponto de interesse pode ter várias orientações) e ajusta-se a parábola para 3 valores do histograma mais próximos de cada pico para localizar melhor cada máximo. 20

41 Figura 14 Histograma das regiões em torno de um ponto de interesse [Low, 2004]. Além disso, quaisquer picos acima de 80% do pico mais alto são convertidos num novo ponto de interesse. Este novo ponto de interesse tem a mesma localização e escala que o original. Mas a sua orientação é igual à do outro pico. Assim, a orientação pode dividir um ponto de interesse em vários. Finalmente o último passo do algoritmo é construir os descritores dos pontos de interesse que consiste em 2 fases. Numa primeira fase cada ponto de interesse tem localização, escala e orientação atribuidas definindo um sistema de coordenadas 2D local no qual a região circundante pode ser descrita como na Figura 15. Figura 15 Localização, escala e orientação de um ponto de interesse [Low, 2004]. E na segunda fase constroi-se o descritor para a região local, que é altamente distinto e invariante às restantes variações, tais como as mudanças de iluminação e as mudanças de perspectiva em 3D. A ideia deste passo do algoritmo consiste em querer gerar uma impressão digital única para o ponto de interesse que deve ser fácil de calcular. Também se quer que seja relativamente suave quando está a ser comparado com outros pontos de interesse. As coisas nunca são exactamente iguais quando se comparam duas imagens diferentes. Para fazer isso, tem-se uma janela com 16 linhas e 16 colunas (16x16) à volta do ponto de interesse que depois é dividida em dezasseis janelas com 4 linhas e 4 colunas (4x4), tal como se pode ver na Figura

42 Figura 16 Descritor para a região local [Low, 2004]. Em cada janela com 4 linhas e 4 colunas (4x4), são calculadas as magnitudes do gradiente e orientações. Estas orientações são colocadas num histograma de 8 partes. Figura 17 Histograma de orientações [Low, 2004]. A quantidade adicionada ao histograma depende da distância a partir do ponto de interesse. Assim gradientes que estão longe do ponto de interesse vão adicionar valores menores para o histograma. Isto é feito utilizando uma função gaussiana de ponderação. Esta função gera um gradiente, que se multiplica com a magnitude das orientações para se obter uma ponderação. Quanto mais longe, menor a magnitude. Figura 18 Gradiente multiplicado pela magnitude das orientações [Low, 2004]. Fazendo isto para todos os 16 pixels, compila-se 16 orientações totalmente aleatórias em 8 caixas predeterminadas. Faz-se isso para todas as dezasseis regiões 4x4 e obtem-se números. Depois de se ter os 128 números, normalizam-se, ou seja, divide-se pela raíz da soma dos quadrados e esses 128 números formam o vector de features (características). Este ponto de interesse é identificado exclusiva e unicamente por este vector de características. 22

43 Na Figura 19 mostra-se um esquema da representação do descritor: Figura 19 Representação de um descritor [Low, 2004]. Contudo existem também alguns problemas associados a este vector de características (features) e é necessário resolve-los antes de finalizar a impressão digital. Os problemas que introduz são a dependência de rotação e iluminação. O vector de features usa orientações do gradiente e se se rodar a imagem tudo muda. Todas as orientações do gradiente também mudam. E então para alcançar independência da rotação, a rotação do ponto de interesse é subtraída de cada orientação. Assim, cada orientação do gradiente é relativa à orientação do ponto de interesse. Quanto à dependência da iluminação pode-se resolver o problema se for imposto um limite para números elevados. Portanto qualquer número dos 128, do vector de features, for maior que 0.2 é alterado automaticamente para 0.2. Depois o vector de features é novamente normalizado e assim ja se tem um vector de features independente da iluminação. Em resumo os descritores SIFT são invariantes à escala usando um espaço de escala, invariantes à rotação, invariantes à iluminação com a normalização do vector de descritores e invariantes ao ponto de vista e perspectiva para pequenas alterações. 2.6 Descritores SURF Speeded Up Robust Features (SURF) é um detetor de características locais robusto, que foi apresentado pela primeira vez por Herbert Bay em É um algoritmo que tem sido utilizado para processos de visão computacional em reconhecimento de objetos ou reconstruções 3D [Bay, 2008]. Os descritores SURF foram inspirados nos descritores SIFT e são mais rápidos. Estes descritores baseiam-se nas somas das respostas 2D de Haar wavelet que fazem uso de imagens integrais eficientes. A imagem integral é uma representação intermediária da imagem e contém a soma dos valores dos píxeis em escala de cinza dessa imagem, tal como se pode verificar na Figura

44 (2.25) O algoritmo do SURF é composto por três passos consecutivos, primeiro faz a deteção de pontos de interesse, de seguida a descrição dos pontos de interesse e por fim a correspondência das características. Os dois primeiros passos do algoritmo são idênticos ao algoritmo do SIFT e dependem de uma representação de espaço de escala e em operadores diferenciais de primeira e segunda ordem. A originalidade do método do SURF em relação ao SIFT é a aceleração que estas operações têm através de uma imagem integral na aproximação do espaço de escala e do conjunto de outras técnicas utilizadas na seleção dos pontos de interesse. Pode-se fazer uma análise e comparação entre os métodos SURF e SIFT com a Tabela 2. Os descritores SURF têm a vantagem de lidar bem com grandes quantidades de desfocagem e também com rotações nas imagens, em contra partida as desvantagens verificam-se na iluminação e na mudança do ponto de vista. Em conclusão o SURF consegue descrever uma imagem cerca de três vezes mais rápido que o SIFT, mas não é tão eficaz às mudanças de iluminação e do ponto de vista da imagem. Figura 20 Imagem integral representante da soma dos valores dos píxeis em escala de cinza [Bay, 2008]. Custo de Memória SURF SURF: 64 floats 128 bit SURF: 128 floats SIFT 128 bytes Velocidade (tempo para detetar e descrever 4000 características) Número de características detetadas numa imagem com 1024x768 de resolução 2,4 segundos 6 segundos Aproximadamente 1000 >3000 Tabela 2 Comparação entre SURF e SIFT [Oyallon, 2013] 24

45 Capítulo 3: Técnicas de Decisão Automática 3.1 Introdução Este capítulo apresenta uma síntese sobre técnicas de decisão automática, neste caso dando uma maior importância às redes neuronais que são neste trabalho uma das principais ferramentas para deteçao e classificação de defeitos em pratos de cerâmica. Aborda-se também o tema da inteligência artificial e da aprendizagem. Para além das redes neuronais existem também outras técnicas de decisão automática, tais como as support vector machines (SVM) [Burges, 1998] e dos modelos fuzzy [Ross, 2009]. E por fim também da avaliação dos classificadores. As redes neuronais são descritas no sub-capítulo 3.2. Ambas estas técnicas são muito utilizadas em sistemas de decisão automática e será considerado trabalho futuro a sua utilização em vez das redes neuronais. A inteligência artificial (IA) é uma área da computação que procura métodos ou dispositivos computacionais que ajudem o ser humano e aumentem a sua capacidade de resolver problemas. O principal objectivo dos sistemas de IA é executar funções que os seres humanos executam, funções essas que quando feitas pelos humanos são consideradas inteligentes. Algumas das principais áreas em que a IA está envolvida são as seguintes: visão computacional, análise e síntese da voz, lógica difusa e redes neuronais artificiais. As características básicas deste tipo de sistemas são por exemplo a capacidade de racíocinio através da aplicação de regras lógicas num conjunto de dados disponíveis e posteriormente chegar a uma conclusão e o reconhecimento de padrões visuais, sensoriais e de comportamento. Depois de se falar de inteligência artificial é importante referir-se o conceito de aprendizagem de máquina, que é um sub-campo da IA dedicado ao desenvolvimento de algoritmos e técnicas que permitem ao computador aprender, isto é, aumentar e aperfeiçoar o seu desempenho numa determinada tarefa. 3.2 Redes neuronais As redes neuronais, neste caso, redes neuronais artificiais (RNA) são algoritmos bio-inspirados na estrutura neuronal que adquirem conhecimento por meio da experiência. São sistemas computacionais estruturados numa aproximação à computação baseada em ligações. As redes neuronais podem também ser utilizadas para processos de classificação [Rumelhart, 1986]. O termo rede neuronal vem da interligação de nós simples, também denominados por neurões, neurónios, processadores ou unidades que formam uma rede de nós. Originalmente esta técnica surge 25

46 das estruturas do cérebro, nomeadamente dos neurônios. Em baixo mostra-se um diagrama simplificado de uma rede neuronal. Figura 21 Diagrama simplificado de uma rede neuronal. Na Figura 21 consegue-se distinguir 3 camadas, sendo a primeira azul a segunda vermelha e a terceira verde. A camada azul é a camada de entrada, a vermelha é a intermédia e a verde a de saída estando as três interligadas. A camada do meio também se costuma designar por camada escondida. Cada neurónio é simbolizado por um círculo. Na Figura 22 pode-se ver um neurónio biológico. Com isto pode-se ver que a estrutura de um neurónio artificial numa rede neuronal foi inspirada no conceito biológico. 2001]: As redes neuronais artificiais assemelham-se ao cérebro em dois aspectos principais [Haykin, 1.1. O conhecimento é adquirido pela rede com base no seu ambiente por meio de um processo de aprendizagem; 1.2. Forças de conexão entre neurónios, conhecidas como pesos sinápticos, são usadas para armazenar o conhecimento adquirido. O cérebro é o elemento central do sistema nervoso humano e contém cerca de 1010 neurónios biológicos que se ligam uns aos outros através de sub-redes. O neurónio é delimitado por uma fina membrana celular que possuir certas propriedades essenciais ao funcionamento da célula. A partir do corpo celular projectam-se extensões filamentares, os dentritos e o axónio. 26

47 Figura 22 Neurónio biológico [Wasserman, 1989]. A partir do conhecimento do funcionamento, comportamento e estrutura dos neurónios naturais criaram-se modelos de neurónios artificiais para simularem os reais. O elemento básico de uma rede neuronal artificial é o neurónio artificial, este neurónio comportase e é baseado no funcionamento do neurónio natural. De seguida mostra-se na Figura 23 um modelo que representa um neurónio artificial. Este modelo pode ser descrito no seguinte sistema de equações matemáticas: (3.1) (3.2) Nas equações acima n é o número de sinais de entrada do neurónio, Xi é o i-ésimo sinal de entrada do neurónio, Wi é o peso associado com o i-ésimo sinal de entrada, vj(k) é a resposta poderada do j-ésimo neurónio em relação ao instante k, b é o limiar de cada neurónio, φj é a função de ativação para o j-ésimo neurónio e finalmente yj(k) é o sinal de saída do j-ésimo neurónio em relação ao instante k [Haykin, 2001]. As funções de ativação mais utilizadas na prática são as seguintes: a função sigmóide logística e a função tangente hiperbólica, dependendo das características dos dados [Gomes, 2008]. A função que foi utilizada neste trabalho foi a sigmóide logística, visto ter sido a função que deu melhores resultados. A escolha da função de ativação é considerada tão importante quanto a arquitetura e o algoritmo de aprendizagem da rede neuronal segundo [Gomes, 2008]. Tipicamente a amplitude da saída de um neurónio é um intervalo fechado de [0,1] ou [-1,1]. As redes neuronais artificiais têm como principais vantagens: 1.1. Habilidade de aprender ; 1.2. Poder de processamento por meio da sua estrutura paralela; 1.3. Generalização, devido ao facto que da rede neuronal conseguir produzir saída adequadas para entradas que não estavam presentes durante a fase de treino da rede. 27

48 Figura 23 Modelo matemático de um neurónio artificial. Neste trabalho optou-se por se utilizar uma rede neuronal do tipo multi layer perceptron MLP, mais à frente no sub-capítulo 4.4 explica-se o porquê. 3.3 Avaliação dos classificadores Neste sub-capítulo vai-se falar de três pontos importantes neste trabalho, do classificador encontrado, da seleção do conjunto de dados e por fim da construção desse mesmo conjunto para o problema. Em primeiro lugar tem que se perceber qual é o modelo que melhor se adequa ao problema proposto. Modelos complexos podem satisfazer um problema simples melhor que os modelos simples, no entanto, o problema de custo computacional aumenta com a complexidade do modelo, e daí nem sempre o modelo mais complexo é a melhor opção. Então para se escolher o modelo mais adequado ao problema tem que se ter em conta alguns fatores como por exemplo o conjunto de dados de treino e de teste. O princípio mais comum para estimar um desempenho realista do modelo para os dados futuros ou desconhecidos é separar o conjunto de dados para fins de treino e de teste. No caso mais simples o conjunto de dados é separado em 2 conjuntos distintos, o conjunto de treino que são utilizados para ajustar o modelo e o conjunto de teste que serve apenas para avaliar o modelo que foi treinado, este último conjunto não é utilizado para treinar o modelo. Normalmente o conjunto de treino é maior que o de teste, por exemplo, dois terços dos dados para treino e um terço para teste. [Berthold, 2010] Outra forma de dividir o conjunto de treino e de teste seria aleatoriamente, o que em princípio iria resultar num conjunto de dados idêntico em quantidade para treino e para teste, contudo, isso poderia não acontecer. E como tal não será a melhor forma de o fazer, também porque quando se dividem estes dois conjuntos é importante assegurar, no caso deste trabalho em particular, que tanto o conjunto de treino como de teste têm imagens com defeitos do tipo A, B e C e não apenas de um ou dois tipos. 28

49 Há ainda certas situações em que os dados são divididos não em 2 partes mas sim em 3, conjunto de treino, de teste e de validação do modelo. Isto acontece quando um classificador deve ser aprendido a partir dos dados e não se sabe qual é o modelo mais adequado para o classificador, pode-se então fazer uso de um conjunto de validação. Todos os modelos de classificadores são criados com base no conjunto de dados de treino, de seguida o classificador com o melhor desempenho no conjunto de validação é escolhido. O erro de previsão deste classificador é então estimado com base no conjunto de teste. [Berthold, 2010] A Figura 24 representa uma forma de dividir o conjunto de dados, com 50 % para o conjunto de treino, 25 % para o conjunto de teste e os restantes 25 % para validação. Quando a divisão do conjunto de dados é manual e não aleatória pode trazer o seguinte problema, o conjunto de teste conter exemplos mais fáceis que o conjunto de treino, o que leva a uma avaliação do modelo muito optimista ou então por outro lado o conjunto de teste conter exemplos mais difíceis e assim a avaliação do modelo fica comprometida de forma negativa [Hastie, 2005]. De forma a contornar este tipo de problemas utiliza-se uma validação cruzada que consiste em dividir o conjunto total de dados em k conjuntos de dados. O primeiro dos k conjuntos é utilizado para teste e os outros k-1 conjuntos são utilizados para treino do modelo. De seguida repete-se o mesmo procedimento para os restantes k conjuntos. De cada vez que o procedimento é realizado obtem-se uma estimativa para o erro do modelo e a média desses valores é a escolhida. Normalmente o número de k conjuntos é 10. Antes de se começar a modelação e a escolha do modelo, é necessário preparar o conjunto de dados de uma forma correta. A fase de preparação do conjunto de dados pode-se dividir em algumas etapas, como por exemplo, a seleção de dados que é muito importante e que é a base de tudo que se segue para a frente, deve-se remover todo o tipo de informação inútil ou que sejam dados irrelevantes ou redundantes. Depois de selecionado e preparado o conjunto de dados considera-se a transformação dos atributos originais. Isto faz-se principalmente devido à aplicação de algumas ferramentas que requerem uma transformação (tais como as que são referidas no capítulo 2) porque sem isso não iriam funcionar, a este passo pode-se dar o nome de construção dos dados. Figura 24 - Divisão de um conjunto de dados. 29

50

51 Capítulo 4: Descrição dos Métodos Implementados 4.1 Aquisição de Imagens A fase de aquisição de imagens é um ponto muito importante neste e em qualquer trabalho de inspeção visual automática e é realizada por um sistema físico que tem como objetivo fornecer ao sistema computacional os dados de entrada a serem processados. Antes de se começar a fazer a aquisição das imagens houve outro ponto importante, que foi fazer uma visita a uma empresa, a MATCERAMICA, e adquirir vários pratos de cerâmica com e sem defeito diretamente da linha de produção nas instalações da empresa. Depois de adquirir os pratos necessários para este trabalho pode-se então passar à fase da aquisição de imagens. A fase de aquisição de imagens foi realizada através de dois tipos de sistemas físicos distintos. O primeiro sistema utilizado tem como componentes principais uma câmara fotográfica digital, uma lâmpada de leds, um tripé com um suporte para a lâmpada, um abat jour e um pano de fundo preto. Este sistema está representado na Figura 25. De seguida, em cima do abat jour do sistema de aquisição de imagens representado anteriormente colocou-se uma câmara fotográfica digital compacta Canon EOS 600D. Esta câmara tem uma resolução de 18 megapixels, um obturador de plano controlado eletronicamente, flash integrado e com uma sensibilidade ISO (índice de sensibilidade do filme) automático entre 100 e 6400 conseguindo assim tirar boas fotografias em várias condições de luminosidade. As fotografias são tiradas por esta câmara através do furo na parte de cima do abat jour. Por baixo pode-se ver um pano preto para fazer contraste com o prato que é colocado aleatoriamente e por cima desse pano, para de seguida serem tiradas fotografias ao prato. São tiradas várias fotografias ao mesmo prato, mas com rotações diferentes e aleatórias. Contudo, este sistema de aquisição de imagens continha alguns pontos para serem melhorados, como por exemplo, a câmara não possuia um suporte e estava a ser segura manualmente e o sistema tem apenas uma lâmpada, isto é, não tem iluminação uniforme ao longo do prato. Então devido a esses factores que poderiam ser melhorados de forma a obter umas fotografias com melhor qualidade optou-se for utilizar um segundo sistema de aquisição de imagens. Esse sistema possui também iluminação difusa, contudo essa iluminação é feita através de fitas de leds, quatro de cada lado do sistema. O sistema tem também um suporte fixo para a câmara e tem uma geometria cilíndrica onde se colocam os pratos, este sistema está representado também na Figura 25. Tanto este sistema como o primeiro possuem um fundo preto onde se coloca o prato a ser fotografado. Com o primeiro sistema de aquisição de imagens utilizaram-se 10 pratos diferentes, 6 pratos sem defeitos e 4 pratos com defeitos, cada prato foi rodado aleatóriamente 6 vezes dentro dos dois sistemas 31

52 de aquisição de imagens, ou seja, foram adquiridas 60 imagens diferentes. Dessas 60 imagens diferentes, 36 são referentes a pratos sem defeitos e as restantes 24 são imagens de pratos com os 3 tipos de defeitos. Figura 25 Sistema de aquisição de imagens (a)-(c) Primeiro sistema; (d) Segundo sistema. 32

53 Com o segundo sistema de aquisição de imagens voltou-se a tirar o mesmo número de fotografias, neste caso 60, aos mesmo pratos que foram utilizados no primeiro sistema de aquisição de imagens, de forma a se poder comparar os diferentes sistemas. Depois dos dois sistemas de aquisição de imagens estarem apresentados, mostra-se agora alguns exemplos das imagens adquiridas pelos mesmos. Nas Figuras 26 e 27 pode-se ver alguns pratos, com e sem defeitos, utilizados para este trabalho. Tal como se pode verificar pelo conjunto de imagens apresentadas na Figura 27, existe um diferença entre as imagens adquiridas pelo primeiro e pelo segundo sistema de aquisição de imagens. Mais à frente no capítulo 5 vai-se fazer a comparação entre os resultados para os dois diferentes sistemas de aquisição de imagem. Figura 26 Imagens tiradas com o primeiro sistema de aquisição. 33

54 Figura 27 - Imagens tiradas com o segundo sistema de aquisição. 4.2 Iluminação A iluminação é um fator determinante em inspeção visual automática, nomeadamente em processamento de imagens. Tanto pode contribuir positivamente como negativamente. Uma boa e adequada iluminação ao problema pode realçar as partes de interesse dentro da imagem, facilitando assim o processamento da imagem, caso contrário pode introduzir ruídos e informações indesejadas nas imagens, como por exemplo reflexos. Existem vários tipos de iluminação, como por exemplo: luz direcional, luz difusa, iluminação traseira e iluminação estroboscópica. A luz direcional é um tipo de luz que é utilizado quando é necessário especificar uma direção e apartir daí os objetos serão iluminados de acordo com a mesma, tal como se pode ver na Figura

55 Figura 28 Iluminação direcional. Já para a luz difusa, basta fazer com que a luz não seja direta, como por exemplo, fotografar à sombra, a luz do sol incide em tudo ao seu redor, chegando ao objeto como luz difusa. Uma forma de utilizar luz difusa num ambiente controlado e não ao ar livre é apontar a luz para um objeto branco para que incida nele e sejam reflectida para o objeto a fotografar. A iluminação, escolhida e utilizada para ambos os sistemas de aquisição de imagem que foram utilizados neste trabalho, foi uma iluminação difusa. Tal como se pode verificar pelas imagens representadas no sub-capítulo 4.1 (Aquisição de Imagens). Este tipo de iluminação mostrou-se ser o mais correcto para este trabalho de forma a se poder conseguir tirar fotografias com melhor qualidade, muito principalmente por se obter menos reflexos com este método de iluminação. Ao contrário da iluminação direcional que causava muitos reflexos nas fotografias tiradas aos pratos. 4.3 Segmentação da imagem A segmentação de uma imagem é um dos passos importantes dentro dum sistema de inspeção visual automático e este trabalho não foge à regra. Os objetivos das técnicas de segmentação são: identificar a posição do objeto de interesse, neste caso um prato de cerâmica, e isolá-lo dos restantes objetos que possam eventualmente aparecer na imagem, como por exemplo a mesa de fundo preto; identificar as regiões de interesse no prato (folha preta, folha branca e o restante prato) e fazer a preparação para o objetivo final, que é a deteção dos eventuais defeitos que o prato possa ter. A segmentação de imagem tem muitas aplicações, como por exemplo, aplicações médicas, sistemas de controlo automático de trânsito, reconhecimentos de faces, localização de objetos em imagens e sistemas de visão computacional. 35

56 Figura 29 Imagem Padrão. Este trabalho incluiu uma fase de pré-processamento, nessa fase procede-se a três importantes passos, que são os seguintes: binarizar, centrar e rodar. Isto é, é necessário isolar o prato do resto do fundo da imagem, então as imagens obtidas passam por este pré-processamento e são redimensionadas, rodadas e centradas de forma a que todas elas tenham a mesma direção. Todas as imagens foram rodadas de forma a ficarem iguais a uma imagem anteriormente definida como sendo a imagem padrão para o todo o pré-processamento, essa imagem padrão está representada na Figura 29. Na Figura 31 exemplifica-se este último parágrafo com alguns exemplos. Como se pode verificar pelas imagens presentes na Figura 30, todas elas são diferentes, foram adquiridas com rotações aleatórias e no final do pré-processamento estão iguais em relação à rotação e também centradas. Tal como foi referido anteriormente, para tal pré-processamento acontecer realizamse três importantes passos, binarização, centrar e rotação. Na Figura 31 fica um exemplo de uma imagem que passa por esses três processos. Pode-se descrever o processo de binarizar da seguinte forma: primeiro para se obter a imagem binarizada é preciso realizar 3 binarizações diferentes e depois no final combinar o resultado das 3. Em primeiro lugar faz-se uma binarização para se obter as zonas pretas do padrão do prato a que se chama folha preta, de seguida faz-se outra binarização para se obter as zonas brancas do padrão do prato a que se chama folha branca e por fim a última binarização para se obter o resto do prato. Na Figura 32 ilustrase este processo através de 3 imagens. Para se obter a folha preta do prato utiliza-se uma binarização da componente azul da imagem inicial com um threshold calculado pelo método de Otsu. De seguida para se obter a folha branca do prato converteu-se a imagem de RGB em HSV e novamente voltou a utilizar-se um threshold calculado pelo método de Otsu. Finalmente para se encontrar o resto do prato começou-se por utilizar a imagem da binarização da folha preta e de seguida apenas remover a folha preta, removeu-se a folha preta utilizando alguns filtros morfológicos como a abertura para remover pequenos pontos pretos (ruído), o enchimento para remover a folha preta e por fim uma reconstrução de modo a obter-se apenas o prato sem o padrão. Feito isto basta agora combinar as 3 binarizações acima referidas e consegue-se obter como resultado final a imagem que está representada na Figura 31 (b). 36

57 Figura 30 Exemplos de pré-processamento de algumas imagens. As imagens originais encontram-se à esquerda; As imagens processadas à direita. 37

58 Figura 31 Pré-processamento de uma imagem: (a) Imagem original; (b) Imagem binarizada; (c) Imagem binarizada e centrada; (d) Imagem final centrada; (e) Imagem final, centrada e rodada. 38

59 Figura 32 Prato dividido em 3 zonas: (a) Zona da folha preta; (b) Zona da folha branca; (c) Zona restante do prato. Já para se proceder ao processo de centrar o prato na imagem faz-se o seguinte: através da imagem binarizada obtida anteriormente percorre-se cada coluna até se encontrar um pixel com valor 1, então aí temos a confirmação que essa é a coluna onde começa a aparecer o prato na imagem, depois continua-se a fazer o mesmo até se encontrar uma coluna em que o valor 1 já não apareça, isto é, esta coluna é o final do prato. Por fim faz-se o mesmo procedimento, mas desta vez não para as colunas, mas sim para as linhas da matriz da imagem. Com isto consegue-se centrar o prato na imagem, ou seja, passar da imagem (b) para a (c), na Figura 31. Finalmente faz-se a rotação do prato, para isso teve que se recorrer a imagem padrão, que está exemplificada na Figura 29, e utilizaram-se os perfis que se vêem na Figura 33 da imagem padrão e da imagem a ser rodada. Por fim o perfil cheio da imagem é rodado e comparado a cada rotação com o perfil cheio padrão até se obter a melhor rotação possível. Depois das imagens originais serem binarizadas, rodadas e centradas, ficam com uma resolução final de 650x650 píxeis. De forma a ilustrar este pré-processamento, a Figura 34 apresenta o fluxograma do mesmo. 39

60 Figura 33 Perfis de rotação: (a) Perfil cheio padrão; (b) Perfil cheio da imagem. Figura 34 Fluxograma do pré-processamento. 40