Visão Computacional. Alessandro L. Koerich. Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR)

Transcrição

1 Visão Computacional Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR)

2 Câmeras para Visão Computacional

3 Agenda Tipos de Câmeras Câmeras Lentes Interfaces Iluminação Software

4 Tipos de Câmeras Quanto ao tipo de sensor: CCD CMOS Microbolometro InGaAs Quanto ao tipo de sinal: Analógico Digital Quanto a interface: Analógica (RS-170, NTSC, etc.) Digital (USB, Firewire, GigE, Camera Link) Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

5 Tipos de Câmeras Quanto a cor: Monocromática (níveis de cinza) Colorida (1 sensor) Colorida (3 sensores) Outros Quanto ao formato do sensor: Area Scan Line Scan Quanto ao tipo de varredura: Progressive Scan Interlaced Scan Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

6 Tipos de Câmeras Quanto ao espectro: Raio-X UV Visível Near-IR IR Termal

7 Tipos de Câmeras Curva típica de sensibilidade:

8 Tipos de Câmeras Curva típica de sensibilidade:

9 Tipos de Câmeras Curva típica de sensibilidade:

10 Tipos de Câmeras Curva típica de sensibilidade:

11 Eletrônica O sensor bem como outros componentes eletrônicos têm um papel importante na performance de um sistema de visão computacional.

12 Charge-Coupled Devices (CCDs) São os sensores mais utilizados em aplicações de visão computacional. A câmera CCD contém um chip de silício que consiste de uma matriz de elementos sensíveis a luz, chamados pixels. Adicionalmente, CCDs têm uma faixa dinâmica impressionante e levam a uma relação altamente linear entre a energia de entrada e o sinal de saída, tornando-os ideais para metrologia.

13 Pixels CCD Quando a luz atinge um chip CCD, ela é coletada por uma matriz de pequenos elementos chamados pixels CCD. A imagem é dividida nestes pequenos pixels CCD discretos. A informação destes elementos é coletada, organizada e transferida para um computador ou monitor..

14 Pixels CCD Pixels assimétricos levam a uma resolução horizontal maior do que a vertical. Câmeras CCD analógicas geralmente possuem a mesma resolução vertical. Por esta razão, o padrão da indústria é especificar resolução em termos da resolução horizontal. Câmeras digitais não são limitadas pela largura de banda vertical e podem ter pixels quadrados ou retangulares.

15 Dimensão do Sensor O tamanho da área ativa do sensor é importante na determinação do campo de visão. Dada uma ampliação primária fixa (devido as lentes), sensores maiores levam a campos de visão maiores. Existem vários tamanhos de CCDs:

16 Câmeras CCD A melhoria da tecnologia de sensores CMOS traz uma performance próxima dos sensores CCD. Permite alta resolução e alta velocidade sem aumento na dissipação de potência.

17 Comparativo CCD x CMOS Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

18 Comparativo CCD x CMOS Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

19 Formatos Analógicos Padrões analógicos incluem: Composto (NTSC/PAL, EIA/CCIR), Y-C (S-Video), RGB. Destes, os sinais NTSC (PAL/RS-170A/Color) e EIA (CCIR/RS-170/Monochrome) são os mais comuns e acomodam a maioria das aplicações. Sinais Y-C e RGB fornecem imagem de qualidade superior separando a informação de cor em canais discretos. Câmeras analógicas devem ser conectadas em hardware de aquisição para captura de imagens. Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

20 Formatos Digitais Os formatos digitais: CameraLink IEEE-1394 (Firewire). GigE Outros formatos incluem RS-422 e RS-644. Câmeras digitais necessitam de um computador para mostrar as imagens em um dispositivo de saída.

21 Câmeras Analógicas X Digitais O chip CCD é um componente analógico significando que valores de pixel são coletados por meio de amostragem (entrelaçada ou progressiva). O processador de sinal e codificador converte esta informação em sinal analógico. Em câmeras digitais, digitalização ocorre a medida que o sinal é coletado pelo chip. Uma vez digitalizado, processamento e melhoramento de imagem podem ser feitos com poucas perdas ao sinal.

22 Digital vs. Analógico Digital 1. Variedade de sensores para alta velocidade ou alta resolução 2. Computador necessário para mostrar o sinal 3. Placa de captura necessária para saída CL 4. Saída Progressive Scan 5. Pouca perda de sinal no processamento Analógica 1. Tipicamente baixa resolução; saída a 30qps 2. Computador / placa de captura pode ser usada para digitalização 3. Suscetível a ruído/ interferências que causam perda do sinal 4. Saída geralmente entrelaçada 5. Sinal formato NTSC / EIA

23 Câmeras Digitais vs. Analógicas Digital 1. Geralmente câmeras maiores 2. A resolução vertical não é limitada, portanto, câmeras digitais podem ter maior resolução. 3. Sem limitação de banda, oferecem um número maior de pixels e sensores CCDs maiores, resultando em resolução maior. 4. Computador e placa de captura necessários para mostrar o sinal. 5. O sinal pode ser comprimido e transmitido sem perdas. 6. Têm geralmente pixels quadrados para resolução horizontal e vertical idênticas. 7. O sinal de saída é digital, portanto pouca perda de sinal ocorre durante o processamento do sinal. Analógica 1. Tamanho geralmente menor. 2. Resolução vertical é limitada pela largura de banda do sinal analógico. 3. Sensores são geralmente de tamanho padrão. 4. Computadores / placas de captura podem ser usadas para digitalização mas não são necessárias para mostrar o sinal. 5. Impressão e gravação analógica pode ser facilmente incorporada ao sistema. 6. Geralmente têm pixels retangulares. 7. Sinais analógicos são susceptíveis a ruído e interferência que causam perdas no sinal.

24 Monocromático vs. Colorido Monocromático Colorido (1 Sensor) Colorido (3 Sensores) Sensor único fornece imagens em nível de cinza Resolução 10% mais alta do que câmeras coloridas de sensor único Melhor relação sinal/ruído; contraste superior Sensibilidade a baixa iluminação aumentada. Ideal para aplicações de medição Usa filtro de cor Bayer RGB (Tipicamente) Baixo custo Resolução inferior (mais pixels necessários para reconhecer cor) Cabeamento padrão Facilmente integrada a sistemas. Utiliza um prisma para dividir luz branca em três diferentes sensores Mais caro Melhor resolução de cor Sensibilidade mais baixa Escolha de lentes menor.

25 Câmeras CCD Coloridas O chip CCD é baseado em um efeito fotoelétrico e como resultado, não pode distinguir entre cores. Existem dois tipos de câmeras CCD coloridas: chip único. três chips (R, G, B).

26 Câmeras CCD Coloridas Hardware para Visão Computacional 2010

27 Câmeras CCD Coloridas Hardware para Visão Computacional 2010

28 Número de Pixels Câmera digital CCD que tem 1392H x 1040V pixels em um sensor 6.5H x 4.4V (mm). Uma interpretação simples desta especificação é imaginar o campo de visão sendo dividido em 1392 x 1040 partes. O detalhe mínimo identificável são 2 destas partes. Não leva em conta a performance das lentes.

29 Linhas de TV Em CCDs analógicos, a especificação Linhas de TV é geralmente usada para avaliar resolução. A especificação Linhas de TV", ou "TVL" é uma unidade de resolução baseada em uma barra alvo com linhas igualmente espaçadas. Se o alvo é estendido de modo que ele cubra o campo de visão, o número de linhas de TV é calculado somando todas as linhas resultantes e espaços. Existem também um fator de normalização usado no calculo do valor da Linhas de TV horizontal baseado na razão de aspecto 4:3 dos chips.

30 Profundidade do Pixel Geralmente referido como escala de cinzas ou faixa dinâmica de uma câmera CCD, representa o número de níveis de cinza na imagem. Está ligada a uma quantidade mínima de contraste detectável por um sensor CCD. Várias câmeras fornecem 8 bits (256 níveis de cinza). Outros modelos operam em 10 bits (1024 níveis de cinza).

31 Relação Sinal Ruído (SNR) A relação sinal ruído (SNR) está diretamente ligada a faixa dinâmica da câmera. Altas SNRs levam um alto número de passos na escala de cinzas (alto contraste) mostrados pela câmera. Em sistemas analógicos a SNR é expressa em db e em bits em sistemas digitais. Em geral, 6dB de SNR analógico é convertido para 1-bit quando digitalizado. Para câmeras digitais ou analógicas, X bits corresponde a 2 X níveis de cinza (i.e. câmeras de 8 bits têm 2 8 ou 256 níveis de cinza). Existem duas fontes de ruídos em CCDs: imperfeições no chip que resultam em crosstalk e ruído térmico.

32 Sinal de Saída do CCD Existem poucos formatos para sinais de vídeo analógico. Nos Estados Unidos a Electronic Industries Association (EIA) definiu o sinal monocromático como RS-170. A versão em cores, definida como RS-170A, é mais conhecido por NTSC, que denota National Television Standards Committee. Tanto RS-170 quanto NTSC são sinais compostos que significa que toda informação de cor e intensidade é combinado em um único sinal.

33 Saída do Sinal CCD Existem sinais componentes (Y-C e RGB) que separam crominância (cor) da luminância (intensidade da cor). CCIR é o padrão Europeu para monocromático enquanto PAL e SECAM são os padrões Europeus para cor. Câmeras digitais CCD ganham popularidade pois, ruído de transmissão, distorção ou outras degradações do sinal não afetam a informação sendo transmitida. Como o sinal de saída é digital, há pouca perda de informação na transmissão.

34 Ganho Os ajustes de ganho controlam a amplificação do sinal vindo do chip CCD. Deve ser observado que o sinal completo é amplificado, incluindo qualquer ruído de fundo associado. A maioria das câmera possuem um controle automático de ganho (autogain ou AGC) e algumas não permitem que o usuário desligue-o e faça o ajuste manual.

35 Gama O controle gama controla o nível de cinzas reproduzido na imagem. Uma imagem com gama unitário indica que o CCD está reproduzindo precisamente os níveis de cinza do objeto (resposta linear). Gama muito maior do que a unidade resulta em imagens com silhuetas, em branco e preto. Gama muito menor do que a unidade gera uma imagem ligeiramente cinza. Gama pode ser considerado com a habilidade de esticar um lado (ou o branco quanto o preto) da faixa dinâmica do pixel.

36 Captura da Imagem Os principais parâmetros que influenciam a captura de uma imagem de uma cena ou objeto: Objeto em movimento Superfície do objeto Iluminação do objeto Tamanho do objeto Distância do objeto

37 Formatos de Câmera Digital Area Scan Relações típicas (H:V) 1:1 1024x1024, 2048x2048 4:3 640x480, 1024x768, 1290x960, 1360x1024, 1600x :9 1920x1080 Sensores maiores Aplicações de alta velocidade Tempos de disparo (shutter) mais rápidos Custo inferior a Line Scan Ampla gama de aplicações Fácil de ajustar Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

38 Formatos de Câmera Digital Line Scan O sensor é linear e de grandes dimensões Aplicações de alta velocidade Constrói a imagem, linha a linha Objetos em movimento na frente do sensor Ideal para capturar objetos largos Alinhamento e sincronismo especial Integração complexa / iluminação simples.

39 Formatos de Câmera Digital Interlaced Scan Sensores convencionais utilizam varredura entrelaçada Chip é dividido em dois campos (pares e ímpares) Varre as linhas ímpares (1,3,5 ) e então as pares (2,4,6 ) Estes campos são então integrados para produzir um quadro completo Ideal para aplicações de média/baixa velocidade Borramento pode ocorrer em altas velocidades. Por exemplo, a uma taxa de quadros de 30 qps, cada campo leva 1/60 de segundo para ser lido. Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

40 Formatos de Câmera Digital Progressive Scan Varre sequencialmente (1,2,3,4 ) Todos os dados da imagem são gravados em uma única exposição Ideal para aplicações de alta velocidade Mais cara A saída da varredura progressiva não é padronizada, portanto a escolha de hardware deve ser cuidadosa.

41 Entrelaçado X Varredura Progressiva Para a maioria das aplicações, varredura entrelaçada não causa problemas. Problemas podem aparecer em aplicações de alta velocidade pois no momento em que o segundo campo é varrido, o objeto já se moveu. Isto causa fantasmas ou borrões na imagem resultante.

42 Objetos em Movimento Objetos duplicados Interlaced Scan Progressive Scan

43 Taxa de Quadros X Velocidade do Shutter Shutter = Obturador: dispositivo de uma câmera que regula o tempo de exposição (Exposure). A taxa de quadros indica o número de quadros completos (que pode consistir de dois campos) compostos em um segundo. Em aplicações de alta velocidade, pode ser benéfico escolher uma taxa de quadros mais rápida para capturar mais "imagens" do objeto enquanto ele se move.

44 Taxa de Quadros X Velocidade do Shutter A velocidade do shutter corresponde ao tempo de exposição do chip CCD. O tempo de exposição controla a quantidade de luz incidente no chip. Super-exposição pode ser controlada pelo decréscimo da iluminação ou ganho da câmera, ou aumentando a velocidade do shutter.

45 Taxa de Quadros X Velocidade do Shutter Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

46 Resolução e Contraste do CCD A resolução de uma câmera CCD pode ser especificada de diferentes maneiras: Número de pixels Linhas de TV Função Modulação da Transferência (FMT)

47 Representação da Imagem As imagens são representadas por uma matriz com o nível de cor dos pixels

48 Parâmetros Fundamentais Um sistema de visão deve criar uma imagem com qualidade o suficiente para permitir a extração das informações desejadas. Note que o conceito qualidade da imagem varia de aplicação para aplicação.

49 Parâmetros Fundamentais Existe uma variedade de fatores que contribuem para a qualidade da imagem: Resolução Contraste Profundidade de campo Erros de perspectiva Erros geométricos (distorção).

50 Parâmetros Fundamentais Tamanho do Sensor: Tamanho da área ativa do sensor da câmera geralmente especificada na dimensão horizontal. Este parâmetro é importante na determinação da ampliação da lente necessária para obter um campo de visão desejado. A ampliação primária (PMAG) das lentes é definida como a razão entre o tamanho do sensor e o campo de visão. Profundidade do Campo (DOF): A máxima profundidade do objeto que pode ser mantida inteiramente em foco. É também a quantidade do objeto que pode ser movimentada mantendo-se uma quantidade de foco desejada. Campo de Visão (FOV): A área visível do objeto sendo inspecionado. Porção do objeto que preenche o sensor da câmera. Distância de trabalho (WD): a distância entre a frente das lentes e o objeto sendo inspecionado. Resolução: O tamanho mínimo dos detalhes do objeto que podem ser distinguidos pelo sistema de imagem. Hardware para Visão Computacional 2010 alessandro.koerich@ufpr.br

51 Parâmetros Fundamentais A ampliação primária das lentes (PMAG) é definida como a razão entre o tamanho do sensor e o campo de visão. A fórmula a seguir calcula a ampliação primária: PMAG = Tamanho do Sensor (mm) / Campo de Visão (mm).

52 Parâmetros Fundamentais Apesar de resolução e contraste de uma imagem poderem ser definidas individualmente, eles estão relacionados. Para determinar esta relação, é importante estudá-los primeiramente como elementos independentes.

53 Resolução e Contraste Resolução é a quantidade de detalhes do objeto reproduzida pelo sistema de imagem. Dois pixels da câmera CCD são necessários para cada par de linhas de resolução. Resolução é uma medida da habilidade do sistema de imagem reproduzir detalhes de objetos. Uma imagem de baixa resolução é geralmente borrada e pobre em detalhes. A figura acima ilustra uma vista simplificada de dois quadrados reproduzidos sobre pixel da câmera CCD.

54 Profundidade do Campo A profundidade do campo (DOF) de uma lente é sua habilidade de manter uma imagem de qualidade desejada a medida que o objeto é posicionado mais próximo e mais longe do melhor foco. DOF também se aplica a objetos com profundidade, visto que lentes com alto DOF podem capturar o objeto inteiro claramente. A medida que o objeto é colocado mais perto ou mais longe da distância de trabalho, ele fica fora de foco e tanto a resolução quanto o contraste sofrem.

55 Distorção Distorção é um erro ótico (aberração) causado pelas lentes e que resulta em ampliações diferentes entre diferentes pontos da imagem Os pontos do objeto são mal posicionados na imagem em relação ao centro do campo.

56 Distorção A distorção percentual é calculada pela seguinte fórmula: % = (AD - PD / PD) x 100 onde: AD = Distância atual PD = Distância Predita

57 Erros de Perspectiva Erros de perspectiva, também chamado de paralaxe, faz parte da experiência humana diária. De fato, paralaxe é o que permite o cérebro interpretar o mundo 3-D. Esperamos que objetos mais próximos pareçam relativamente maiores que aqueles posicionados mais distantes.

58 Erros de Perspectiva Hardware para Visão Computacional 2010

59 Exemplos de Câmeras Digitais Hardware para Visão Computacional 2010

60 Exemplos de Câmeras Digitais Hardware para Visão Computacional 2010

61 Câmeras Inteligentes Integram software e hardware para tratamento da imagem dentro da própria câmera. SmartCams Câmera Computador Placa de Captura Software

62 Câmeras Inteligentes Sensor CCD, processador, frame grabber, interface serial/ethernet/usb, entrada para triggers de alta velocidade, I/O para CLPs, memória RAM e cartões de memória SD.

63 Câmeras Inteligentes Hardware para Visão Computacional 2010