Relatório Final Bolsa de Investigação: Hardware para a Implementação de Rede Multidimensional Neuronal

Transcrição

1 Relatório Final Bolsa de Investigação: Hardware para a Implementação de Rede Multidimensional Neuronal Projecto Instead Bolseiro de Investigação: Paulo Pereira Supervisor: Prof. José Carlos Alves

2 2 Conteúdo 1. Introdução Discrição da tarefa Abordagem do Problema FPGA Acelerómetros Camara Linear Dados experimentais Obtidos Acelerómetros Experiência nº1: Validação da aquisição de dados do acelerómetro Experiência nº2: Utilização de dois acelerómetros para simular o modelo RNM Camara Linear CMOS Leitura com a camara de dois sensores Artigo internacional Conclusão Trabalho futuro i. Referências ii. Anexos... 15

3 3 Tabela de Versões Data Versão Comentário 17 Setembro Criação do documento

4 4 1. Introdução A bolsa de investigação que este documento pretende descrever enquadra-se no projecto INSTEAD [3] do INESC TEC [1] financiado pela Fundação para a ciência e Tecnologia [2]. O projecto INSTEAD consiste na implementação de um sistema automático de detecção de falhas em estruturas, recorrendo a uma Rede Neuronal Multidimensional (RNM). O modelo RNM baseia-se na identificação de variações dos parâmetros da estrutura, entre os parâmetros estimados através das características físicas e os parâmetros estimados através da característica dinâmica da estrutura [3]. O sistema de RNM para detecção de falhas consiste na medição de vários pontos ao longo da estrutura, discretizados em intervalos definidos pelos requisitos do modelo. O comportamento vibratório dos vários pontos da estrutura é utilizado para a caracterização paramétrica em tempo real da estrutura. Nesta tarefa interessa abordar a questão no ponto de vista prático isto é, procurar hardware capaz de implementar o sistema de detecção automático de falhas baseado em RNM. O objectivo deste documento é descrever as diferentes fases do trabalho como o planeamento, as alterações realizadas assim como a respectiva justificação do trabalho realizado e o trabalho futuro. O capítulo 2 descreve como este trabalho se encaixa no projecto. No capítulo 3 fala sobre as decisões tomadas relativamente às soluções apresentadas e explica o porquê de tais decisões. Mais adiante, no capítulo 4 são apresentados dados experimentais extraídos com diferentes soluções e no capítulo 5 as conclusões. O capítulo 6 faz uma breve referência a um artigo científico aprovado para uma conferência internacional [15].Finalmente é apresentado o trabalho futuro no capítulo 7.

5 5 2. Discrição da tarefa Esta tarefa pode ser dividida em duas grandes tarefas genéricas: a) Implementação do modelo RNM e comparação dos parâmetros da estrutura para verificação de falha. b) Aquisição e tratamento dos dados físicos do comportamento vibratório da estrutura; Para a tarefa de implementação do modelo RNM é necessário um sistema embutido de alto desempenho para cumprir com os requisitos computacionais bastante exigentes. Para esta função foi escolhido a implementação em FPGA (Field Programmable Gate Array). A solução FPGA tem grande vantagem de reprogramação ilimitada sem custos adicionais, excelente margem de manobra para implementar quase todos os protocolos de comunicação com periféricos e grande performance computacional, comparando-a com software realizado em Computadores Pessoais. A superioridade computacional de um sistema embutido baseado em FPGA sobre um PC é obtida na criação de blocos de cálculo específicos e customizados ao nível do transístor que têm uma rendimento muito alto, usando neste caso a linguagem de descripção de hardware Verilog. Na tarefa precedente, que diz respeito à implementação software do modelo foi realizada em ambiente Matlab e no âmbito desta tarefa, é pretendido a transposição deste mesmo software para linguagem C. Esta transposição para linguagem C vai possibilitar a execução modelo RNM no sistema embutido. É previsível que para cumprir requisitos temporais, seja necessário dividir o modelo em vários passos de cálculo e identificar blocos críticos. Estes blocos críticos serão optimizados, explorando a declaração de variáveis inteiras invés de declarar as variáveis com vírgula flutuante. Em caso de insuficiência computacional que não cumpra o tempo exigido, será então implementado o bloco ao nível do transístor. As ferramentas utilizadas na medição do comportamento vibratório de estruturas em engenharia mecânica são acelerómetros com muita precisão em conjunto com equipamento industrial que pode custar alguns milhares de euros. Para esta aquisição de dados pretende-se encontrar uma solução alternativa que possa viabilizar a implementação do sistema com menor custo possível, como por exemplo acelerómetros disponíveis à custa de poucas dezenas de euros. Uma outra solução possível encontrada foi o recurso a câmaras lineares digitais também de baixo custo, que utilizando técnicas conhecidas e validadas em vários artigos científicos [de 4 a 14] é possível extrair a posição sub-pixel e escalar para milímetros. A técnica mais conhecida e eficaz é a técnica de detecção de borda (edge detection) e posterior regressão polinomial.

6 6 3. Abordagem do Problema Como ponto de partida desta bolsa de investigação, foi a pesquisa de hardware capaz de executar as tarefas descritas no capítulo 2 e subsequente criação de tal sistema FPGA Foi necessário encontrar uma FPGA com características que assegurassem a implementação de um modelo tão complexo. Tendo em conta que tal modelo ainda não foi transposto para o sistema embutido FPGA, não é possível quantificar o número de memória, LUTs, registos, em suma, características necessárias. A FPGA escolhida é da marca Xilinx uma vez que é família que os colaboradores deste projecto têm mais experiência, mais especificamente da 2ª última geração: Xilinx Virtex-6 ML605 Evaluation Kit Acelerómetros Numa pesquisa das principais lojas fornecedoras de componentes electrónicos foram escolhidos três tipos de acelerómetros com algumas características diferentes e que apenas continham uma característica comum: uma interface de comunicação digital ou que potenciasse a extracção dos dados digitalmente. A justificação deste requisito deve-se apenas a que o sistema tivesse sido inicialmente decidido implementar em plataforma FPGA. As principais características que diferenciam os três acelerómetros estão descritas na seguinte tabela: Modelo Amplitude (g) Taxa de Amostragem (KHz) Erro de Resolução (mg) Ruido (µg/ ) Protocolo de Comunicação ADIS16006 ± 5 2,26 3,9 200 SPI ADXL312 ± 1,5; ± 3; ± 6; 3,2 2,9 340 (± 30%) SPI/I2C ±12; MMA8451Q ± 2 0,8 0, I2C ± 4 0,488 ± 8 0,98 A aquisição de acelerómetros com características diferentes ilustradas na tabela é justificada pela avaliação que se pretende realizar relativamente à importância na das mesmas características na aplicação final. Esta avaliação destinava-se mais especificamente à amplitude necessária para a experiência, uma vez que não havia valores quantificados. É sabido teoricamente e descrito nas datasheets dos componentes, a relação de trade-off entre as características taxa de amostragem e ruido intrínseco. Não obstante, digitalmente será

7 7 relativamente fácil implementar um filtro passa-baixo de médias, que diminuirá a taxa de amostragem e melhorará o ruido caso se beneficie com isso. Os acelerómetros foram adquiridos individualmente, ou seja apenas os circuitos integrados e foram desenhadas placas PCB com a área mais reduzida possível (desenho das PCBs em anexo). A ideia de desenhar as placas o mais reduzidas possível deve-se ao facto de que os acelerómetros devem de ser implantados na superfície da estrutura em estudo, e pretende-se que a influência do contacto físico do acelerómetro seja minimizado. Depois de realizar as ligações físicas dos acelerómetros com a FPGA, foram desenvolvidos módulos Verilog dos protocolos de comunicação para cada acelerómetro, SPI (Serial Peripheral Interface) e I2C (Inter-integrated Circuit). Para verificar e validar a leitura dos acelerómetros, foi desenvolvido um script C para comunicar com a FPGA recorrendo da porta série. O script é responsável por receber os dados, interpreta-los e escreve-los para um ficheiro de texto para tratamento posterior em Matlab. Houve necessidade de implementar quatro memórias FIFO (First In First Out), duas para cada coordenada (eixo dos X e eixo dos Y) na FPGA, para garantir que não houvesse perda de dados. As memórias FIFO, cada uma com apenas 1024 endereços, guarda 1024 instantes de acelerações seguidos, depois comuta de memória. A FIFO acabada de encher, descarrega completamente os dados por porta série e a outra FIFO activa continua a guardar acelerações sem interrupções. Como é garantido que a velocidade de transmissão de dados pela porta série é superior à de acelerações adquiridas, não haverá perda de dados neste processo de comutação de memórias. A desvantagem neste processo de memórias FIFO é de que existirá sempre uma latência associada, que pode ser quantificada pelo número de endereços da FIFO. Foi desenvolvido um módulo Simulink para Matlab, escrito em linguagem C (ferramenta com nome: S-Function), que faz a comunicação porta série tal qual como o script C, mas com a vantagem de desenhar graficamente e em tempo real as acelerações obtidas das duas coordenadas X e Y. Com esta S-Function é possível a exportação para o Workspace do Matlab Camara Linear Os dois sensores CMOS lineares Hamamatsu S1007 adquiridos são capazes de capturar intensidade luminosa e traduzi-la em 8 bits, ou seja níveis inteiros de 0 até 255 dos 1024 pixéis que possui. Com os sensores CMOS lineares é possível implementar um sistema de detecção de posição sub-pixel muito preciso, com recurso a uma técnica conhecida como detecção de borda (edge detection) e posterior regressão polinomial [de 4 a 14]. Para realizar a detecção de borda, basta definir um limite (neste caso de 128, aproximadamente a meio da escala). A camara linear tem uma grande vantagem relativamente aos acelerómetros: é possível adquirir a posição de um objecto, sem que para isso haja contacto. Depois de identificada a borda, que se situa à volta do limite de 128, é necessário realizar uma regressão polinomial. Foi realizado um estudo de qual deveria ser a ordem do polinómio aproximante da curva da borda, isto porque a curva do degrau de escuro para claro parece ter características de 3º grau (cúbica) se incluirmos todos os pontos. Mas se incluirmos os pontos apenas do degrau dá a impressão de ser uma curva de 2º grau (quadrática), e se forem analisados os pontos à volta do limite parecem ser representados com uma curva linear (1º grau). Foram feitas várias leituras de frames de 1024 pixéis, realizando um deslize da imagem

8 8 com degrau fixo de 50 micrómetros, com recurso a uma mesa deslizante linear com precisão 0,5 micrómetros. Esta experiência realizada para verificar qual seria o grau do polinómio que melhor aproximasse a curva, e foi possível concluir que o polinómio de 1º grau com apenas 6 pixéis seria o melhor. Para adquirir duas posições, foi pensado que dois sensores poderiam ser usados numa só PCB com uso de uma só lente. Esta implementação só foi possível porque a sua zona activa dos sensores permanece dentro da zona considerada linear da lente, e claro os sensores não excedem as dimensões físicas da estrutura que encaixa a lente. O módulo de interface Verilog com a camara estava já implementado para a leitura de um sensor. Com o uso de dois sensores não foram necessárias muitas alterações. Tendo em conta que os dois sensores podem funcionar em paralelo, todos os inputs de estímulo dos sensores são partilhados (start, clock). Na verdade, como as camaras são iguais têm uma frequência de amostragem iguais e podem-se considerar que os bits de dados são enviados no mesmo instante. Isto é especialmente relevante, uma vez que se pretende adquirir as duas posições exactamente no mesmo instante. Tal como na aquisição de dados dos acelerómetros, foi implementado um script que recebe as posições calculadas pelo método de regressão linear por porta série. Estes dados são igualmente descarregados para um ficheiro texto para processamento posterior. 4. Dados experimentais Obtidos No seguimento das tarefas acordadas no capítulo 2 e a abordagem descripta no capítulo 3, fora realizadas algumas experiências de forma a validar o funcionamento dos sensores e adquirir dados para simulação do modelo RNM Acelerómetros Experiência nº1: Validação da aquisição de dados do acelerómetro Para validação e teste dos dados obtidos pelos acelerómetros foi possível comparar com o acelerómetro usado nas experiências do laboratório de mecânica e que foi adquirido inclusive com o software e equipamento adjacente. Na figura seguinte é possível verificar o comportamento dos acelerómetros:

9 9 Figura 1 - Comparação entre acelerómetros: Endeveco (vermelho); ADXL312 (azul) e filtrado (verde) O acelerómetro adquirido comercialmente com a solução já implementada é representado pela curva a vermelho, a azul é o acelerómetro projectado e a verde é o mesmo acelerómetro filtrado com um passa-baixo representado na seguinte figura: Figura 2 - Filtro passa-baixo aplicado no acelerometro ADXL312 É possível verificar que no início da experiência temos o acelerómetro a azul (ou filtrado a verde) que se encontra saturado. A saturação de amplitude não é crítica para esta experiência, uma vez que é possível encontrar os parâmetros através da oscilação da estrutura e que o teste poderia ser realizado com uma menor excitação sem saturar o acelerómetro e sem prejudicar a obtenção das características da estrutura. A resposta em frequência da estrutura encontra-se representada na seguinte figura:

10 10 Figura 3 FFT da aceleração obtida dos acelerómetros. (cores relativas aos mesmos dados da fig. 1) É possível observar que para as frequências mais baixas na figura 3, o acelerómetro projectado e o acelerómetro adquirido previamente, têm de facto características idênticas e sugere o correcto funcionamento do acelerómetro projectado Experiência nº2: Utilização de dois acelerómetros para simular o modelo RNM O objectivo da experiência nº 2 é de adquirir acelerações com dois acelerómetros idênticos, neste caso dois acelerómetros ADXL312, para utilizar posteriormente como input do modelo matemático de RNM. As acelerações foram adquiridas e processadas por um filtro passa-baixo, igual ao da experiência nº 1, em que podem ser visualizadas nas seguintes figuras: Figura 4 - Acelerações do acelerómetro nº 1 (azul) e filtrado (vermelho)

11 11 Figura 5 - Acelerações do acelerómetro nº 2 (azul) e filtrado (vermelho) Para cada aceleração foi calculado o integral ao longo do tempo. O integral obtido tem um erro associado, em que pode ser previsto na figura das acelerações e que rapidamente é avistado uma assimetria entre a amplitude negativa e a positiva. O gráfico da velocidade obtida para o acelerómetro número 1 é: Figura 6 - Velocidade do acelerómetro nº 1 (azul) e filtrado (vermelho) A explicação do erro obtido pelos acelerómetros reside em dois factores. Um dos factores deve-se à influência do contacto físico entre o acelerómetro e a estrutura, e que faça alterar a dinâmica da mesma. Mas foi possível verificar manualmente que a estrutura distorce mais para um lado do que para o outro isto é, claramente oferece maior resistência num dos lados. Espera-se que na experiência com a câmara linear seja possível assegurar qual dos factores é mais relevante, tendo em conta que a monitorização da posição é feita sem contacto com a estrutura.

12 Camara Linear CMOS Leitura com a camara de dois sensores 5. Artigo internacional Sob alçada do projecto INSTEAD [3] e no âmbito da bolsa de investigação, foi submetido e aprovado um artigo científico para a conferência internacional DCIS 2012 [15] (conference on Design of Circuits and Integrated Systems ). O aprovado explora as vantagens de uma ferramenta de síntese automática, para a implementação final isto é, apresenta diferentes soluções com quantificação das LUTs, ciclos de relógio, latência e frequência de funcionamento máxima do circuito produzido. O circuito objecto de síntese automática foi o circuito que calcula a função de regressão linear e a posição obtida no limite sub-pixel definido. Esta área de estudo é especialmente relevante para o projecto, tendo em conta que na implementação do modelo matemático de RNM poderá ser bastante útil na criação de blocos de cálculo chave ao nível do transístor. Esta ferramenta traduz ou sintetiza funções específicas em linguagem C para linguagem de descripção hardware Verilog. 6. Conclusão As principais conclusões relativas à bolsa de investigação, em que as tarefas estão descritas no capítulo 2, são de que a aquisição de dados poderá ser feita tanto com os acelerómetros como com sensores CMOS lineares. Devido a atrasos no desenvolvimento do modelo RNM, assim como no desenvolvimento do sistema de aquisição de dados, não foi possível concretizar a execução do modelo RNM em FPGA. A utilização dos acelerómetros neste sistema é concretizável tendo em conta que as dimensões das placas PCB sejam mais reduzidas, os fios de interface mais flexíveis e que as dimensões da estrutura a medir sejam superiores. No caso de ser possível realizar tudo isto, a influência dos acelerómetros na dinâmica pode ser insignificante e até mesmo desprezado. Os acelerómetros têm taxa de amostragem e amplitude suficientes para este sistema, mas o ruído intrínseco é necessário avaliar se invalida a sua implementação. Para verificar se o ruido é realmente perturbador para o sistema, é necessário ter a certeza o sistema tem pontos em número suficiente e verificar se o ruido impossibilita o cálculo dos parâmetros da estrutura. 7. Trabalho futuro No seguimento das tarefas propostas no capítulo 2, para trabalho futuro será necessário a obtenção de mais pontos de medida da posição da estrutura ao longo do tempo, de forma a cumprir com os requisitos mínimos necessários para a parametrização da estrutura graças ao modelo de RNM.

13 Garantindo que o modelo já desenhado em ambiente Matlab funciona perfeitamente com os dados adquiridos, o passo seguinte seria o de implementar os diferentes blocos de cálculo na plataforma de sistema embutido FPGA, XPS da família Xilinx em linguagem C. Será necessário verificar os tempos de execução do programa que implementa o modelo RNM, pois tem de garantir que funciona em conjunto com os dados adquiridos em tempo real extraídos da experiência. Será de esperar que tal não seja possível sem que se implemente em Verilog alguns dos blocos de cálculo. 13

14 14 i. Referências [1] INESC TEC - [2] Fundação para a Ciência e Tecnologia - [3] Página do projecto INSTEAD: [4] Stephan Hussmann, Thian H. Ho, A high-speed subpixel edge detector implementation inside a FPGA, Real-Time Imaging, Volume 9, Issue 5, October 2003, Pages , ISSN , /j.rti [5] Shang Ya-ceng; Chen Jing; Tian Jun-wei;, "The Study of Sub-Pixel Edge Detection Algorithm Based on the Function Curve Fitting," Information Engineering and Computer Science (ICIECS), nd International Conference on, vol., no., pp.1-4, Dec [6] Xu Guo-Sheng;, "Linear Array CCD Image Sub-pixel Edge Detection Based on Wavelet Transform," Information and Computing Science, ICIC '09. Second International Conference on, vol.2, no., pp , May 2009 [7] Li Chang-Ming; Xu Guo-Sheng;, "Sub-pixel Edge Detection Based on Polynomial Fitting for Line-Matrix CCD Image," Information and Computing Science, ICIC '09. Second International Conference on, vol.2, no., pp , May 2009 [8] Xu Guo-Sheng;, "Sub-pixel Edge Detection Based on Curve Fitting," Information and Computing Science, ICIC '09. Second International Conference on, vol.2, no., pp , May 2009 [9] Tiexi Xu; Xianming Xiong; Mingjin Li;, "Design of FPGA based on linear array CCD driver circuit," Electronic Measurement & Instruments, ICEMI '09. 9th International Conference on, vol., no., pp , Aug [10] Xu Guo-sheng;, "The applicaion of curve fitting technique in fabric defect detection," Signal Processing Systems (ICSPS), nd International Conference on, vol.1, no., pp.v1-272-v1-275, 5-7 July 2010 [11] Yu Mei Wang; Guo Sheng Xu;, "System of Measuring the Sub-Pixel Edge of CCD Image's," Photonics and Optoelectronic (SOPO), 2010 Symposium on, vol., no., pp.1-4, June 2010 [12] Yasri, I.; Hamid, N.H.; Yap, V.V.;, "Performance analysis of FPGA based Sobel edge detection operator," Electronic Design, ICED International Conference on, vol., no., pp.1-4, 1-3 Dec [13] Xu Guo-sheng;, "System of Measuring the Sub-Pixel Edge of Linear CCD Based on Auto Focusing," Photonics and Optoelectronic (SOPO), 2010 Symposium on, vol., no., pp.1-4, June 2010 [14] Xu Guo-Sheng;, "Study on a Fast Method for Sub-Pixel Edge Detection," Information and Computing (ICIC), 2010 Third International Conference on, vol.4, no., pp , 4-6 June 2010 [15] Conference on Design of Circuits and Integrated Systems 2012 (DCIS):

15 15 ii. Anexos Figura 7 - PCB para o acelerómetro MMA8451Q

16 16 Figura 8 - PCB para o acelerómetro ADXL312 Figura 9 - PCB para o acelerómetro ADIS16006CCCZ

17 Figura 10 - PCB para os dois sensores CMOS lineares Hamamatsu S