Caracterização semântica de sinais acústicos Aplicação à classificação automática de peças cerâmicas

Transcrição

1 Caracterização semântica de sinais acústicos Aplicação à classificação automática de peças cerâmicas Tese de Mestrado Miguel Falcão o Moreira de Sousa FEUP 1999/2002

2 Sumário Caracterização do problema Detecção automática de impactos Extracção de características Classificação Métodos Estatísticos Redes Neuronais Implementação Impacto do ruído Conclusões

3 Caracterização do problema Motivação: O processo de controlo de qualidade utilizado tradicionalmente na indústria cerâmica baseia-se na apreciação da resposta impulsional sonora das peças Objectivo: A automatização do controlo de qualidade de peças cerâmicas através da análise da resposta impulsional acústica e recorrendo a: métodos processamento digital de sinais áudio métodos de reconhecimento de padrões Abordagem Aquisição 2x A/D 44.1kHz Stream PCM PCM Segmentado Características Detecção Extracção de características Classificação BOM MAU Standard Amostra

4 Caracterização - A Cerâmica Os materiais cerâmicos são indispensáveis numa vasta gama de aplicações exemplos: materiais de construção, abrasivos, ferramentas de corte, refractários, isoladores, resistências eléctricas, supercondutores, memórias de computador e implantes ósseos artificiais. Em todas as suas aplicações, os materiais cerâmicos são valorizados pela sua capacidade para suportar o calor e ataque químico. Estas virtudes provêm das fortes ligações que mantêm os seus átomos constituintes na sua posição. Contudo, a natureza destas ligações também impõe aos materiais cerâmicos um inconveniente crítico: fragilidade. Um material frágil não se deforma sob tensão, tem propensão para fissurar e partir facilmente. Esta propriedade desfavorável torna um material cerâmico particularmente sensível a imperfeições minúsculas na sua microestrutura, as quais são o ponto de partida para fracturas.

5 Caracterização Tecnologia de aquisição de sinal 2 microfones de medida que efectuam a banda de frequência dos 15 Hz aos 20 khz diagrama polar de sensibilidade omnidireccional Conversores analógico-digital Stereo Precisão de 16 bit frequência de amostragem de 44.1 khz Este sistema, pretende apenas reproduzir os limites de audição de um ser humano, Espectro audível de 20 khz Gama dinâmica máxima de 120 db.

6 Detecção automática de impactos ObjectivoObjectivo Identificar automaticamente a ocorrência de impulsos mecânicos e resultante resposta impulsional das peças cerâmicas de modo a efectuar ectuar posterior processamento. Abordagem Detectar e armazenar em memória passagens fortemente não estacionárias (transitórios). Principio Principio de funcionamento Procurar acontecimentos relevantes do ponto de vista energético, os quais correspondem com grande probabilidade à resposta impulsional x[n] 127 E 1 Filtro y[n] E + 2 LD log E1 = [ yn ( )] 1 = (FIR 5) 1 10 LD E0 + 1 n= 0 E = E 0 1 S LD>0.8 N Detecção Não detecção

7 Extracção de Características A resposta impulsional no domínio dos tempos e das frequências 20k Representação Temporal 70 Representação Espectral Amplitude 10k 0-10k Peça Boa Amplitude (db) Peça Boa Amplitude -20k tempo (ms) 20k 10k 0-10k -20k Peça Ma tempo (ms) Amplitude (db) Frequência (Hz) Peça Ma Frequência (Hz)

8 Extracção de Características Análise tempo-frequência 4186 Amostras Resposta Impulsional Acústica NumSeg-2 Janela(n) m... X 1024 Amostras NumSeg-1 NumSeg 768 Amostras x( n + m 256)* Janela( n) OVERLAP 75 % Energia (Banda db) * * Banda * b ( m ) * FFT X m (k) Banda b (m) X m (k) Índice Espectral (k) * * * * * * * * * * * * Tempo (m)

9 Extracção de Características Persistência F1 Mede o decaimento energético ao longo do tempo para uma banda resultando uma medida para cada uma das bandas consideradas Estabilidade F2 Mede a regularidade do decaimento energético através s do cálculo c do desvio padrão o das diferenças entre valor de energia consecutivos de uma banda Dispersão F3 Mede a abertura espectral acumulada ao longo do tempo através do calculo do valor médio de energia num segmento e comparando-o o com os valores de energia em cada uma das bandas. Energia em db Evolução energética por banda Boa Má Banda 1 Banda 2 Banda 3 Banda Evolução energética do espectro por segmento Boa Má Instante m Instante m Banda b 80 Banda b

10 Extracção de Características NumSeg 1 Persistência F1 = MAX ( Banda ) Banda ( m) b = 1,2,.., Numbanda b b b m= 0 Energia (Banda db) Comparando a sonoridade emitida por uma peça cerâmica sem defeitos com a sonoridade produzida por uma peça cerâmica com defeitos, constata-se que o som da primeira se prolonga mais no tempo, ou seja, é mais persistente. * * * * A área a sombreado representa o decaimento de energia na banda * * * * * * * * * * * * Tempo (ordem segmento) Energia em db na Banda l Conformidade Instante m Não-conformidade 130 Banda 1 Banda Banda 3 Banda Instante m

11 Extracção de Características Estabilidade F2 Regularidade do decaimento energético Deriv ( m) = Band ( m) Band ( m + 1) Energia (Banda db) Derivada db * * * * Média * Diferença entre 2 valores consecutivos de energia * * * Tempo (ordem segmento) ( ( ) ) 1 Desvio = Deriv m Deriv F 2 = b b b NS 1 2 b b b NS 1 m= 1 1 NB NB m= 1 Desvio m * * * * Desvio Padrão Energia em db na Banda l Conformidade Instante m Não-conformidade 130 Banda 1 Banda Banda 3 Banda Instante m

12 Extracção de Características Dispersão F3 mede a abertura espectral acumulada ao longo do tempo 125 Conformidade 125 Não-conformidade M 1 MedBand( m) = Bandi ( m) M < NB, M m = 1 b = 1 i= 1 NS NB 1 F 3 = Bandb( m) - MedBand( m) NS ( ) 2 Energia em db Banda b Banda b

13 Extracção de Características Apresentaçã ção o de resultados F1, F2 e F3 F1-B1 Direita F1-B2 Direita F1-B3 Direita F1-B4 Direita F1-B1 Esquerda F1-B2 Esquerda F1-B3 Esquerda F1-B4 Esquerda F2 Direita F2 Esquerda F3 Direita F3 Esquerda Histogramas da Características

14 Extracção de Características Matriz dos coeficientes de correlação Más Boas Canal Esquerdo Canal Direito F1 B1 F1 B2 F1 B3 F1 B4 F3 F2 F1 B1 F1 B2 F1 B3 F1 B4 F3 F2 F1 B1 1,00 0,35 0,44 0,33-0,25 0,74 0,90 0,53 0,34 0,36-0,34 0,72 Canal Esquerdo F1 B2 0,05 1,00 0,61 0,61-0,37 0,52 0,32 0,65 0,50 0,50-0,38 0,37 F1 B3-0,12 0,02 1,00 0,63 0,00 0,58 0,50 0,62 0,60 0,64-0,08 0,54 F1 B4-0,25 0,15 0,28 1,00 0,63 0,00 0,58 0,50 0,62 0,60 0,64-0,08 F3 0,10-0,04-0,09-0,40 1,00-0,26-0,15-0,13 0,04 0,01 0,91-0,15 F2 0,20 0,18-0,08 0,27-0,25 1,00 0,76 0,71 0,35 0,32-0,38 0,92 F1 B1 0,75 0,04 0,02-0,25 0,16 0,04 1,00 0,76 0,71 0,35 0,32-0,38 Canal Direito F1 B2 0,05 0,42 0,13 0,04 0,17-0,03 0,07 1,00 0,38 0,42-0,26 0,71 F1 B3 0,08 0,33 0,26 0,18 0,02 0,00 0,19 0,17 1,00 0,44 0,06 0,34 F1 B4 0,09 0,29 0,05 0,46-0,27 0,33 0,07 0,28 0,14 1,00-0,04 0,30 F3 0,10 0,00-0,05-0,34 0,88-0,26 0,06 0,15 0,02-0,32 1,00-0,29 F2 0,14 0,16-0,10 0,12-0,08 0,65 0,11 0,12 0,05 0,31-0,11 1,00

15 Classificaçã ção O projecto de um classificador deverá atender a: Probabilidade na fonte de cada uma das classes Probabilidade de classificar um exemplo erradamente Custo associado a classificar um exemplo erradamente Risco de classificação ( ω ω ) ( ω ω ) ( ω ω ) ( ω ω ) R= C p p + C p p p 1 ( ω ω ) p ω 1 2 ( ω ω ) C ω 1 2 Classificaçã ção o paramétrica A abordagem paramétrica admite que as funçõ ções densidade probabilidade das classes, podem ser aproximadas por funçõ ções parametrizadas por um ou mais valores. A distribuiçã ção o normal é muitas vezes utilizada para definir a distribuiçã ção o de uma determinada classe.

16 Classificaçã ção Funçã ção o discriminatória ria de Fisher Transformação de uma observação multidimensional numa observação unidimensional através de uma projecção linear. A projecção linear que melhor separa duas distribuições obtém-se maximizando a distância D entre as médias das classes projectadas normalizada pelo desvio padrão combinado D = y 1 2 S y y Outra Projecção Método: Paramétrico Supervisionado Projecção de Fisher

17 Classificaçã ção o Não-paramN paramétrica Os classificadores não n o paramétricos não n o assumem a possibilidade de parametrizar as fdp. Os classificadores não-paramn paramétricos são s o mais abrangentes para a abordagem de problemas de reconhecimento de padrões. Visto não n o existir parametrizaçã ção o das fdp,, a estimaçã ção o das classes é realizada directamente sobre um conjunto de treino pré-classificado. Este requisito torna esta classe de classificadores impraticáveis na maioria das aplicaçõ ções (exige requisitos consideráveis de memória e capacidade de processamento). No entanto, a sua aplicaçã ção o produz geralmente bons resultados e são o muitas vezes utilizadas comparativamente como majorantes dos métodos paramétricos.

18 Classificaçã ção k-vizinhos mais próximos (knn) Um novo padrão x,, cuja classe é desconhecida, é comparado com todo o conjunto de exemplos pré-classificados. x 2 Classe ω 1 Classe ω 2 Considera-se se a classe dos exemplos mais próximos, na atribuição de uma classe a x. A comparação realiza-se geralmente calculando a distância euclidiana que separa este exemplo dos elementos do conjunto pré-classificado. k=1 k=3 x x 1

19 Classificaçã ção Método GáudioG O classificador Gaudio é uma implementação empírica de um classificador estatístico Apresenta as seguintes características: Supervisionado, Paramétrico, A correlação entre características não é considerada, Apresenta um comportamento não linear P Ponderação x x x x i i N n n i = i i n n σ 1 + σ 2 n= 1 σ 1 + σ 2 N i i x x 1 c = Pi MAX 0, MIN 1, i i i= 1 x2 x 1 c< 0,5 x ω1 c > 0,5 x ω2

20 Classificaçã ção Validação Caracterização da amostra de peças cerâmicas Consideram-se se 34 telhas cerâmicas resultantes de varias fornadas, 17 de cada classe, pré-classificadas Cada peça foi amostrada 10 vezes procurando-se por cada amostragem variar ligeiramente o local de impacto Todas as peças foram amostrada utilizando o protótipo de classificação icação em condições de ruído ambiente laboratorial Validação Cruzada Afere a eficiência do classificador (% de erro) Divide a amostra de exemplos em N subconjuntos N-1 1 subconjuntos de treino 1 subconjunto de teste Permuta N vezes Calcula erro médio das N permutações Permite validar um classificador quando a dimensão da amostra não permite a sua divisão num conjunto de treino e num conjunto de teste t

21 Classificaçã ção Validaçã ção o Cruzada A validaçã ção o cruzada permite validar um classificador quando a dimensão da amostra não permite a sua divisão num conjunto de treino e num conjunto de teste. Conjunto dos padrões pré-classificados disponível Subconjunto 1 Subconjunto 2 Subconjunto 3 Subconjunto N... Conjunto de Treino Conjunto de Teste Selecção de 1 subconjunto para teste do classificador Selecção dos restantes subconjuntos para treino do Classificador erro 1 erro 2 erro 3 erro med 1 N = erroi N i = 1... erro N

22 No modelo wrapper Classificaçã ção Selecçã ção o de Variáveis A selecçã ção de características é efectuada utilizando o próprio prio método de classificaçã ção Selecçã ção o por Forward Sequencial Search Divisão o do conjunto de características em candidatas e escolhidas A selecçã ção efectua-se: Testando variáveis veis escolhidas incluindo uma a uma as variáveis veis candidatas Incluindo a melhor variável vel candidata no conjunto das variáveis veis Esta técnica t garante que em cada passo a variável vel acrescentada ao conjunto das escolhidas, confere ao classificador a melhor selecçã ção de variáveis veis

23 filter Classificaçã ção Selecçã ção o de Variáveis wrapper Características de entrada Selecção do subconjunto de características Método de Classificação Características de entrada Procura de subconjuntos Método de Classificação Avaliação de subconjuntos Método de Classificação No modelo filter as características são s o filtradas independentemente do algoritmo de classificaçã ção. O classificador não n o intervém m no processo de selecçã ção de características. É necessário seleccionar um classificador que possa efectuar a avaliaçã ção o das variáveis veis candidatas No modelo wrapper a selecçã ção de características é efectuada utilizando o próprio prio método m de classificaçã ção. As características seleccionada foram testadas no próprio prio classificador. O modelo wrapper é certamente preferível pois selecciona as características no contexto do próprio prio classificador.

24 Classificaçã ção Forward Sequencial Search Inicializado vazio Inicializado com todas as variáveis disponíveis Conjunto das variáveis Escolhidas [e 1, e 2,,e N ] Conjunto das variáveis Candidatas [c 1, c 2,,c M ] M vezes Selecção uma variável c i das candidatas para i de 1 até M Validação utilizando o conjunto de variáveis [e1, e2,,e N, c i ] Selecção da variável candidata c j que melhor validou o classificador Acrescenta c j às escolhidas N=N+1 Retira c j das candidatas M=M-1 Termina quando N corresponder ao número de variáveis pretendido Esta técnica t garante que em cada passo a variável vel acrescentada ao conjunto das escolhidas, confere ao classificador a melhor selecçã ção de variáveis. veis.

25 Fisher Classificaçã ção Análise discriminatória ria da amostra Projecção de Fisher Peças Boas -20 Peças Más Fronteira exemplos

26 Métodos de Classificação Classificador de Fisher Classificador KNN Classificador Gaudio Classificaçã ção Avaliaçã ção Selecção de Variáveis por Forward Sequencial Search Canal Esquerdo Canal Direito F1 F1 Classificador banda 1 banda 2 banda 3 banda 4 F3 F2 banda 1 banda 2 banda 3 banda 4 F3 F2 Fisher 10ª 2ª 8ª 4ª 6ª 9ª 12ª 5ª 7ª 3ª 1ª 11ª Gaudio 10ª 2ª 7ª 12ª 6ª 3ª 4ª 5ª 9ª 8ª 1ª 11ª KNN (k=1) 9ª 8ª 11ª 7ª 1ª 4ª 6ª 2ª 12ª 10ª 3ª 5ª KNN (k=3) 7ª 4ª 10ª 8ª 1ª 5ª 2ª 11ª 12ª 9ª 3ª 6ª KNN (k=5) 4ª 7ª 11ª 12ª 1ª 5ª 10ª 2ª 8ª 9ª 3ª 6ª KNN (k=7) 6ª 7ª 9ª 10ª 1ª 4ª 11ª 2ª 12ª 8ª 3ª 5ª KNN (k=9) 7ª 8ª 10ª 11ª 1ª 5ª 3ª 2ª 12ª 9ª 4ª 6ª

27 Classificaçã ção Avaliação dos Classificadores Evolução do Erro de Classificação Erro Médio Percentual 5.5% 5.0% 4.5% 4.0% 3.5% 3.0% 2.5% 2.0% 1.5% 1.0% 0.5% KNN (k=1) KNN (k=5) KNN (k=9) Fisher Gaudio Número de Características

28 Classificaçã ção As redes neuronais Entradas Entradas Saídas Entradas Saídas V Redes de transferência de sinal Redes de transferência de estado Redes de aprendizagem competitiva

29 Classificaçã ção Self-Organizing Map,, SOM O SOM é uma rede composta por células organizadas numa grelha em que cada célula está associado um vector de pesos com dimensão igual à dimensão do vector de dados de entrada Treino Exposição dos exemplos de treino à rede adaptando as células vencedoras e as suas vizinhas à amostra Classificação Identificação da célula mais próxima do exemplo a classificar Regressão não-paramétrica que implica a adaptação não supervisionada de um conjunto ordenado de vectores de referência a um conjunto de dados de entrada

30 Classificaçã ção Self-Organizing Map,, SOM c x n { i } c= arg min x m i x m i.. mi n i-2 i-1 i

31 () α () 2 rc ri 2 2 ci t = t e σ () t Classificaçã ção Projecto do SOM Tamanho do mapa (número de células) Evolução do passo de adaptação Critério de paragem do treino Topologia da rede () α () r 2 h t = t e σ ci 2 c ri 2 () t c c c Hexagonal Quadrada Unidimensional

32 Classificaçã ção Treino de um SOM 1) Inicialização do vector de pesos m i 2) Apresentação de um exemplo x(t) à rede 3) Identificação da célula vencedora c e da sua vizinhança c= arg min{ x() t m } i i 4) Actualização do vector de pesos na vizinhança N c de c ( + 1 ) = () + () () (), () mi t mi t hci t x t mi t i Nc t 5) Processamento de m exemplos até x(m) verificar o critério de paragem

33 Classificaçã ção Um Exemplo de treino SOM processo adaptativo de um mapa SOM a um conjunto de exemplos formado por 2 distribuições normais bidimensionais. O mapa exemplificado, apresenta uma topologia hexagonal e encontra-se distribuído numa grelha rectangular de 6x9 células.

34 Classificaçã ção - Método Unified Matrix Atribuiçã ção o de uma tonalidade de cinza parametrizada pela distância média de uma célula c às s suas vizinhas 1 d = m m ne N ( ) c c i c i N para uma célula c muito próxima das suas vizinhas (pequeno) é atribuída uma tonalidade clara para uma célula c distante das suas vizinhas ( elevado) é aplicada uma tonalidade escura. Atribuiçã ção o da classe do exemplo mais próximo à célula c Peça boa Peça má

35 Classificaçã ção LVQ - Quantificação Vectorial Adaptativa LVQ X X LVQ2 + 1º 2º + + X + + +

36 Classificação usando LVQ Processo de treino do classificador LVQ 1. Inicialização dos pesos das células usando SOM Treino não supervisionado. Permite uma correcta inicialização dos protótipos no interior da distribuição da amostres 2. Calibragem das células recorrendo ao exemplo mais próximo. Indexa cada célula dependendo da sua localização relativa à distribuição dos exemplos de cada uma das classes. 3. Treino supervisionado utilizando o método LVQ1. Desloca os centróides para zona de influência de cada classe, distribuindo-os os de acordo com a função densidade de probabilidade de cada classe. 4. Afinação final dos pesos recorrendo a LVQ2. Permite definir, com maior precisão a fronteira das classes. Inicialização SOM Calibragem SOM Treino LVQ1 Afinação LVQ2

37 Classificaçã ção Resultados LVQ Evolução do erro para diferentes redes Erro Médio Percentual 12% 11% 10% 9% 8% 7% 6% 5% 4% 3% (2x2 células) (2x4 células) (3x4 células) (4x5 células) (5x7 células) 2% 1% 0% Número de Características

38 Classificaçã ção - Análise dos resultados LVQ Dimensão da rede De 6 a 20 células Número de características De 5 a 9 características seleccionadas por forward search Erro médio percentual 1ª 0.0% 2ª 0.0% Validação Cruzada - Ordem de permutação 3ª 0.0% 4ª 11,8% 5ª 0.0% 6ª 0.0% 7ª 8,8% 8ª 0.0% 9ª 0.0% 10ª 0.0% Média 2.1% Reduzida dimensão da amostra

39 Implementação Elementos do Sistema Estrutura metálica Impulso de Comando Plataforma de processamento digital de sinal Sinal Áudio Analógico Sistema de comando pneumático Simulação e visualização de resultados num computador Pessoal Comando Pneumático Ordem de Comando Porta Paralela Computador Pessoal Matlab Sistema DSP Porta Série Características

40 Implementação Sistema gerador de impulsos mecânicos 1) Microfones 2) Cilindro pneumático 3) Elemento de impacto 4) Peça cerâmica 5) Sensor de presença 6) Tapete transportado 7) Elementos de tracção ❻ ❽ ❶ ❸ ❷ ❹ ❺ ❼ ❼

41 Implementação Aplicação gráfica para a aquisição de impulsos Aquisição e armazenamento do sinal PCM resultante do ensaio Visualização do sinal temporal Visualização do espectro de segmentos do sinal Análise do decaimento da energia do sinal por bandas Análise da evolução do perfil espectral

42 Implementação Aplicação gráfica para a aquisição de amostras ❶ ❹ ❺ ❼ ❾ ❷ ❸ ❻ ❽ ❷ ❹ ❺ ❼ 9 ❻ ❶ impacto mecânico na peça cerâmica; ❻ intensidade máxima do impacto ❷ identifica a peça que se está a visualizar ❼ valores obtidos para cada características ❸ conj. treino para calibrar o classificador ❽ resultado da classificação ❹ gráfico de decaimento energético ( 50,-4,0,-4,0 50,2,2 ❺ gráfico da evolução do espectro ❾ informação estatística da amostra

43 Implementação Sistema de processamento sinal em tempo real Ficha JTAG Porta JTAG DSP SHARC Porta Série CODEC Entrada Stereo Saída Stereo Barramento Externo Algoritmo implementado em DSP Rotina de interrupção RS-232 UART EPROM Inicialização Portas Série e DMA Inicio da Interrupção CODEC Inicialização CODEC Recepção das Amostras o DSP de 32 bits de vírgula flutuante, 150 MFLOPS o CODEC sigma-delta stereo de 16 bits Inicialização Comunicações RS-232 Inicialização de Tabelas Inicialização das interrupções Detector de Não-estacionaridades Sim Fim da aquisição de Não-estacionaridade? Não Extracção de Características F1, F2 e F3 Transmissão de F1, F2, F3 Via RS-232 Ciclo Infinito Fim da Interrupção CODEC

44 Impacto do ruído na classificação 80 db SPL Telha Boa Má db SPL Telha Boa Má Energia (db) Banda 1 Banda 2 Banda 3 Espectro do Ruído Industrial Banda Intensidade acústica de pico do impacto Mínima Média Máxima Frequência (KHz) Telhas Boas db SPL db SPL db SPL Telhas Más 87.4 db SPL 95.7 db SPL db SPL

45 A extracção de características Conclusões Efectuada através da interpretação subjectiva da sonoridade Conjunto de características revelaram-se com capacidade discriminatória Não são todas necessárias ( 2 micros e 6 características por cada a micro) A classificação estatística Bons resultados para métodos paramétricos Gaudio Erro 1,2% 6 características Fisher Erro 1,8% 6 características Beneficiam de uma implementação computacionalmente pouco exigente Apresentam polarização do erro (0% erro na classificação das peças boas) As redes neuronais (SOM LVQ) Resultados satisfatórios embora inferiores (Rede de 3x4 células Erro 2,1% 9 caract.) Sugerem-se novos testes com amostra mais representativa Permitem a classificação em mais do que duas classes (ex( ex: : tipo de peça) Apresentam um processo de treino complexo embora processo de classificação simples Dimensão da rede de 8 a 16 células Erro não polarizado Influência do ruído ambiente Controlada desde que a níveis inferiores aos níveis das respostas s impulsionais acústicas

46 Conclusões Objectivos Concretizados Construção de um sistema para produção automática dos impactos mecânicos em peças cerâmicas Implementação em tempo-real num DSP genérico do algoritmo de detecção de sinal e extracção de características Desenvolvimento de aplicações em PC para a aquisição, análise e classificação da amostra de peças

47 Conclusões Trabalho Futuro Incorporar o protótipo numa linha de produção de cerâmica Avaliar na linha de produção: Influência do Ruído Influência do movimento da peça Variabilidade das características para diferentes fornadas Diferenciar os vários modelos de peças cerâmicas Com as características actuais (F1, F2 e F3) ou através da investigação e extracção de novas características Reavaliar os métodos abordados e novos métodos numa amostra mais representativa captada em condições reais de aquisição Aplicar a tecnologia desenvolvida em outras áreas identificar a estrutura da grafite no ferro fundido extracção de características e classificação de material áudio