À QUIMIOMETRIA: Como explorar grandes conjuntos de dados químicos. Prof. Dr. Marcelo M. Sena (DQ-UFMG)

Transcrição

1 INTRODUÇÃO À QUIMIOMETRIA: Como explorar granes conjuntos e aos químicos 1 Prof. Dr. Marcelo M. Sena (DQ-UFMG) marcsen@ufmg.br Prof. Dr. Ronei J. Poppi (IQ-UNICAMP) ronei@iqm.unicamp.br

2 AULA 2 2 Introução à Quimiometria: Como explorar granes conjuntos e aos (Aula 2) Prof. Ronei Jesus Poppi INSTITUTO DE QUÍMICA UNICAMP

3 Laboratório e Quimiometria em Química Analítica 3

4 Análise e Agrupamentos Objetivo: classificar amostras, caracterizaas pelos valores e um conjunto e variáveis, em grupos. 4 Meias e similariae entre as amostras. Quanto menor a istância entre as amostras (no espaço n-imensional) MAIOR A SIMILARIDADE. Métoos: Análise e agrupamentos hierárquicos (HCA) Denogramas

5 Distância As meias e similariae mais usaas são as istâncias Eucliiana e e Mahalanobis. 5 A istância Eucliiana entre ois objetos, 1 e 2, é efinia como: ( ) 2 x x + ( x ) 2 12 = x22

6 Similariae Distâncias entre amostras irão variar e acoro com o tipo e número e meias realizaas. 6 Similariaes são calculaas para normalizar os aos para uma escala parão: S = 1 i ' i ii ' max Para amostras similares: S ii 1 Para amostras issimilares: S ii 0

7 HCA (Hierarchical Cluster Analysis) 7 Na HCA são calculaas istâncias métricasm entre as amostras (objetos) que formam o conjunto e aos, seno essas agrupaas e acoro com o grau e similariae apresentao. HCA compreene moos aglomerativos e ivisivos e formação os agrupamentos (clusters). Nos proceimentos aglomerativos (mais comuns) inicia-se com caa objeto seno consierao um agrupamento separao e, com o cálculo as istâncias (meia e similariae), os objetos vão seno combinaos em grupos, até que toos formem um único agrupamento.

8 HCA Os resultaos fornecios pela HCA são os chamaos enogramas, que expressam graficamente a istância (similariae) entre as amostras. 8 Exemplo: Daos sobre manejo o solo (Guaíra/SP) 6 Denrogram Us ing Autos cale Data 5 fores t 4 conv2 3 conv1 2 alt2 1 alt Dis tance to K-Neares t Neighbor Distância

9 HCA Exemplo passo a passo: 9 Amostras e soro sanguíneo e 6 pacientes são avaliaas através as concentrações e cálcio e fósforo. Pacientes [Cálcio] mg/100 ml [Fósforo] mg/100 ml 1 8,00 5,50 2 8,25 5,75 3 8,70 6, ,00 3, ,25 4,00 6 9,75 3,50

10 HCA 10 Exemplo passo a passo: O 1º passo é o cálculo a matriz e istâncias para toos os pares e objetos. Como exemplo, vamos usar a istância Eucliiana, que é calculaa para os objetos (pacientes) 1 e 2 a seguir: ( ) 2 ( ) 2 8,00 8,25 + 5,50 5,75 0, = = Matriz e istâncias Objetos , ,063 0, ,201 3,260 3, ,704 2,658 2,774 1, ,658 2,704 2,990 0,559 0,707 0 (A istância entre um objeto e ele mesmo é zero)

11 HCA O 2º passo é a reução a matriz e istâncias pelo agrupamento e objetos. Objetos com menores istâncias são agregaos primeiro. 11 Primeira Matriz Reuzia: A menor istância na Matriz anterior é entre os objetos 1 e 2 ( 12 =0,354). Esses 2 objetos serão agrupaos em um novo objeto 1* 12 será ajustaa para zero. A matriz e istância é recalculaa pela méia as istâncias iniviuais

12 HCA Novas istâncias: , ,711 = *3 = = 0, , , *5 = = = 2, , , *4 = = = 3, , , *6 = = = 2,681 Primeira Matriz Reuzia

13 HCA Da mesma maneira se calculam as seguintes matrizes reuzias. 13 Para a seguna matriz reuzia, agrupam-se os objetos 4 e 6, que possuem a menor istância ( 46 =0,559), no novo objeto 4* Seguna Matriz Reuzia

14 HCA Para a terceira matriz reuzia, agrupam-se os objetos 5 e 4* no novo objeto 5*, e para a quarta matriz reuzia, agrupam-se os 1* e 3 (novo objeto 3*): 14 Terceira Matriz Reuzia * Quarta Matriz Reuzia Objetos 3* 5* 3* 0 5* 2,895 0

15 HCA Como resultao esta análise, temos o seguinte enograma: 15

16 HCA Vários critérios poem ser aotaos para a escolha o número e agrupamentos (clusters): 16 O número e agrupamentos esejao poe ser previamente conhecio. Um valor e istância pré-eterminao é usao como critério para separar o número e agrupamentos. Escolhe-se o número e agrupamentos a partir a observação o enograma, com base no conhecimento os aos.

17 HCA Critérios rios e Agrupamento: A istância e um objeto ao agrupamento k poe ser calculaa como a istância méia os objetos A e B ao objeto i, e várias formas: 17 Ligação por méia poneraa; Ligação simples (KNN); Ligação completa; Ligação centróie (k means); Métoo e War;

18 HCA: Critérios e Agrupamento Liga gação por méia m poneraa: 18 ki = Ai + 2 Bi

19 HCA: Critérios e Agrupamento Ligação Simples (KNN): 19 A menor istância entre os agrupamentos é calculaa. Este proceimento também é conhecio KNN (K th Nearest Neighbor, Késimo vizinho mais próximo). = + ( ) Ai Bi Ai Bi ki min Ai, 2 2 = Bi Ki

20 HCA: Critérios e Agrupamento Ligação Completa: 20 Baseao na maior istância entre os objetos e agrupamentos opostos. Em geral, agrupamentos pequenos, compactos, esféricos e bem separaos tenem a se formar. + ( ) Ai Bi Ai Bi ki = + = max Ai, 2 2 Bi Ki

21 HCA: Critérios e Agrupamento Ligação Centróie: 21 Centróie é calculao como a méia os objetos e um agrupamento. Evita-se a istorção espacial o agrupamento e tene-se a preservar agrupamentos e pequena importância em relação aos maiores. ki = n A n Ai + n B n Bi n A n B 2 n AB Ki

22 HCA: Critérios e Agrupamento Métoo e War: 22 O agrupamentos são agregaos e tal maneira a minimizar a soma e quaraos os esvios e caa centróie em relação ao próprio grupo. Isto prouz enogramas bem estruturaos. O cálculo para as istâncias é ao por: ki = n A n + + n n i i Ai + n B n + + n n i i Bi n n + i n i AB É talvez o proceimento mais usao

23 Exemplo real Ientificação a origem e grãos e café. 23 Café analisaos : Sulawesi Ethiopia Kenya Costa Rica Sumatra Columbia

24 Métoo e Análise Epectrometria e massas os grãos e café (por heaspace) na faixa e m/z amostras foram obtias e caa fonte. Os espectros e massa representam a soma os espectros e toos componentes presentes. Caa espectro foi normalizao pelo pico mais intenso.

25 25 Espectros e massa

26 26 Denograma

27 Quano usar enogramas? Métoo rápio para uma exploração inicial os aos. 27 Os gráficos poem ser rapiamente avaliaos Deve-se tentar usar aos sem nenhum préprocessamento ou escalaos. Deve-se tentar outros métoos e agrupamento (classificação) como Análise e Componentes Principais.

28 Métoos Supervisionaos Deve-se ter conhecimento inicial sobre as categoriais (ou classes) as amostras que irão ser moelaas. 28 Classes efinias baseaas em conhecimento prévio o sistema ou pela utilização e análise exploratória como PCA ou HCA. Principais métoos: m Máquina e Aprenizagem Linear Regra o Vizinho mais próximo SIMCA

29 Conjunto e Daos Para o esenvolvimento e avaliação e um moelo para classificação são necessários 3 conjuntos e aos: 29 Conjunto e Treinamento: amostras representativas para a construção o moelo. Conjunto e Valiação: novas amostras utilizaas para testar o moelo, cujas classes já são conhecias Conjunto Teste: amostras realmente esconhecias

30 Pré-processamento os Daos 1. Sem processamento: casos one não exista iferenças nas escalas e nem variáveis reunantes Escalamento: pesos e toas as variáveis ficam iguais. 3. PCA : reução o número e variáveis, assim como, e ruíos

31 Criano um conjunto e valiação Um conjunto e valiação muitas vezes é um subconjunto o conjunto e treinamento, que foi omitio na construção o moelo. 31 Daos evem ser removios aleatoriamente o conjunto e treinamento Daos evem ser removios aleatoriamente e toas as classes Conjunto e valiação eve ser representativo as amostras usaas no treinamento.

32 Valiação um por vez Do inglês: Leave-one-out cross-valiation 32 Valiação one caa amostra o conjunto e treinamento é utilizaa para valiação. Processo: 1. Retire uma amostra o conjunto e treinamento 2. Construa o moelo e classificação 3. Teste a amostra retiraa 4. Volte a amostra retiraa para o treinamento 5. Repita o processo a partir e (1) até que toas as amostras tenham sio retiraas e testaas.

33 Máquina e Aprenizagem Linear Do inglês: Linear Learning Machine 33 Métoo one um ou mais hiperplanos lineares são criaos para iscriminar entre as classes. Conjunto e regras (função iscriminante) são criaas para iviir o espaço n-imensional em regiões as classes, que são usaas posteriormente para prever a classes e novas amostras As classes evem ser separaas linearmente

34 Máquina e Aprenizagem Linear Um hiperplano poe iviir o espaço em 2 subespaços. 34 Poe utilizar o espaço original ou o espaço os componentes principais. Classe 1 Classe 2

35 Máquina e Aprenizagem Linear Poe ser existam muitos hiperplanos para a separação as classes. 35 Escolhe-se aquele que prouzir a melhor separação

36 Exemplo Consiere os aos abaixo p/ amostras e cabelo e 5 pacientes pertencentes a 2 classes. 36 Amostra e cabelo Teor e Ioo (ppm) Componente aicionao 1 0,29 1, , , , , Teor Ioo (ppm) Para achar uma função linear iscriminante, é necessário aicionar uma coluna com valores um.

37 Exemplo Esta coluna garante que se possa estimar uma função linear iscriminante passano pela origem (0,0) e seno perpenicular a um vetor e pesos w. 37

38 Exemplo A fronteira que separa as 2 classes é calculaa interativamente, ajustano os elementos o vetor w: 38 seno s um escalar iscriminante e θ o ângulo entre w e o vetor os aos x. Se θ < 90 º, s > 0,0 e os objetos representaos serão os a classe os círculos pretos Se θ > 90º, s < 0,0 e os objetos representaos serão os a classe os círculos vermelhos.

39 Máquina e Aprenizagem Linear Se o número e classes aumenta, eve-se ter mais hiperplanos para a separação. 39 Problema poe se tornar muito complexo.

40 Máquina e Aprenizagem Linear Em certos casos poe ser que não seja possível encontrar uma separação linear entre as classes. 40 Deve-se utilizar outros proceimentos para classificação.

41 K-vizinho mais próximo Do inglês: k-nearest neighbor (KNN) Métoo e classificação baseao na similariae 41 Designa categoria a uma amostra esconhecia baseao na proximiae multivariaa com outras amostras cujas categorias são conhecias. k número e vizinhos mais próximos seno comparaos

42 K-vizinho mais próximo Proceimento: 1. Conjunto e treinamento é selecionao que contenha exemplos e toas as classes Distâncias são calculaas. 3. As istâncias em relação à amostra esconhecia são comparaas com: 1. Os k vizinhos mais próximos 2. O agrupamento a classe mais próxima

43 K-vizinho mais próximo Quano a utilização a istância para uma classe, poe utilizar as mesmas opções e ligação iscutias anteriormente: 43 Ligação simples: membro mais próxima a classe Ligação completa: membro mais istante a classe Ligação centróie: centro o agrupamento s classe

44 Exemplo o KNN 44 Neste exemplo a amostra esconhecia é comparaa com os 3 vizinhos mais próximos. Neste caso, os 3 vizinhos mais próximos pertencem a categoria vermelha. Amostra esconhecia, classificaa como categoria vermelha

45 Exemplo KNN centróie 45 Distância o centro o agrupamento a classe é eterminao e comparao para a classificação e uma amostra esconhecia Amostra esconhecia

46 Problemas para classificação Em certos casos, os k-vizinhos mais próximos poem pertencer a classes iferentes. 46 Nesses casos, a classe escolhia é aquela que tem mais participações entre os k-vizinhos. Amostra esconhecia

47 SIMCA Soft Inepenent Moeling of Class Analogy 47 Para caa classe e amostras um moelo e PCA é construío separaamente. O moelo é baseao no número ótimo e componentes principais que melhor agrupam as classes. O número e componentes principais poe variar e classe para classe e poe ser eterminao por valiação cruzaa.

48 Análise e Componentes Principais Decomposição e uma matriz e aos com alta imensão. 48 Para caa classe um moelo é construío, que ecompõe a matriz e aos a classe em escores e pesos. Para um escalar a matriz X: x c ij = x c j + A c a = 1 t c ia p c ja + e c ij one x ijc é a observação a amostra i, variável j, classe c.

49 Análise e Componentes Principais ❶ ❷ = + T X = T P + E 49 ❶ ❷

50 Moelos SIMCA São construíos envelopes em torno e caa moelo. Var.2 50 X X X X X X X X X 2 S 0 Var.3 PC2 PC1 2 S 0 Var.1 2 S 0 PC1

51 Moelos SIMCA Poe-se limitar o tamanho o hipervolume pela escolha e um valor e esvio parão, para melhorar a efinição as classes. 51 3S 0 2S 0 Variância resiual para uma classe é aa por: S 2 0 = n p 2 ij i = 1 j = 1 ( n A 1)( p A) one n é o número e amostras, p é o número e variáveis e A o número e componentes principais utilizaos no moelo e

52 Classificação com SIMCA Uma vez que o moelo para caa classe tenha sio esenvolvio, poe-se realizar a classificação e amostras esconhecias. 52 Proceimento: 1. A amostra é projetaa no espaço os componentes principais 2. Se cair entro o envelope a classe é classificaa como pertencente a ela.

53 Classificação com SIMCA Existe a possibiliae a amostra ser classificaa como pertencente a mais e uma classe, 53 ou, não pertencer a nenhuma as classes conhecias. Amostra anômala (outlier)

54 Detecção e amostras anômalas Amostras anômalas : não se encaixam em nenhuma as classes conhecias. 54 Variância resiual para uma amostra i: S 2 i = e p 2 ij j = 1 p A q Se S i2 > 2S o2 amostra não tem a mesma variabiliae em torno o moelo e poe ser consieraa como anômala

55 Poer e Moelagem A variância resiual e caa variável j, s j2 (res), poe ser usaa para estimar o seu poer e moelagem, R j (a sua influência no moelo). 55 Quanto mais R j estiver próximo e 1, maior a importância a variável j no moelo.

56 Resumo o SIMCA 56 De toos os métoos vistos, o SIMCA é aquele que apresenta maior número e opções para o esenvolvimento o moelo e classificação quano as classes são bem conhecias. Ele requer maior tempo no esenvolvimento para a eterminação o moelo ótimo para caa classe. Excelente para etectar anomalias nas amostras.

57 Exemplo elementos foram analisaos em vinhos (Espanha): K, Na, Ca, Mg, Fe, Cu, Zn, Mn, Sr, Li, Rb 3 origens (45 amostras): El Hierro (7 vinhos seco) La Palma (11 secos, 9 oces) Lanzarote (10 secos, 8 oces)

58 Denograma 58 DH : secos e El Hierro DP : secos e La Palma SP : oces e La Palma DL: secos e Lanzarote SL: oces e Lanzarote vinhos oces - Las Palmas (SP): açúcar natural, sobre amaurecimento (Late Harvest) - Lanzarote (SL): açúcar aicionao

59 PCA SP DL + SL 59 DH DP DH : secos e El Hierro DP : secos e La Palma SP : oces e La Palma DL: secos e Lanzarote SL: oces e Lanzarote

60 SIMCA 60 Moelos: El Hierro : 3 Componentes Principais La Palma : 4 Componentes Principais Lanzarote : 4 Componentes Principais 1 amostra e La Palma fora os limites a classe Nenhum os moelos construíos tiveram amostras as outras classes. Classificação 100% correta.

61 Gráfico e Coomans Fora os limites a classe 61 Distância crítica para caa classe

62 62 Poer e Moelagem