À QUIMIOMETRIA: Como explorar grandes conjuntos de dados químicos. Prof. Dr. Marcelo M. Sena (DQ-UFMG)

Transcrição

1 1 INTRODUÇÃO À QUIMIOMETRIA: Como explorar grandes conjuntos de dados químicos Prof. Dr. Marcelo M. Sena (DQ-UFMG) Prof. Dr. Ronei J. Poppi (IQ-UNICAMP)

2 2 AULA 1 INTRODUÇÃO À QUIMIOMETRIA

3 3 INTERNATIONAL CHEMOMETRICS SOCIETY (ICS) 1974 LISTA DE DISCUSSÃO Quimiometria é a disciplina química que usa métodos matemáticos e estatísticos para: Planejar ou selecionar condições ótimas de medidas e experimentos, e Extrair o máximo de informação de dados químicos.

4 4 APLICAÇÃO DE MÉTODOS DE ESTATÍSTICA MULTIVARIADA EM QUÍMICA

5 Calibração Calibração Calibração Resolução de Curvas 5 Objetivos da Quimiometria Análise Exploratória Otimização

6 6 ESTATÍSTICA MULTIVARIADA EM OUTRAS ÁREAS 1. Psicometria ( Psicologia); 2. Biometria (Biologia); 3. Econometria (Economia) 4. Geologia 5. Arqueometria (Arqueologia)

7 7 Conhecimentos básicos necessários - Informática/Programação - Estatística Básica - Álgebra Linear - Análise Instrumental Principais Áreas de aplicação - Química Analítica: Espectroscopia Molecular (UV/Vis, IV próximo e médio, Raman, Fluorescência Molecular, Técnicas Hifenadas) - Físico-Química teórica: QSAR (Relação quantitativa estrutura-atividade)

8 8 Pioneiros (início dos anos 70) - Prof. Bruce Kowalski (Univ. Washington/Seatle/EUA) Prof. Svante Wold (Univ. Umea/Suécia)

9 9 O uso da Estatística Multivariada em outras áreas (Psicometria, Biometria, etc.) data da 1ª metade do séc. XX. Por que a Quimiometria surgiu de forma relativamente tardia? A partir dos anos 70, a presença de microprocessadores e microcomputadores se popularizou nos laboratórios químicos. Este fato impulsionou as técnicas instrumentais analíticas, permitindo ao Químico obter grandes quantidades de dados até então não disponíveis. Daí, surgiu a necessidade de técnicas de tratamento de dados mais complexas e, a partir de então, a estatística multivariada ganhou popularidade e deu origem à Quimiometria.

10 10 PRINCIPAIS QUIMIOMETRISTAS Steve Brown (Delaware), Karl Booksh (Arizona), Paul Gemperline (East Carolina), John Kalivas (Idaho), Ron Schaffer (US Naval Research), Phil Hopke (Clarkson), Barry Lavine (Ohio), Sarah Rutan (Virginia), Neil Gallaher e Barry Wise (Eigenvector Research). Peter Wentzel (Dalhousie). Roma Tauler (Barcelona), Xavier Rius, Joan Ferré e Ricard Boqué (Tarragona). Richard Brereton (Bristol). Age Smilde (Amsterdã), Lutgard Buydens (Nijmegen), Klass Faber. Paul Geladi (Umea), Rolf Sundberg (Estocolmo). D. Luc Massart ( ) e Yven vander Heyden (Bruxelas). Olaf Kvalheim e Rolf Manne (Bergen). Rasmus Bro e Claus Andersson (Copenhague) e Kim Esbensen (Aalborg). Kurt Varmuza (Vienna). Beata Walczak (Katowice). Alejandro Olivieri (Rosário).

11 11 NO BRASIL PIONEIRO: ROY E. BRUNS - Prof. Ronei Poppi (IQ/UNICAMP) - Profa. Márcia Ferreira (IQ/UNICAMP) - Profa. Maria Fernanda Pimentel (UFPE) - Prof. Mário Ugulino Araújo (UFPB) - Profa. Ieda Scarminio (UEL/Londrina) - Prof. Marcelo M. Sena (UFMG) - Prof. Jez W. B. Braga (UnB) - Prof. Marco F. Ferrão (UFRGS) - Prof. Waldomiro Borges Neto (UFU)

12 12 SOFTWARES 1) Matlab (Mathworks); 2) PLS_toolbox (Eigenvector); 3) Unscrambler (Camo); 4) Pirouette (Infometric); 5) SIMCA (Umetric); 6) Statistica (Statroft); 7) Octave (Software livre); 8) Scilab (Software livre).

13 13 REVISTAS CIENTÍFICAS ESPECÍFICAS CHEMOMETRICS AND INTELLIGENT LABORATORY SYSTEMS Elsevier 1987 JOURNAL OF CHEMOMETRICS Wiley 1987

14 14 REVISTAS CIENTÍFICAS de interesse 1) Analytical Chemistry (ACS Publications); 2) The Analyst (RSC Publishing); 3) Analytica Chimica Acta (Elsevier); 4) Analytical and Bioanalytical Chemistry (Springer); 5) Talanta (Elsevier); 6) Applied Spectroscopy (Society for Applied Spectroscopy); 7) Journal of Near Infrared (NIR Publications);

15 15 LIVROS DIDÁTICOS

16 16 INTRODUÇÃO À ANÁLISE EXPLORATÓRIA RIA DE DADOS

17 17 MÉTODOS DE RECONHECIMENTO DE PADRÕES (Pattern Recognition) ou DE CLASSIFICAÇÃO

18 18 OBJETIVO Avaliar, interpretar e extrair o máximo de informação de dados analíticos provenientes de espectros, cromatogramas, eletroferogramas, voltamogramas (ou sinais de outros métodos eletroquímicos), perfis de profundidade, e amostras para as quais as concentrações de diversos constituintes químicos ou outras propriedades tenham sido medidas.

19 19 ARRANJO DOS DADOS Os dados são arranjados em uma matriz X nxp, de n objetos, arranjados nas linhas e p variáveis, arranjadas nas colunas. X x x = M xn x x x M n2 Os objetos podem ser: amostras, moléculas, materiais, indivíduos, etc. As variáveis podem ser absorbâncias em diferentes comprimentos de onda, sinais analíticos em função do potencial elétrico ou do tempo de retenção, concentração de elementos ou outras propriedades físicas. L L M L x x x 1p 2 p M np

20 20 MÉTODOS DE CLASSIFICAÇÃO MÉTODOS NÃO SUPERVISIONADOS: Não existe supervisão, já que não se conhece a priori a que classes pertencem os objetos (ou pelo menos essa informação não é usada na construção do modelo). É a situação mais comum em Quimiometria. Ex s : PCA, Análise de Fatores, Análise Hierárquica de Agrumpamentos (HCA). MÉTODOS SUPERVISIONADOS: A informação sobre a que classes pertencem os objetos está disponível e é usada na construção do modelo. Ex s : Método do K-ésimo vizinho mais próximo (KNN), SIMCA, Análise Discriminante Linear (LDA).

21 21 MÉTODOS DE CLASSIFICAÇÃO Os métodos de classificação podem ser baseados: 1) No agrupamento dos dados baseados na distância direta entre os objetos (clustering methods). Ex s : HCA e KNN. 2) Na projeção dos dados em espaços de menor dimensão. Ex s : PCA, Análise de Fatores e SIMCA.

22 22 HARD X SOFT MODELLING Natureza da Modelagem dos Dados: -Hard Modelling: A modelagem envolve fenômenos que podem ser descritos por leis físico-químicas conhecidas e claramente definidas. Ex: Tratamento de espectros, que obedecem a Lei de Beer. -Soft Modelling: Modelagem de fenômenos, cujas as leis que os regem não são claramente descritas e conhecidas. Ex: Análise de amostras de água de um rio, buscando-se conhecer os padrões geogênicos e antropogêncios relacionados à sua composição.

23 23 Análise de Componentes Principais (PCA) do inglês Principal Component(s) Analysis

24 24 Correlação É comum a presença de correlação em qualquer tipo de dados! Exemplo: altura média vs. idade de um grupo de crianças pequenas Observa-se uma forte relação linear entre altura e idade. Altura (cm) Para crianças pequenas, altura e idade estão Idade (meses) correlacionadas. Moore, D.S. and McCabe G.P., Introduction to the Practice of Statistics (1989).

25 25 Correlação em espectroscopia Exemplo: um composto puro é medido em dois comprimentos de onda para várias concentrações Conc. (MMol) 5 Intensidade a 230nm 0,166 Intensidade a 265nm 0,090 Absorbância λ 230 λ ,332 0,498 0,664 0,831 0,181 0,270 0,362 0, Comprimento de onda (nm)

26 26 Correlação em espectroscopia As intensidades a λ 230 e a λ 265 são altamente correlacionadas. Os dados não têm duas dimensões, mas apenas uma. Existe apenas um fator gerando os dados: concentração ão. Absorbância a 265 nm (unidades) Aumento da concentração Absorbância a 230 nm (unidades)

27 27 Correlação em processos químicos Em modernas plantas químicas, muitos variáveis do processo são medidas on-line. Tcw,in Tcw,out Tvc,gas Qcond Fcond Sagitator Xagitator Tr,top Tr,middle Tr,bottom Tjacket,in Tjacket,out Lr Fcw Pr

28 28 Correlação em processos químicos Tipicamente, 10 a 200 variáveis do processo são medidas a todo minuto, p.ex.: temperaturas, pressões, fluxos, etc. Essas variáveis do processo costumam ser altamente correlacionadas. Na maioria dos casos, existem apenas 2 ou 3 fatores importantes influenciando no processo - não 200! Variáveis do processo (várias) Tempo

29 29 A matriz de dados Dados podem ser representados na forma de uma matriz: Por exemplo, objetos variáveis 0,12 0,45 0,65 K 0,29 0,14 0,34 0,93 K 0,81 0,13 0,24 0,85 K 0,33 M M M O M 0,15 0,22 0,78 L 0,65 Espectroscopia: amostra comprimento de onda Processo contínuo: tempo T, P, taxa de fluxo etc. Análises ambientais: amostras (em função do espaço ou do tempo) variáveis

30 30 Matriz de Dados Dados químicos multivariados (espectros) podem ser arranjados na forma de uma tabela de dados. Amostras Matriz de Dados X Variáveis

31 31 Grandes quantidades de dados Na análise química e de processos, as matrizes de dados obtidas podem ser muito grandes. Um espectro de infravermelho medido para 50 amostras pode produzir uma matriz de dados de dimensões = números! 100 variáveis de processo medidas a cada minuto durante um dia produzem uma matriz de dimensões = números!! É necessária uma maneira de extrair a informação importante de matrizes de dados tão grandes.

32 32 Principal Component Analysis Redução dos dados A PCA transforma grandes matrizes de dados em matrizes menores, as quais podem ser mais facilmente examinadas, plotadas e interpretadas. Exploração dos dados A PCA extrai os fatores mais importantes (componentes principais - CPs) dos dados, preservando a maior parte da variância. Esses fatores descrevem as interações multivariadas entre as variáveis medidas e revelam tendências subjacentes aos dados. Interpretação dos dados As CPs podem ser usadas para classificar amostras, identificar compostos através da obtenção de seus espectros puros, determinar quais as variáveis fundamentais para um processo, etc.

33 33 Diferentes visões da PCA Estatisticamente, a PCA é uma técnica de análise multivariada relacionada com Análise de autovetores/autovalores Decomposição em valores singulares (SVD) Em termos matriciais, a PCA é um método para decompor X em duas matrizes menores (T e P) mais uma matriz de resíduos (E): X = TP T + E Geometricamente, a PCA é uma técnica de projeção, na qual, a matriz X é projetada num sub-espaço de dimensões reduzidas.

34 34 PCA: matemática A equação básica para a PCA é escrita como X = = T T T t1 p1 + t2p trpr TP T + E + E onde X (I J) é uma matriz de dados, T (I R) são os escores, P (J R) são os pesos ( loadings ) e E (I J) são os resíduos. R é o número de CPs usados para descrever X.

35 35 Componentes Principais (CPs) Uma CP é definida por um par de vetores pesos e vetores escores: t r,p r As CPs descrevem o máximo de variância (= informação) e são calculadas em ordem decrescente de importância CP. % de X explicada % total de X explicada ,6 45,6 23,9 69,5 18,1 87,6 1,3 88,9 e assim por diante... até 100%

36 36 PCA: matrizes pesos X = escores componente principal = P T + E T

37 37 Escores & pesos Escores T = US (SVD) relações entre objetos ortogonais, T T T = matriz diagonal Pesos P = V (SVD) relações entre variáveis ortonormais, P T P = matriz identidade, I Similaridades e diferenças entre objetos (ou variáveis) podem ser vistas através de gráficos em que os escores (ou pesos) são plotados uns contra os outros.

38 38 PCA: projeção simples Caso mais simples : duas variáveis correlacionadas CP gráfico de escores Altura (cm) CP2 PCA Escores CP 2 (0,23%) Idade (meses) Escores CP 1 (99,77%) A CP1 descreve 99,77% da variação total em X. A CP2 descreve a variação residual aleatória (0,23%).

39 39 PCA: projeções A PCA é uma técnica de projeção. Cada linha de cada matriz de dados X (I J) pode ser considerada como um ponto no espaço J- dimensional. Esses dados são projetados ortogonalmente em um sub-espaço de menor dimensionalidade. No exemplo anterior, dados de duas dimensões foram projetados em um espaço de uma dimensão, ou seja, em uma linha. Agora, nós iremos projetar dados de J dimensões em um espaço de duas dimensões, ou seja, um plano.

40 40 ❶ ❷ = + X = T P T + E ❶ ❷

41 41 CP: reta na direção de maior variação das amostras x 2 x 2 1 CP θ 2 + t θ1 x 1 4 t 2 x 1 - p 1 =cosθ 1 p 2 =cosθ A B (A) pesos são os ângulos do vetor direção (B) escores são as projeções nas amostras na direção de CP

42 42 Exemplo 1: Dados Proteínas Estudo do consumo de proteínas em países da Europa. 9 variáveis descrevem diferentes fontes de proteína. Os 25 objetos são os diferentes países. A matriz de dados tem as dimensões Quais países são semelhantes? Quais alimentos estão correlacionados com o consumo de carne vermelha? Weber, A., Agrarpolitik im Spannungsfeld der internationalen Ernaehrungspolitik, Institut fuer Agrarpolitik und Marktlehre, Kiel (1973).

43 43

44 44 PCA nos dados de proteínas Os dados são centrados na média e cada variável é autoescalada para variância um. A PCA é então aplicada. Variância Percentual Capturada pelo Modelo PCA Número de Autovalor % Variância % Variância Componentes de Capturada Capturada Principais Cov(X) por este CP Total ,01e ,52 44,52 2 1,63e ,17 62,68 3 1,13e ,53 75,22 4 9,55e ,61 85,82 5 4,64e-001 5,15 90,98 6 3,25e-001 3,61 94,59 7 2,72e-001 3,02 97,61 8 1,16e-001 1,29 98,90 9 9,91e-002 1,10 100,00 Quantos componentes principais você quer escolher? 4 Autovalores Autovalores vs. Número de CPs Número de CPs

45 45 Escores: CP1 vs CP2 2 Albania 1 Ireland Austria Netherlands Finland Switzerland Czechoslovakia Hungary Bulgaria Romania Yugoslavia Escores CP 2 (18,17%) West Germany Sweden UK Belgium Denmark East Germany France Norway Poland USSR Italy Greece Spain -3 PC 2-4 Portugal Escores CP 1 (44,52%)

46 46 Pesos CP1 CP Pesos CP Red meat White meat Eggs Milk Fish Cereals Starch Beans/nuts/oil Fruit & veg

47 Gráficos Biplots PERMITEM VISUALIZAR OS ESCORES E OS PESOS SIMULTANEAMENTE

48 48 Biplot: CP1 vs CP CP Eggs Milk Albania White meat Cereals Bulgaria Austria Romania Yugoslavia Netherlands Ireland Switzerland Hungary Finland Czechoslovakia Red meat West Germany Sweden UK USSR Belgium Denmark East Germany Italy Poland France Norway Beans/nuts/oil Greece Starch Spain Fruit & veg Fish Portugal Europeus do SE comem muito cereais CP2 indica que os espanhóis e os portugueses gostam especialmente de frutas, vegetais e peixes CP 1

49 49 Biplot: CP1 vs CP3 4 White meat 3 Os holandeses gostam de batata...com maionese!? 2 1 CP 3 0 Eggs Fruit & veg Hungary Poland Starch East Austria Germany Czechoslovakia West Germany Netherlands Spain Belgium Italy Ireland France Portugal Switzerland USSR Cereals Bulgaria Yugoslavia Romania Beans/nuts/oil Carne vermelha e leite estão correlacionados -1-2 Milk Denmark UK Sweden Red meat Fish Norway Finland Greece Albania CP 1 Escandinavos comem muito peixe!

50 50 Resíduos Também é importante examinar os resíduos do modelo, E. Idealmente, os resíduos não deverão conter nenhuma estrutura - apenas variação aleatória (ruído). 1.5 Variação Residual Número da variável

51 51 Resíduos Os resíduos (quadrados) do modelo podem ser somados ao longo da direção dos objetos ou das variáveis: J 2 Q i = e ij j = 1 Q (soma dos resíduos quadrados) Número do objeto País 23 (URSS) se ajusta ao modelo de maneira pior

52 52 Exemplo 2: Efeito do Manejo no Solo Agricultura Alternativa (Orgânica) x Convencional O estudo foi conduzido em 3 fazendas, em Guaíra/SP Em cada fazenda foram comparadas 2 faixas Alternativas, 2 Convencionais e a Mata nativa (5 faixas) 8 variáveis: ph, Ac, Ce, So, Dh, Ps, MB e Sba (Ye) O manejo iniciou em 1995 e os dados foram coletados em 1996 e 1997 A matriz de dados tem as dimensões 5 8.

53 53 Objetivo: Através de uma análise integrada usando a PCA, responder a 2 questões É possível distinguir o sistema de manejo alternativo do manejo convencional e da mata nativa, através da análise de 8 variáveis relevantes? Quais dessas variáveis são as mais importantes para a discriminação?

54 Fazenda Macaúba

55 Fazenda Macaúba Mata x cultivadas: MB x Ce Alt x Conv: MB e Ps x Ce e So

56 56 M. M. Sena, R. T. S. Frighetto, P. J. Valarini, H. Tokeshi, R. J. Poppi Discrimination of management effects on soil parameters by using principal component analysis: a multivariate analysis case study SOIL & TILLAGE RESEARCH 67, (2002)

57 57 Pré-processamento dos dados Na maioria das vezes, nós estamos interessados nas diferenças entre os objetos, não nos seus valores absolutos. Dados de proteínas : diferenças entre países Dados de solos : diferenças entre o tipo de faixa do solo Se diferentes variáveis são medidas em diferentes unidades, algum tipo de escalamento (normalização) é necessário para dar a cada variável a mesma chance de contribuir para o modelo. Dados de solos: ph & Biomassa Microbiana possuem escalas muito diferentes

58 58 Centrando os dados na média Subtrair a média de cada coluna de X: x = 6,6 6,5 6,3 6,7 37,2 35,5 36,2 38, ,525 36, Centrar na média 0,075 0,025 0,225 0,175 x = 0,450 1,250 0,550 1, , ,3 129,.3 0,0 0,0 0,0

59 59 Autoescalando os dados Dividir cada coluna de X por seu desvio padrão: 0,075 0, ,2 0,025 1, ,225 0, ,3 0,175 1, ,3 σ = 0,171 1, ,8 Escalamento 0,439 0,.146 1,318 1,025 σ = 1,0 0,395 1,098 0,483 1,.186 1,0 0,845 1,.443 0,415 0,183 1,0

60 60 Quantos CP s usar? X = TP T + E Poucos CP s: variação sistemática resíduo (ruído) alguma variação sistemática deixa de ser descrita. O modelo não consegue descrever os dados completamente. Muitos CP s: Os últimos CP s descrevem apenas ruído. O modelo não é robusto quando aplicado a novos dados. Como selecionar o número correto de CP s?

61 61 Quantos CP s usar? Gráfico de Autovalores E igenvalue vs. PC Number 3.5 E igenvalue Saliência aqui selecionar 4 CP s Selecionar os componentes quando % variância explicada > nível do ruído Interpretar os escores e os pesos das CP s: Eles fazem sentido?! Os resíduos têm estrutura? Validação cruzada PC Number

62 62 Amostras anômalas ( Outliers ) Outliers são objetos que são muito diferentes do resto dos dados. Eles podem ter um grande efeito no modelo (na CP) e devem ser removidos T ( o C) Remover outlier T ( o C) ph ph Experimento anômalo

63 63 Amostras anômalas ( Outliers ) Outliers também podem ser encontrados no espaço do modelo ou nos resíduos. Escores CP Escores CP 1 Soma-dos-quadrados dos resíduos Tempo (min)

64 64 Amostras anômalas ( Outliers ) Podem ser avaliadas através dos resíduos, Q i, e do seu peso no modelo (estimado pelo valor de T 2 de Hotelling, T i2 ). T i2 é a soma dos escores ao quadrado e é uma medida da variação (da influência) de cada amostra dentro do modelo PCA. T 2 i = t i λ -1 t T i onde t i é o vetor escore da i-ésima amostra e λ -1 é o autovalor correspondente à CP. Intervalos de confiança podem ser estimados para os valores de Q i e T i2. Espera-se que as distribuições de Q i e T i2 sigam a normalidade (lembre-se do TLC). Amostras com altos resíduos (mal modeladas) e altos valores de T 2 (alta influência no modelo) devem ser consideradas outliers.

65 65

66 66 A extrapolação do modelo não é recomendável Altura (cm) mas não é válido p/ a faixa de 30 anos! O modelo linear foi válido para essa faixa de idade Idade (anos)

67 67 Conclusões A análise de componentes principais (PCA) reduz grandes matrizes colineares a umas poucas matrizes de escores e de pesos: X = = T T T t1 p1 + t2p trpr TP T + E + E Componentes Principais (CP s) descrevem a variação mais importante nos dados. são calculados em ordem de importância. são ortogonais.

68 68 Conclusões Gráficos de escores e biplots podem ser muito úteis para a exploração e o entendimento dos dados. Freqüentemente, é necessário centrar na média e escalar as variáveis antes da análise. A escolha do número correto de CP s é um passo importante na construção de um modelo PCA.

69 69 Agradecimentos Prof. Age K. Smilde UNIVERSITY OF AMSTERDAM Parte desta aula é uma adaptação do material preparado pelo Prof. Smilde