Programa do Curso. Sistemas Inteligentes Aplicados. Análise e Seleção de Variáveis. Análise e Seleção de Variáveis. Carlos Hall

Transcrição

1 Sstemas Intelgentes Aplcados Carlos Hall Programa do Curso Lmpeza/Integração de Dados Transformação de Dados Dscretzação de Varáves Contínuas Transformação de Varáves Dscretas em Contínuas Transformação de Varáves Contínuas Análse e Seleção de Varáves (Redução de Dados) Análse e Seleção de Varáves Análse e Seleção de Varáves Parte de uma área chamada de Redução de Dados Obtenção de uma representação reduzda em volume mas que produz resultados de análse dêntcos ou smlares Melhora o desempenho dos modelos de aprendzado Obetvo: Elmnar atrbutos redundantes ou rrelevantes Métodos Dependentes do Modelo (Wrapper) Métodos Independentes do Modelo (Flter) 1

2 Análse e Seleção de Varáves Métodos Independentes do Modelo Métodos Independentes do Modelo (Flter) Tpo do Atrbuto de Saída (Tpo de Aplcação) Saída Contínua (Ex.: Prevsão, Inferênca, etc) Saída Dscreta (Ex.: Classfcação) Tpo do Atrbuto de Entrada Entrada Contínua Entrada Dscreta Entrada Contínua / Saída Contínua Correlação Cruzada PCA modfcado Least Squares Estmator (LSE) Sngle Input Effectveness (SIE) Entrada Contínua / Saída Dscreta (A) Métodos Independentes do Modelo Correlação Cruzada EntradaDscreta/ SaídaContínua (B) Testes paraentradacontínua/ SaídaContínua, após se transformar o atrbuto de entrada dscreto em contínuo EntradaDscreta/ SaídaDscreta Teste do χ Método aplcável a entradas contínuas / saída contínua Mede relação lnear entre varável de entrada e varável de saída Caso haa relação fortemente não-lnear, não dará bons resultados Pode ndcar também o atraso (dead-tme, delay) entre as varáves

3 Correlação Cruzada Defnções: Matrz de dados de entrada: X [m x k] -ésma varável de entrada: x [m x 1] Varável de saída: y [m x 1] Função de correlação cruzada: c [m-1 x 1] Correlação Cruzada Defnções: Matrz de dados de entrada: X [m x k] -ésma varável de entrada: x [m x 1] Varável de saída: y [m x 1] Função de correlação cruzada: c [m-1 x 1] [] m ( x [ τ ] µ ) ( y[] µ y ) 1 c τ =, mσ σ = τ x y = mkm Correlação Cruzada Exemplo: Correlação Cruzada No Matlab (1): c = xcorr(x,y); stem(-99:99,c) xlm([-10 10]) 3

4 Correlação Cruzada Correlação Cruzada No Matlab (): crosscorr(x,y); xlm([-10 10]) Outro exemplo: Correlação Cruzada PCA modfcado Para todas as varáves: Método aplcável a entradas contínuas / saída contínua PCA tradconal é uma transformação de coordenadas, que pode ser usado para redução de dados Um modfcação no algortmo permte utlzá-lo como método de seleção de varáves 4

5 PCA modfcado PCA orgnal: Matrz de dados de entrada: X [n x k] Decompõe-se como: T T X = v1 p1 + v p + K+ v k p T k PCA modfcado PCA orgnal: X = v p T v p T + K+ v p + E, L k Vetores de loadng: p [k x 1], = 1...L Vetores de score: v [n x 1], = 1...L L T L Defne-se uma quantdade L k X = v p T v p T + K+ v p L T L + E, L k Matrz de loadngs: P [k x L] Matrz de scores: V [m x L] v = X p V = X P PCA modfcado PCA orgnal: A matrz X [m x k] é substtuída pela matrz V [m x L] Problema: perde-se o sentdo físco com as novas varáves v [n x 1], = 1...L Isto porque o PCA tradconal é um método de redução de dmensonaldade, e não de seleção de varáves PCA modfcado: mplca em um seleção sobre as varáves orgnas PCA modfcado PCA modfcado: Prmero componente prncpal: p 1 [k x 1] Cada elemento de p 1 ndca o peso da varável orgnal x na combnação lnear que defne a varável modfcada v 1. Maor elemento em p 1 : maor mportânca 5

6 PCA modfcado PCA modfcado: 1. Calcular PCA para matrz X [m x k]. Defnr o número L de varáves deseadas 3. Seleconar a varável orgnal x que corresponde ao maor elemento do vetor p 1 4. Remover a coluna x da matrz X [m x k], gerando a matrz Z [m x k-1] 5. Regredr a varável x na matrz Z, e calcular a matrz resdual E 6. Redefnr a matrz X = E 7. Retornar ao tem 3 até seleconar L varáves PCA modfcado PCA modfcado: 1. Calcular PCA para matrz X [m x k]. Defnr o número L de varáves deseadas 3. Seleconar a varável orgnal x que corresponde ao maor elemento do vetor p 1 4. Remover a coluna x da matrz X [m x k], gerando a matrz Z [m x k-1] T T W = Z x / ( x x ) 5. Regredr a varável x na matrz Z, e calcular a matrz T resdual E E = Z x W 6. Redefnr a matrz X = E 7. Retornar ao tem 3 até seleconar L varáves PCA modfcado Least Squares Estmator (LSE) PCA modfcado: Mantém as varáves orgnas Menor compactação que o PCA orgnal Possível colneardade entre as varáves orgnas Método aplcável a entradas contínuas / saída contínua Não supõe relação lnear entre entrada e saída Lnearza possíves relações não-lneares Busca expressar o comportamento da varação y da varável de saída y em função das varações x das dversas varáves de entrada x 6

7 Least Squares Estmator (LSE) Least Squares Estmator (LSE) Descrção resumda: Sea um sstema com n entradas x (=1..n) e uma saída y y: vetor que contém as varações da varável y x : vetor que contém as varações da varável x Sea a função F abaxo: F = y = b 1 x 1 + b x b n x n Os coefcentes b ndcam a mportânca, ou relevânca, da varável x em relação à saída y, no sentdo estatístco Os coefcentes b são calculados pelo método dos mínmos quadrados Algortmo: Sea uma função dferencável y quedescreveum sstema de n entradas e uma saída y = f ( x1, x, x3,..., xn Suponha que há dsponível um conunto de p pares de dados desta função (amostra) [ 3 ) T n [ x 1, x, x3,..., x n ] [0,1] T x1, x, x,..., xn, y ], = 1K p Least Squares Estmator (LSE) Least Squares Estmator (LSE) Algortmo: Seam o -ésmo e o k-ésmo valores de saída, respectvamente, y e y k Sea um ponto fxo arbtráro: Expansão em Sére de Taylor: f y = f ( X [ 1 3 X, X, X,..., ] X n n X X X n x X x X + x 1,, 3,... ) + = ( ) = 1 T r Algortmo: Expansões em Sére de Taylor: f y = f ( X y k n X X X n x X x X + x 1,, 3,... ) + = ( ) = 1 f = f ( X n k X X X n x X x X + x 1,, 3,... ) + = ( ) = 1 r r k 7

8 Least Squares Estmator (LSE) Least Squares Estmator (LSE) Algortmo: r, r k : resíduos de alta ordem, podem ser gnorados sem rsco de perder muta nformação se k ( x X ) 1 ( x X ) 1 Ou sea, os dados têm que estar normalzados pela faxa de varação! Algortmo: Subtrando as expressões: onde y y k = n k [ b ( x x )] = 1 f b = x = X x Least Squares Estmator (LSE) Least Squares Estmator (LSE) Algortmo: Subtrando as expressões: y y k = n k [ b ( x x )] = 1 Na prátca: Consderando dos índces, e k, pode-se defnr um vetor varação como: k k k k k T x x, x x, x x,..., x x, y y ] [ n n onde f b = x = X x Mas quem é a função f??? Base de dados contém p pares de dados Exste portanto uma quantdade de vetores p varação dada por = C m Essa quantdade pode ser muto grande! 8

9 Least Squares Estmator (LSE) Na prátca: Somente q (<<m) vetores varação são seleconados aleatoramente Pode-se então reescrever a expressão anteror de forma matrcal: y = x b + x b x b 1 1 n n onde y [q x 1] x [q x 1], = 1...n b [1 x 1], = 1...n Least Squares Estmator (LSE) Na prátca: Somente q (<<m) vetores varação são seleconados aleatoramente Pode-se então reescrever a expressão anteror de forma matrcal: y = X b onde y [q x 1] X [q x n] b [n x 1] Least Squares Estmator (LSE) Least Squares Estmator (LSE) Na prátca: Solução do sstema: b = X 1 y Seleção de varáves: y = x1 b1 + x b x n b n Problema: se q > n, não exste solução exata ou únca para b (sstema sobredetermnado) Solução: estmador por Mínmos Quadrados, utlzando a pseudo-nversa b * = ( X T X ) 1 X T y Cada coefcente b ndca o grau de mportânca da varável correspondente x Os valores b podem ser postvos ou negatvos Defne-se então: n mpo( x ) = b b mpo( ) = 1 = 1 n = 1 x 9

10 Sngle Input Effectveness (SIE) Método aplcável a entradas contínuas / saída contínua Tradução: Efetvdade de uma Entrada Isolada Calcula o grau de efetvdade de cada entrada em relação à saída Estes graus defnem um rankng das entradas Sngle Input Effectveness (SIE) Contudo, o método pressupõe uma relação lnear entre as entradas e a saída, e então aplca métodos da álgebra lnear Assm, ncalmente é necessáro estmar uma matrz de transferênca G, de modo que y = G x Caso haa uma relação não-lnear (como na maora dos casos), o método não é aplcável, e/ou seus resultados não são confáves Método aplcável para entradas contínuas / saída dscreta, ou para entradas dscretas / saída contínua É um Teste de Hpótese, orundo da área de Inferênca Estatístca Por smplcdade, apresentaremos o caso de varáves dscretas bnáras No caso de varáves dscretas com mas categoras, deve-se utlzar o método ANOVA (Analyss of Varance) Pressupõe que a varável dscreta (entrada ou saída) dvde os valores dsponíves da varável contínua (saída ou entrada) em dos grupos Cada grupo contém os valores contínuos que estão assocados a um dos valores dscretos 10

11 Exemplo: Base de Dados Meteorológcos Exemplo: Base de Dados Meteorológcos Tempo Temperatura Umdade Vento Jogar? (CLASSE) Sol Não Não Sol Sm Não Nublado Não Sm Chuva Não Sm Chuva Não Sm Chuva Sm Não Nublado Sm Sm Sol 7 95 Não Não Sol Não Sm Chuva Não Sm Sol Sm Sm Nublado 7 90 Sm Sm Nublado Não Sm Chuva Sm Não Tempo Temperatura Umdade Vento Jogar? (CLASSE) Sol Não Não Sol Sm Não Nublado Não Sm Chuva Não Sm Chuva Não Sm Chuva Sm Não Nublado Sm Sm Sol 7 95 Não Não Sol Não Sm Chuva Não Sm Sol Sm Sm Nublado 7 90 Sm Sm Nublado Não Sm Chuva Sm Não No exemplo: Base de Dados Meteorológcos Varável de entrada Temperatura: Saída Não: 85, 80, 65, 7, 71 (méda 74,6) Saída Sm: 83, 70, 68, 64, 69, 75, 75, 7, 81 (méda 73,0) Varável de entrada Umdade: Saída Não: 85, 90, 70, 95, 91 (méda 86,) Saída Sm: 86, 96, 80, 65, 70, 80, 70, 90, 75 (méda 79,1) As dferenças entre as médas são sgnfcatvas?? A dferença entre as médas é sgnfcatva? m 1 m m 11

12 Premssas: Separa-se os valores da varável contínua que são correspondentes às duas categoras da varável dscreta, formando assm duas varáves contínuas dstntas, x 1 e x Exstem n 1 amostras da varável x 1, e n amostras da varável x Essas varáves têm médas µ 1 e µ e varâncas σ 1 e σ, respectvamente As varáves têm dstrbução normal As varâncas são guas (σ 1 = σ ) Caso não seam, deve-se aplcar o teste de Welch Hpóteses: H 0 : µ 1 = µ (µ 1 - µ = 0) H 1 : µ 1 µ (µ 1 - µ 0) Hpótese Nula Hpótese Alternatva Obetvo do Teste de Hpótese: reetar a hpótese nula! µ Estatístca de Teste (Welch): 1 µ t = σ1 σ + n n 1 Hpóteses: H 0 : µ 1 = µ (µ 1 - µ = 0) H 1 : µ 1 µ (µ 1 - µ 0) Hpótese Nula Hpótese Alternatva Obetvo do Teste de Hpótese: reetar a hpótese nula! Estatístca de Teste (Student): µ 1 µ t = 1 1 σ + n n 1 Dstrbução de Student: Famíla de dstrbuções, defndas pelo número de graus de lberdade, N Matlab: p = tpdf(x,n) x = -10:0.01:10; p = tpdf(x,1); plot(x,p) 1

13 Dstrbução de Student: Dstrbução de Student x Normal: Dstrbução de Student x Normal: Dstrbução de Student x Normal: 13

14 Valor p: Número de graus de lberdade: N = n 1 + n p = tpdf(t, N); Valor p Interpretação do Valor p: O valor p ndca a probabldade de que a dferença observada entre as médas tenha ocorrdo por acaso Quanto menor o valor p, maor a probabldade de que as médas das varáves seam realmente dferentes Normalmente trabalha-se com um lmar em 5%, ou sea, valores p menores que 5% (0,05) ndcam sgnfcânca estatístca na dferença observada No exemplo: Base de Dados Meteorológcos Varável de entrada Temperatura: Saída Não: x 1 = {85, 80, 65, 7, 71} n 1 = 5 µ 1 = 74,6 σ 1 = 6,3 Saída Sm: x = {83, 70, 68, 64, 69, 75, 75, 7, 81} n = 9 µ = 73,0 σ = 38,0 No exemplo: Base de Dados Meteorológcos Varável de entrada Temperatura: Saída Não: x 1 = {85, 80, 65, 7, 71} n 1 = 5 µ 1 = 74,6 74,6 73,0 σ 1 = 6,3 t = = 0,3917 6, Saída Sm: x = {83, 70, 68, 64, 69, 75, 75, 7, 81} n = 9 µ = 73,0 σ = 38,0 5 9 N = = 1 p = tpdf(0,3917, 1) = 0,3598 = 35,98% 14

15 Varável de entrada Temperatura: No exemplo: Base de Dados Meteorológcos Varável de entrada Umdade: Saída Não: x 1 = {85, 90, 70, 95, 91} n 1 = 5 µ 1 = 86, σ 1 = 94,7 Saída Sm: x = {86, 96, 80, 65, 70, 80, 70, 90, 75} n = 9 µ = 79,1 σ = 104,4 No exemplo: Base de Dados Meteorológcos Varável de entrada Umdade: Saída Não: x 1 = {85, 90, 70, 95, 91} n 1 = 5 µ 1 = 86, 86, 79,1 σ 1 = 94,7 t = = 1,848 94,7 104,4 + Saída Sm: x = {86, 96, 80, 65, 70, 80, 70, 90, 75} n = 9 µ = 79,1 σ = 104,4 5 9 N = = 1 p = tpdf(1,848, 1) = 0,1691 = 16,91% No exemplo: Base de Dados Meteorológcos: Temperatura Umdade 15

16 Teste do χ No exemplo: Base de Dados Meteorológcos: Temperatura: p = 0,3598 = 35,98% Umdade: p = 0,1691 = 16,91% Em relação ao lmar de 5%, nenhuma das varáves de entrada é sgnfcatva (ou relevante) Contudo, pode-se dzer que a varável umdade provavelmente é mas sgnfcatva que a varável temperatura Método aplcável a entradas dscretas / saída dscreta Também é um Teste de Hpótese Baseado na construção de Tabelas de Contngênca (também chamadas de Matrzes de Confusão) Aplcável a qualquer número de categoras para cada varável dscreta Teste do χ Teste do χ Exemplo: Base de Dados Meteorológcos Tempo Temperatura Umdade Vento Jogar? (CLASSE) Sol Não Não Sol Sm Não Nublado Não Sm Chuva Não Sm Chuva Não Sm Chuva Sm Não Nublado Sm Sm Sol 7 95 Não Não Sol Não Sm Chuva Não Sm Sol Sm Sm Nublado 7 90 Sm Sm Nublado Não Sm Chuva Sm Não Exemplo: Base de Dados Meteorológcos Valores da Varável Vento para cada Classe da Varável Jogar: Não Jogar (5 casos): Não, Sm, Sm, Não, Não Vento Não: 3 casos Vento Sm: casos Jogar (9 casos): Não, Não, Não, Sm, Não, Não, Sm, Sm, Não Vento Não: 6 casos Vento Sm: 3 casos 16

17 Teste do χ Tabela de Contngênca para a varável Vento: Jogar? Não Sm Total Teste do χ Hpóteses: H 0 : As freqüêncas das lnhas e colunas são ndependentes H 1 : As freqüêncas das lnhas e colunas são dependentes Vento? Não Sm 3 5 Total Obetvo do Teste de Hpótese: reetar a hpótese nula! Calcula-se ncalmente qual sera a tabela de contngênca no caso da hpótese nula ser verdadera Teste do χ Tabela de Contngênca Observada para o caso geral com duas categoras: Saída Não Sm Total Teste do χ Tabela de Contngênca Esperada para o caso geral com duas categoras: Saída Não Sm Total Não O 11 O 1 TL 1 Não E 11 E 1 TL 1 Entrada Sm O 1 O TL Total TC 1 TC T Entrada Sm E 1 E TL Total TC 1 TC T 17

18 Teste do χ Tabela de Contngênca Esperada para o caso geral com duas categoras: Saída Não Sm Total Teste do χ Tabela de Contngênca Observada para a varável Vento: Jogar? Não Sm Total Não E E= TL 11 x TC / ET 1 TL 1 Entrada Sm E 1 E TL Total TC 1 TC N Vento? Não Sm 3 5 Total Teste do χ Tabela de Contngênca Observada para a varável Vento: Jogar? Vento? T = 14 Não Sm Total TL Não 3 1 = TL = 5 Sm TC 1 = Total 5 TC = Teste do χ Tabela de Contngênca Esperada para a varável Vento: Jogar? Vento? Não Sm Total E 11 = 9 x 5 / 14 = 3, Não E3 6 1 = 9 x 9 / 14 = 5,8 9 E 1 = 5 x 5 / 14 = 1,8 Sm E 3 = 5 x 9 / 14 = 3, 5 Total

19 Teste do χ Tabela de Contngênca Observada para a varável Vento: Jogar? Não Sm Total Teste do χ Tabela de Contngênca Esperada para a varável Vento: Jogar? Não Sm Total Vento? Não Sm 3 5 Vento? Não 3, 5,8 9 Sm 1,8 3, 5 Total Total Teste do χ Teste do χ Hpóteses: H 0 : As freqüêncas das L lnhas e C colunas são ndependentes H 1 : As freqüêncas das L lnhas e C colunas são dependentes Estatístca de Teste (χ ): χ N N ( E O ) = = 1 = 1 E Tabela de Contngênca Esperada para a varável Vento: Jogar? ( 3, 3,0) ( 5,8 6,0) ( ) ( ) Não 1,8,0 Sm 3,Total 3,0 χ = , Vento? 5,8 1,8 Não 3, 5,8 9 Sm 1,8 3, 5 χ = 0,0541 3, Total

20 Teste do χ Teste do χ Dstrbução de χ : Famíla de dstrbuções, defndas pelo número de graus de lberdade, N Matlab: p = chpdf(x,n) Valor p: Número de graus de lberdade: N = (L-1)x(C-1) p = chpdf(ch, N); x = 0:0.01:5; p = chpdf(x,1); plot(x,p) Valor p Teste do χ Interpretação do Valor p: O valor p ndca a probabldade de que a dependênca observada entre as freqüêncas tenha ocorrdo por acaso Quanto menor o valor p, maor a probabldade de que as freqüêncas das varáves seam realmente dependentes Normalmente trabalha-se com um lmar em 5%, ou sea, valores p menores que 5% (0,05) ndcam sgnfcânca estatístca na dependênca observada No exemplo: Número de graus de lberdade: N = (-1)x(-1) = 1 χ = 0,0541 p = chpdf(0,0541, 1); p = 1,67 = 167% Ou sea, a varável Vento NÃO É relevante 0

21 Teste do χ Exemplo alterado: Valores da Varável Vento para cada Classe da Varável Jogar: Não Jogar (5 casos): Sm, Sm, Sm, Sm, Não Vento Não: 1 caso Vento Sm: 4 casos Teste do χ Tabela de Contngênca Observada para a varável Vento: Jogar? Não Sm Total Jogar (9 casos): Não, Não, Não, Não, Não, Não, Sm, Sm, Não Vento Não: 7 casos Vento Sm: casos Vento? Não Sm 4 6 Total Teste do χ Tabela de Contngênca Observada para a varável Vento: Jogar? Teste do χ Tabela de Contngênca Esperada para a varável Vento: Jogar? Vento? Não Sm Total E 11 = 8 x 5 / 14 = 3, Não E1 7 1 = 8 x 9 / 14 = 5,8 8 E 1 = 6 x 5 / 14 = 1,8 Sm E4 = 6 x 9 / 14 = 3, 6 Vento? Não Sm Total Não,9 5,1 8 Sm,1 3,9 6 Total Total

22 Teste do χ Tabela de Contngênca Esperada para a varável Vento: Jogar? (,9 1,0) ( 5,1 7,0) (,1 4,0) ( 3,9,0) χ = + + +,9 5,1,1 Não Sm Total χ = 4,60 Não,9 5,1 8 3,9 Vento? p = Sm chpdf(0,0541,,1 1); 3,9 6 p = 0,0187 = 1,87% Total Ou sea, a varável Vento É relevante