de Métodos Estatísticos em Data Mining

Transcrição

1 Departamento de Matemática Unidade de Ensino de Probabilidades e Estatística Exercícios de Métodos Estatísticos em Data Mining Mestrado em Matemática e Aplicações Edição de Setembro de 2011

2 Classificação 1. Considere o seguinte conjunto de dados: Estes dados podem ser organizados nas seguintes tabelas: Comprou computador Idade Sim Não Jovem 2 3 Meia-Idade 4 0 Terceira-Idade 3 2 Comprou computador Avaliação-Crédito Sim Não Normal 6 2 Excelente 3 3 Comprou computador Rendimento Sim Não Baixo 3 1 Médio 4 2 Alto 2 2 Comprou computador Estudante Sim Não Sim 6 1 Não 3 4 (a) Pretende-se classificar um cliente, como comprador ou não de um computador, que possui as seguintes características: (Idade=jovem,Rendimento=médio,Estudante=sim,Avaliação-crédito=normal). (b) Repita o exercício anterior mas supondo que se tem: 7 consumidores com baixo rendimento, 0 com rendimento médio e 2 com rendimento alto. 2. Considere o conjunto de dados iris, disponíveis em 1

3 Id Avaliação-Crédito Idade Comprador-computador Rendimento Estudante 1 excelente 38 sim médio não 2 excelente 26 sim médio sim 3 normal 35 não médio não 4 excelente 49 não alto não Tabela 1: Dados relativos a alguns consumidores. (a) Usando a biblioteca do R klar e a função NaiveBayes aplique a regra näive Bayes a este conjunto de dados considerando: i. Que há equiprobabilidade de uma flor pertencer a cada uma das variedades. ii. Que a probabilidade de uma flor ser da variedade Setosa é duas vezes superior a ser de outra variedade. iii. Usando o comando plot.naivebayes compare as estimativas das probabilidades marginais das variáveis explicativas/preditoras dada a variedade (classe), para as opções anteriores. 3. KNN (k-vizinho mais próximo) simplesmente conta os k pontos mais próximos de cada uma das classes e decide por maioria de votos. É um algoritmo simples e eficiente onde é apenas necessário calcular a distância de um novo objecto aos vizinhos mais próximos. (a) Com o auxílio da função do R knn() da biblioteca class aplique o método 1- vizinho mais próximo à última coluna do seguinte conjunto de dados de treino de um sonar: camado/datam/sonar treino.csv. Use os valores por defeito desta função. Calcule ainda o erro de má classificação. (b) Repita o procedimento anterior para os dados de teste: ( camado/datam/sonar teste.csv). (c) Repetir as alíneas anteriores mas usando agora a biblioteca do R knnflex. (d) Usando a biblioteca do R knnflex efectue a classificação considerando outros valores de k. Construa um gráfico representando os erros de má classificação vs os valores de k e com base na sua visualização escolher um valor de k. 4. Com base nos dados da Tabela 2 e após a discretização da variável Altura, em 3 intervalos: (a) construa uma árvore de decisão com dois níveis usando como critério de partição o ganho de informação, baseado na entropia como medida de impureza. Recorde que a entropia associada a uma partição em m grupos dos objectos do nó t é dada por: m Entropia(t) = p(i t) log 2 p(i t), 2 i=1

4 ID Género Altura Tamanho Classe 101 F 1.48 m Medium C0 102 F 1.50 m Small C0 103 F 1.52 m Small C0 104 M 1.60 m Small C0 105 F 1.65 m Medium C0 106 F 1.68 m Large C1 107 M 1.72 m Medium C1 108 F 1.72 m Medium C1 109 M 1.75 m Large C1 110 M 1.80 m Large C1 Tabela 2: Medidas de vários clientes de uma loja de vestuário. onde p(i t) representa a probabilidade de um objecto do nó t pertencer ao grupo i. (b) Use a árvore obtida na alínea anterior para classificar o conjunto de dados em questão e determine a matriz de confusão. Comente os resultados obtidos. 5. Admita que X Y = 1 N (µ 1, σ 2 1) e X Y = 2 N (µ 2, σ 2 2), com σ 1 > σ 2 e µ 1 > µ 2. Calcule o conjunto de valores de x que devem ser atribuídos a {Y = 1}. Considere o caso em que σ 1 = 4 e σ 2 = Considere um subconjunto dos dados (coracao.txt) sobre o Factor de Risco Coronário obtidos num estudo de Rousseauw et al., O objectivo do estudo foi determinar a intensidade da isquemia, o qual é um factor de risco de doença cardíaca. Os dados representam observações em homens brancos entre 15 e os 64 anos, e a variável resposta é a presença ou ausência de enfarto do miocárdio (chd) no momento do inquérito. Os dados encontram-se em: camado/datam. Na Tabela 3 seguinte encontra-se um breve resumo das variáveis: Variáveis SBP tabaco LDL adiposidade famhist typea alcool idade chd Descrição Pressão arterial sistólica Tabaco acumulado (kg) lipoproteína de baixa densidade colesterol história familiar de doença cardíaca (1-presente; 0-ausente) Um tipo de comportamento obesidade consumo actual de álcool doença cardíaca coronária (1- presente;0- ausente) Tabela 3: Variáveis associadas aos dados coracao.txt. 3

5 (a) Construa a matriz de gráficos de dispersão para cada variável com os histogramas na diagonal. Comente. (b) Verifique se é significativo o impacto do tabagismo na presença ou não de doença coronária. Use a função glm do R para fazer uma regressão logística tendo como chd a variável resposta e apenas tabaco como variável explicativa. (c) Considere agora um modelo onde se adiciona outra variável explicativa, a saber famhist. i. Estime os parâmetros do modelo (este modelo por conter mais de uma variável explicativa é denominado modelo de regressão logística múltipla). ii. Tem-se agora dois modelos, um com uma variável explicativa e um com duas, que tentam explicar a mesma coisa (presença ou ausência de doença coronária). A questão a colocar será: o modelo com as variáveis tabaco e famhist é melhor do que o modelo com apenas a variável tabaco? Será que não se ganha nada, adicionando a variável famhist? Usando o critério de informação de Akaike (AIC) compare os dois modelos. (d) Com a ajuda da função stepaic da biblioteca do R MASS encontre o melhor modelo para a variável chd. (e) Considerando o modelo encontrado na alínea anterior escreva uma regra de classificação discriminante logística para este problema, quando as probabilidades à priori são estimadas pelas frequências relativas na amostra original. Construa uma matriz de confusão usando a amostra de treino. Qual é a taxa de erro de má classificação? (f) Utilize agora o software WEKA para analisar este problema. 7. Suponha que uma variável aleatória X unidimensional tem distribuição Normal com variância igual a 4. Admita que E [X Y = 1] = 10, E [X Y = 2] = 14 e que são iguais as probabilidades a priori para os acontecimentos e que c(2 1) = c(1 2). Neste contexto, Seja A 1 = {Y = 1}, A 2 = {Y = 2}, X é atribuído a {Y=1} se X c, X é atribuído a {Y=2} se X > c. B 1 = {X é atribuído a Y = 1} B 2 = {X é atribuído a Y = 2}. Construa uma tabela para mostrar os seguintes resultados: P [B 1 A 2 ], P [B 2 A 1 ], P [A 1 e B 2 ], P [A 2 e B 1 ], P [ má classificação ] e custo esperado, para c = 10,..., 14. Para que valor de c é que o custo esperado é mínimo? Qual é o custo esperado mínimo? 4

6 8. Um investigador pretende determinar um procedimento para discriminar entre duas categorias {Y = 1} e {Y = 2}, caracterizadas à custa do vector aleatório X, de dimensão p. O investigador consegue estimar as funções densidade de probabilidade f 1 (x) e f 2 (x), onde f i (x) representa a função densidade de probabilidade do vector aleatório X Y = i, i = 1, 2. Seja c(2 1) = 50 (custo de atribuir entidades a {Y = 2} dado que pertencem a {Y = 1}) e c(1 2) = 100. Admita ainda que a probabilidade do indivíduo pertencer à categoria {Y = 2} é (a priori) (a) Deduza a regra de classificação que minimiza o custo esperado de má classificação, ECM, para atribuir uma entidade a uma de duas categorias. (b) Se as observações de um novo indivíduo, x 0, forem tais que f 1 (x 0 ) = 0.3 e f 2 (x 0 ) = 0.5, faça a atribuição do indivíduo a uma das duas categorias. 9. Admita que X Y = i N p (µ i, Σ), i = 1, 2, onde Σ é definida positiva. (a) Mostre que a regra que minimiza a probabilidade total de má classificação é: atribuir x a {Y = 1} se α t { x 1 2 (µ 1 + µ 2 ) } > 0 com α = Σ 1 (µ 1 µ 2 ). (b) Sabendo que d(x) Y = i N( ( 1)i 1 2, 2 ), i = 1, 2, obtenha a probabilidade 2 total de má classificação (TPM ), onde d(x) = α { t X 1 (µ µ 2 ) }. (c) Construa a regra Naive de Bayes, admitindo que X j Y = i N(µ i, σ 2 i ), j = 1,..., p. Enuncie as hipóteses que admitiu como válidas para construir esta regra. (d) Calcule a probabilidade total de má classificação associada à regra deduzida em (9c). Compare com o resultado obtido em (9b). Comente os resultados obtidos. 10. Admita que se define uma regra de classificação que permite classificar um novo objecto numa de duas categorias distintas. Mostre que a precisão da regra de classificação é função da sensibilidade e especificidade. 11. Admita que dispõem de duas regras de classificação: M1 e M2. Para validar cada um das regras, construiu-se o seguinte procedimento: (i) dividiu-se a amostra em dez subconjuntos disjuntos; (ii) estimou-se os parâmetros associados a cada uma das regras com nove destes dez subconjuntos e classificam-se as observações do subconjunto que não foi usado para estimar. No final, estima-se a taxa de erro associada a cada uma das regras. Admita que se repetiu este procedimento 10 vezes, registando-se as seguintes taxas de erros (em percentagem): M1: M2:

7 Teste ao nível de significância de 1% se um método é melhor do que o outro. Enuncie as hipóteses que admitiu como verdadeiras para responder a esta questão e critique o seu próprio procedimento. 6

8 Análise de agrupamentos 1. Construa um exemplo de uma dissemelhança que não seja uma métrica. 2. Mostre que o quadrado da distância Euclidiana não é uma métrica. Dê um contra exemplo. 3. Construa uma semelhança a partir do coeficiente de correlação. 4. Se s ij é uma semelhança, tal que 0 < s ij 1, mostre que d ij = 1 s ij e d ij = log s ij são dissemelhanças. 5. Considere dois objectos nos quais foram medidas p características. Mostre que a distância Euclidiana entre os dois objectos se pode obter a partir da distância de cada um deles ao seu centróide. Escreva a relação entre os quadrados dessas três distâncias. 6. (Branco, J.A., 2004). Duas variáveis binárias X 1 e X 2, foram observadas em n indivíduos, tendo-se registado o número de concordâncias e discordâncias obtidas: X 1 \X a b 0 c d onde a + b + c + d = n.um coeficiente de semelhança habitualmente sugerido neste caso é o coeficiente de correlação entre X 1 e X 2, r X1 X 2. Mostre que: r X1 X 2 = ad bc [(a + b)(c + d)(a + c)(b + d)] 1/2. 7. (Branco, J.A., 2004). Considere as seguintes espécies animais: e considere os seguintes atributos: come outros animais, come vegetais, Tigre, Cão, Golfinho, Baleia, Lebre, Homem, 1

9 desloca-se sobre quatro patas, é animal doméstico, é animal selvagem. Construa as matrizes de semelhanças com base no coeficiente de Jaccard e no coeficiente de concordância simples. 8. Mostre que a distância d k(ij) (entre clusters) usada pelos métodos da ligação simples, ligação completa e ligação média satisfaz a relação: onde d k(ij) = α i d ki + α j d kj + γ d ki d kj Ligação simples α i = α j = 1, γ = Ligação completa α i = α j = γ = 1 2 Ligação média α i = n i n i +n j, α j = 1 α i, γ = 0 9. A riqueza de vocabulário de um texto pode ser descrito, quantitativamente, contando o número de palavras usadas uma única vez, duas vezes e assim sucessivamente. Baseado neste critério um linguista propôs as seguintes distâncias entre diversos capítulos do Antigo Testamento: Capítulos Faça a análise de clusters usando os vários métodos hierárquicos que estudou. Desenhe os respectivos dendrogramas e compare os resultados. 10. A matriz A = resultou da medição de seis objectos relativamente a duas das suas características. (a) Obtenha e compare os dendrogramas da análise da matriz A, servindo-se da distância Euclidiana, para os métodos da ligação simples, ligação completa, ligação média, Ward, mediana e centróide. (b) Represente as duas variáveis graficamente e observe as posições relativas dos pontos representando os seis objectos para tentar explicar os resultados dos diferentes métodos. 2

10 (c) Opte por um número de clusters que lhe pareça adequado. Para cada um dos métodos de formação de clusters construa o gráfico de bandeira (baseado no average silhouette). Comente os resultados obtidos. 11. Suponha que se pretende agrupar os seguintes oito objectos: em 3 clusters. Escolha como centroíde da partição inicial os três primeiros objectos. Use o método das k-médias e obtenha: (a) Os centroídes dos clusters depois da primeira iteração do algoritmo. (b) A partição final em 3 clusters. 12. Considere um subconjunto dos dados (Europa.txt) sobre Factos e Números Essenciais sobre a Europa e os Europeus publicado pela Comissão Europeia (2007). Os dados encontram-se em: camado/datam. Na Tabela 4 encontra-se um breve resumo das variáveis: Variáveis Descrição País Sigla do país PIB em PPC Produto Interno Bruto em Padrão de Poder de Compra Internet Percentagem de agregados familiares com acesso à Internet(2006) Desemprego Taxa de desemprego (2006) Energia renováveis Percentagem de electricidade produzida a partir de fontes de energia renováveis na UE 27 (2005) Populaç~ao População em milhões Tabela 4: Variáveis associadas aos dados Europa.txt. (a) Usando o software R (por exemplo, usando a função hclust) proceda a uma análise de clusters usando o método Ward e um outro procedimento aglomerativo hierárquico à sua escolha. Compare os resultados. (b) Proceda a uma análise semelhante à anterior mas usando o método das k- médias. Construa uma pequena função no R de forma a tentar encontar o melhor valor para k. (c) Utilize vários métodos de clustering presentes no WEKA para analisar este problema. Compare esses resultados com os que obteve nas alíneas anteriores. 3

11 13. Admita que suspeita que a população em estudo pode ser bem modelada por uma mistura de duas sub-populações com distribuição Poisson, i.e. X Y = j P oisson(λ j ), j = 1, 2. (a) Defina o que são os dados completos e os incompletos associados a este problema. (b) Use o algoritmo EM, para propor estimadores para os parâmetros da distribuição que caracteriza X. Defina o passo E e M do algoritmo. 4

12 Redução da dimensionalidade 1. Dados sobre acções, x 1 e receitas, x 2, sobre 10 grandes empresas industriais dos E.U.A. conduziram aos seguintes resultados amostrais x = [ ], S = [ (a) Determine as componentes principais amostrais e as suas variâncias. (b) Calcule a proporção de variância explicada pela primeira componente principal amostral. (c) Calcule o coeficiente de correlação, rŷ1,x k, k = 1, 2. Que interpretação, se alguma, pode atribuir à primeira componente principal? 2. A matriz de covariâncias de duas variáveis aleatórias, X 1 e X 2, é: C 1 = [ que tem os seguintes valores próprios: λ 1 = e λ 2 = e vectores próprios normalizados: γ 1 = (0.015, 0.999) t, γ 2 = (0.999, 0.015) t. (a) Escreva a expressão das componentes principais. (b) Considere as variáveis estandardizadas e obtenha as componentes principais correspondentes. (c) Compare os dois conjuntos de componentes principais analisando a contribuição de cada variável para a variação de cada componente principal. (d) Comente os efeitos de estandardização e, em face de uma situação prática, diga qual o tipo de variáveis em análise em que deve basear a análise em componentes principais. 3. Sejam X 1 e X 2 duas variáveis aleatórias tais que X 1 Bernoulli(p) e X 2 = 1 X 1. Determine as componentes principais do sistema e indique qual a percentagem de variação explicada por cada uma delas. Comente os resultados obtidos. ] ]. 1

13 4. Considere o vector X = (X 1, X 2 ) t com matriz de correlação C = [ 1 ρ ρ 1 (a) Obtenha as componentes principais a partir da matriz C. (b) Considere agora um outro vector X 1 = (X 1, X 2, X 3 ) t (acrescentou-se a X a componente X 3 ), com a matriz de correlação: C 1 = ] 1 ρ 0 ρ Obtenha, também, as componentes principais. (c) Compare e comente os resultados obtidos em (a) e (b). O que pode concluir? 5. Considere as variáveis aleatórias X 1, X 2 e X 3 com matriz de covariância: 1 1/2 1/2 1/2 1/2 1/2 1/2 1/2 1 (a) Obtenha as componentes principais do sistema. (b) Considere agora o novo sistema 2X 1, X 2 e X 3 em que a primeira variável mudou de escala. Mostre que as componentes principais não são invariantes com a mudança de escala (obtendo as novas componentes principais). (c) Suponha que todas as variáveis sofrem uma mudança de escala igual. O que se passa com as novas componentes principais? (d) Qual o interesse prático, no contexto da análise em componentes principais, da mudança de escala? 6. Considere o conjunto dos dados (car04.txt) sobre 388 modelos de carros de 2004 descritos com 18 variáveis. Os dados encontram-se em: camado/datam e as variáveis encontram-se resumidas na Tabela 5. (a) No R existem várias funções para efectuar PCA, foquemo-nos em duas delas, princomp e prcomp, que diferem na forma como efectuam o cálculo das componentes principais. i. Considere os dados sem qualquer transformação e com base na segunda função determine as componentes principais amostrais e as suas variâncias. ii. Acha a abordagem anterior apropriada para a determinação das componentes principais amostrais? Em caso negativo como procederia? iii. Considere agora os dados padronizados e repita a alínea 6(a)i. Comente os resultados obtidos. 2.

14 Variáveis Variável Sports SUV Wagon Minivan Pickup AWD RWD Retail Dealer Engine Cylinders Horsepower CityMPG HighwayMPG Weight Wheelbase Length Width Descrição Significado Indicador binário: se é (1) ou não (0) um carro desportivo Indicador binário: se é (1) ou não (0) um carro desportivo utilitário Indicador binário: se é (1) ou não (0) uma carrinha Indicador binário: se é (1) ou não (0) um monovolume Indicador binário: se é (1) ou não (0) um todo o terreno Indicador se possui tracção a todas as rodas Indicador se possui tracção traseira Preço de retalho sugerido (US$) Preço ao revendedor (US$) Cilindrada (litros/rotação) Número de cilindros do motor Potência do motor Consumo por milha em cidade Consumo por milha em auto-estrada Peso (quilogramas) Distância entre eixos (mm) Comprimento (polegadas) Largura (polegadas) Tabela 5: Variáveis associadas aos dados car04.txt. (b) Com base nos resultados obtidos em 6(a)iii: i. Quantas componentes consideraria se o objectivo da aplicação da PCA fosse a redução da dimensionalidade? ii. Com base nos loadings ou pesos das duas primeiras componentes principais amostrais que interpretação poderá fazer. iii. Repita a alínea anterior mas agora com base nos coeficientes de correlação entre cada componente principal e cada variável. (c) Efectue um gráfico adequado que permita confirmar/verificar essa interpretação. 7. Os dados a considerar neste problema são relativos a medidas de expressão génica a partir de células retiradas de 64 tumores diferentes (de 64 pacientes diferentes) (nci.txt). Em cada caso, um dispositivo chamado um microarray (chip de genes) possui a medida da expressão de cada um dos 6830 diferentes genes, essencialmente, considera-se o logaritmo da concentração química do produto do gene. Assim, cada registo no conjunto de dados é um vector de comprimento As células provêm, na maior parte, de tipos de cancro conhecidos, então existem classes. As classes são, BREAST, CNS (sistema nervoso central), COLON, LEUKEMIA, MELANOMA, NSCLC (certas células do cancro do pulmão), OVARIAN, PROSTATE, RENAL, K562A, K562B, MCF7A, MCF7D (estes quatro são culturas de tumor em laboratório) e UNKNOWN. Os dados encontram-se em: camado/datam. (a) Proceda a uma análise de clusters usando a função do R k-means com k = 14. Compare o resultado do agrupamento com as classes conhecidas. 3

15 (b) Produza um dendrograma usando o método de Ward (use cex=0.5 para fazer o gráfico). Que classe de células parece ser melhor agrupada? (c) Determine as variâncias associadas às componentes principais amostrais para este conjunto de dados. (d) Porque é que há apenas 64 componentes e não 6830? (e) Construa o gráfico da fracção da variância total que é retida pelas primeiras q componentes contra q. (f) Quantas componentes principais se devem reter de forma a manter metade da variância? E noventa por cento? (g) Que confiança teria nos resultados da visualização das primeiras duas componentes principais? (h) Efectue o gráfico das projecções das observações de cada célula nas duas componentes principais. (i) Efectue agora uma análise de clusters usando o método k-médias com k = 14 nas projecções das células das duas primeiras componentes. (j) O método k-médias encontrou uma correspondência para o tipo de células que à partida pensava que existia? E para aquelas que parecia ser difícil de identificar? (k) Calcule a taxa de erro de má classificação usando todos os genes para um classificador à sua escolha. (l) Calcule as taxas de erro de má classificação usando as primeiras duas, dez e vinte componentes principais, para o classificador que escolheu na alínea anterior. 8. Prove que qualquer combinação linear normalizada das componentes de X tem variância inferior a λ 1 (variância da primeira componente principal, i.e. V ar ( a t X ) λ 1 a : a t a = Suponha que 1, 2,..., 5 são regiões dum país limitadas e dispostas como a Figura 1 indica. Seja δ ij a dissemelhança entre as regiões i e j. Defina-se δ ij como o número mínimo de fronteiras (linhas) que é necessário atravessar para passar de i para j, com i, j = 1,..., 5. Mostre que δ ij satisfaz a propriedade triangular. Construa a matriz de dissemelhanças. Construa a matriz B e, fazendo uso desta matriz, mostre que δ ij não é uma distância Euclidiana. 10. Dada a matriz de dissemelhanças =

16 Figura 1: Representação das cinco regiões dum país. obtenha uma configuração em duas dimensões, centrada na origem, tal que a matriz de distâncias correspondente é precisamente. 11. Considere o conjunto dos dados (car04.txt) sobre 388 modelos de carros de 2004 descritos com 18 variáveis. Recordar que os dados se encontram em: camado/datam. (a) Para estes dados compare as seguintes abordagens e comente os resultados obtidos: i. Multidimensional Scaling clássico. ii. Sammon mapping. iii. Kruskal isotonic regression multidimensional scaling. (b) Obtenha as componentes principais amostrais e projecte as observações nas duas primeiras componentes. Compare com o gráfico obtido em 11(a)i. (c) Considere os dados eurodist que se encontram no R. Represente os dados em dimensão-1 e em dimensão-2, aplicando multidimensional scaling clássico, Sammon mapping e Kruskal isotonic regression multidimensional scaling. 5