Análise Exploratória de Dados

Transcrição

1 Análse Exploratóra de Dados

2 Objetvos Análse de duas varáves quanttatvas: obter uma reta que se ajuste aos dados segundo o crtéro de mínmos quadrados; apresentar outros crtéros para a determnação de uma reta que se ajuste aos dados; realzar análses exploratóras dos resíduos do modelo ajustado.

3 Crtéro de mínmos quadrados Como são obtdos os coefcentes da reta de mínmos quadrados? Nossos dados podem ser pensados como uma coleção bvarada: ( x, y ), ( x 1 2, y 2 ),...,( x n, y 1 n ) Fo consderado adequado o modelo x para explcar y.

4 Crtéro de mínmos quadrados Resíduo (r ): dferença entre o valor observado da varável resposta e o valor ajustado pelo modelo: r y yˆ y ( a bx ) valor observado valor ajustado pelo modelo

5 Crtéro de Mínmos Quadrados Escolha =a e =b de tal manera que a soma de quadrados dos resíduos seja um mínmo. Mnmzar ) ( ), ( n n x y r f

6 Coefcentes da reta de mínmos quadrados Solução: xx xy n n S S x x x x y y b ) ( ) )( ( bx y a Coefcente de nclnação da reta Coefcente lnear da reta (ntercepto)

7 Coefcentes da reta de mínmos quadrados xx xy S S n n n n n n n n x x n y x y x x x x x y y b ) ( ) )( ( Coefcente angular da reta de mínmos quadrados

8 Exemplo 1: Idade versus altura1 Fonte: Referênca: Moore, Davd S., and George P. McCabe (1989). Introducton to the Practce of Statstcs, p A altura de uma crança aumenta ao longo do tempo. Como o padrão de crescmento vara de crança para crança, uma forma de compreender o padrão geral de crescmento é usar a méda das alturas de váras cranças, como é feto com os dados a segur.

9 Idade versus altura Descrção: Alturas médas de um grupo de cranças de Kalama, um povoado egípco que é o local de um estudo de nutrção em países em desenvolvmento. Os dados foram obtdos medndo-se as alturas de 161 cranças no povoado cada mês. Número de casos: 12 Nomes das varáves: dade: dade em meses altura: altura méda em cm

10 Idade versus altura: Dados dade altura

11 Idade versus altura Investgue possíves relações entre dade e altura nesta base de dados. Dagrama de dspersão Coefcente de correlação Os dados estão no arquvo dadealtura.txt, com a prmera lnha ndcando os nomes das varáves.

12

13 cor(dados$dade,dados$altura) [1] É vsível a forte relação entre a dade em meses e a altura!

14 Comentáro A altura de uma crança não é estável, mas cresce ao longo do tempo. Como o padrão de crescmento vara de crança para crança, uma forma de compreender o modelo geral de crescmento é usar a méda de altura de váras cranças, como apresentado neste conjunto de dados. O dagrama de dspersão da altura versus dade é quase uma lnha reta, mostrando um modelo de crescmento lnear.

15 Extrapolação Deve-se tomar cudado com prevsões fora do campo de varação da varável explcatva. Quanto mas dstante estver o valor da varável explcatva do conjunto de valores efetvamente observado, mas mprecsa será a prevsão. De fato, nada garante que fora deste ntervalo, a relação lnear obtda contnue valendo.

16 Comentáros O caso deste exemplo é típco. A altura méda pode crescer lnearmente com a dade em meses nos prmeros anos de vda, mas a curva de altura de uma pessoa certamente não é lnear ao longo de sua vda! Quando falamos em modelos, uma das cosas que se deve ter em mente é a abrangênca deles.

17 Reta de mínmos quadrados reta1=lm(dados$altura~dados$dade) Coeffcents: (Intercept) dados$dade Coef. lnear Modelo ajustado: altura= xdade varável resposta Coef. angular varável explcatva

18

19 Outros métodos para obter a reta O crtéro de mnmzação da soma dos resíduos ao quadrado não é o únco! Há outros crtéros para obter uma reta que se ajuste aos dados. Um deles é mnmzar a soma dos resíduos tomados em valor absoluto. Este crtéro é conhecdo como crtéro L1. Escolha e de modo a mnmzar: n 1 n r y x 1

20 Métodos robustos de ajuste da reta Métodos conhecdos como robustos, envolvem mnmzar alguma função dos resíduos ao quadrado ordenados. 1) (lmsreg) least medan squares: escolha e de modo a mnmzar: medana{( r 2 ), 1,..., n} Neste caso, não há uma solução analítca como no caso do crtéro de mínmos quadrados. O algortmo para a obtenção dos coefcentes é bem mas complexo. O R possu uma função que nos retorna os coefcentes da reta resultantes, com base nesse crtéro: lmsreg no pacote MASS.

21 Métodos robustos de ajuste da reta Para usar funções do pacote MASS, há a necessdade de carregar o pacote. O únco pacote que não precsa ser carregado no R é o base, que contém as funções báscas que trabalhamos até agora (pe, barplot,mean,sd,summary,boxplot, quantle,plot,lm,round,etc.)

22 Carregando o pacote MASS Clque em 1) Packages (barra de menus na parte superor da tela) 2) load packages 3) MASS

23 Exemplo 2 Voltemos aos dados do arquvo fumo.txt, trabalhados na aula passada. Compare as retas de mínmos quadrados e va crtéro lms (least medan squares) (lmsreg). dados=read.table( reta1=lm(dados$morte~dados$fumo) reta2=lmsreg(dados$morte~dados$fumo) plot(dados$fumo,dados$morte,man= Fumo versus câncer ) ablne(reta1$coeffcents,col= blue ) ablne(reta2$coeffcentes,col= red )

24

25 Métodos robustos de ajuste da reta 2) Um outro método é o lts (least trmmed squares) que consste em escolha e de modo a mnmzar: h 1 onde r () representa os resíduos ordenados, =1,...,n, e h é um natural menor que n, ou seja, mnmza-se a soma dos h menores resíduos ao quadrado. No R a função que realza este ajuste também está dsponível no pacote MASS: ltsreg. r 2 ( )

26 Compare com os outros dos ajustes obtdos, a reta ajustada va ltsreg. reta3=ltsreg(dados$morte~dados$fumo) ablne(reta3$coeffcents,col= green )

27 Comentáros Quando o conjunto de dados não apresentar observações muto dferentes das demas (outlers) e o comportamento da varável dependente (resposta) for aproxmadamente normal, não haverá muta dferença entre as retas obtdas por métodos robustos e a reta de mínmos quadrados.

28 Comentáros Depos de ajustado um modelo é fundamental realzar a etapa de verfcação do modelo em que boa parte consste numa análse exploratóra detalhada dos resíduos do modelo. Apenas após a etapa de valdação e a escolha do modelo é que podemos partr para a etapa de prevsões.

29 Análse dos resíduos Por exemplo, o dagrama de pontos dos resíduos NÃO deve apresentar nenhuma estrutura aparente. Caso, o dagrama de pontos apresente alguma estrutura é snal de que o modelo proposto para os dados anda não está sufcentemente adequado e deve ser reformulado. Vejamos como está o dagrama dos resíduos da reta de mínmos quadrados para este últmo ajuste.

30 Dagrama de pontos dos resíduos da reta de mínmos quadrados dotchart(reta1$resduals,man= Dagrama de pontos da reta de mínmos quadrados )

31 Outra possbldade >plot(reta1$resduals,man="dspersão dos resíduos da reta de mínmos quadrados",type= l") > ablne(h=0,lty=2)

32 Resíduos versus valores ajustados Outro gráfco que também não deve apresentar nenhuma estrutura é o dagrama de dspersão dos valores ajustados versus os resíduos do modelo. plot(reta1$ftted,reta1$resduals,man= Valores ajustados versus resíduos )

33 Outros crtéros Construa o dagrama de pontos dos resíduos e o dagrama de dspersão dos resíduos versus valores ajustados para os outros dos ajustes deste exemplo (reta2 e reta3).

34 Exemplo 3: Contas de energa Os dados a segur referem-se à temperatura méda mensal e a quantdade de energa elétrca (em $) na conta mensal. Os dados foram armazenados no arquvo energa.txt os nomes das varáves são data, temp e conta. Fonte: Rossman & Chance (1998). Workshop Statstcs: Dscovery wth data and Mntab. Sprnger. (Capítulo 9, pg. 159).

35 Contas de energa (cont.) Antes de examnar a relação entre temperatura méda e conta de energa, examne a dstrbução dos dados referentes a contas de energa. Descreva a forma da dstrbução dos valores das contas. Construa o dagrama de dspersão de temperatura versus conta e avale uma possível assocação postva ou negatva entre estas varáves.

36

37

38 Contas de energa (cont.) Observe que em regões com temperaturas muto baxas, dferente de regões quentes, o consumo de energa é maor quanto menor for a temperatura! Calcule a correlação entre temperatura e conta de energa. Obtenha as retas de mínmos quadrados, lms e lts para estes dados.

39 > cor(dados$temp,dados$conta) [1] reta1=lm(dados$conta~dados$temp)

40

41 Coeffcents: (Intercept) dados$temp Modelo ajustado: Conta= x(temperatura)

42 Contas de energa (cont.) Usando a reta de mínmos quadrados, determne o resíduo e o valor ajustado para o mês de março de Faça um boxplot dos resíduos da reta de mínmos quadrados e verfque se há algum ponto exteror. Em caso afrmatvo, dentfque qual a data a que este resíduo se refere.

43 > reta1$resduals[12] > reta1$ftted[12] mar/92: temp=41, conta=44.43

44

45 É possível verrfcar que a observação cujo resíduo é um ponto exteror no boxplot é a de julho de 1993.

46 Contas de energa (cont.) Faça um dotchart dos resíduos e comente sobre a forma do mesmo. Um modelo é adequado entre outras cosas, se o dagrama de pontos dos resíduos não apresentar nenhum tpo de estrutura. De acordo com a afrmação anteror, você dra que o modelo é adequado?

47

48

49 Parece que nessa fgura os resíduos tendem a ser postvos nos extremos e negatvos no meo. Talvez o modelo lnear não seja adequado nesse caso.

50 Retas robustas Investgue o comportamento dos resíduos para os crtéros lms e lts.