Análise exploratória de dados univariados. Introdução à Análise Estatística com. Natureza dos dados (e respectiva variável) Dados no R.

Transcrição

1 Curso Introdução à Análise Estatística com Análise exploratória de dados univariados População Unidade Estatística Variável Amostra Sessão 3 Análise exploratória de dados Maria João Martins Objectivo: caracterizar um conjunto de indivíduos, tentando descobrir regularidades e singularidades Notas: as conclusões obtidas são apenas válidas para o conjunto de indivíduos considerados explicitamente no estudo. os resultados podem usar-se para formular hipóteses sobre a população, que terão que ser avaliadas posteriormente. Setembro 2012 Instituto Superior de Agronomia Grupo de Matemática 2 Natureza dos dados (e respectiva variável) Dados no R Qualitativa nominal ordinal Quantitativa discreta contínua n V1 V2... Vk n indivíduos k características ou variáveis Data frame com k componentes de comprimento n Cada uma das variáveis vai ser estudada separadamente. 3 4

2 Representação dos dados Variável qualitativa nominal Condensação sob a forma de tabela de frequências Identificação da natureza da variável Cálculo de indicadores numéricos de localização, dispersão e forma Representação gráfica: diagrama de barras, histograma, diagrama de extremos e quartis 5 Dados: Iris (do pacote datasets do R) >?iris > head(iris) #mostra primeiras linhas > str(iris$species) [1] "factor" Variável Species é qualitativa nominal. Tabela de frequências > ni<-table(iris$species) #frequencia abs > fi<-ni/sum(ni) > cbind(ni,fi) ni fi setosa versicolor virginica Variável qualitativa nominal Variável qualitativa ordinal Indicadores moda (faz sentido para estes dados?) Representação gráfica gráfico de barras > plot(iris$species) > barplot(ni) #igual ao anterior 7 Dados: Nível de escolaridade mais elevado completo e sexo da população activa nos Açores (INE, 16 Fev 2011). Os dados estão armazenados data frame escolar, que se encontra no workspace escolaridade.rdata. Variável nivel é qualitativa ordinal. > load("escolaridade.rdata") > str(escolar) > attach(escolar) > table(nivel) nivel N B1 B2 B3 Sec Sup

3 Variável qualitativa ordinal Tabela de frequências > ni<-table(nivel) > fi<-ni/sum(ni) > Fi<-cumsum(fi) > cbind(ni,fi,fi) ni fi Fi N B B B Sec Sup Variável qualitativa ordinal Indicadores de localização quartis, moda, //////////(porquê?) média > quantile(nivel) #dá erro Error in quantile.default(nivel) : factors are not allowed > quantile(as.numeric(nivel), type=2) 0% 25% 50% 75% 100% > names(ni[ni==max(ni)]) #moda [1] "B1" 9 10 Variável qualitativa ordinal Representação gráfica Gráfico de barras > barplot(ni) Gráficos de barras sobrepostos Objectivo: comparar o nível de escolaridade por sexo > table(escolar$sexo,nivel) nivel N B1 B2 B3 Sec Sup H M Dados: chickwts (do pacote datasets do R) > head(chickwts) #mostra primeiras linhas Variável weight é quantitativa contínua. Tabela de frequências agrupar os dados em classes (quantas? Regra de Sturges) quando os dados são de natureza contínua ou de natureza discreta com muitos valores distintos. > barplot(table(escolar$sexo,nivel), beside=t,col=c("blue","pink")) 11 12

4 Representação gráfica histograma >?hist > attach(chickwts) > hist(weight) #observar simetria e possivel existencia de duas modas > hist(weight,plot=f) #devolve uma lista breaks limites das classes counts frequência absoluta de cada classe intensities (frequência relativa / amplitude) de cada classe density idem mids ponto médio de cada classe equidist lógico que indica se as classes têm ou não amplitude Nota: se as classes têm amplitude variável, a área de cada classe deve ser proporcional à frequência (altura proporcional a frequência/amplitude) por omissão, no R > hist(weight,breaks= c(seq(100,250,50),275,seq(300,450,50))) #comparar as alturas das classes 3 e 4 > hist(weight,breaks= c(seq(100,250,50),275,seq(300,450,50)), freq=t) #ver mensagem > hist(weight,prob=t,ylab="probabilidade") > lines(density(weight)) #adiciona curva densidade estimada por kernel constante Exercício 1 Fazer a tabela de frequências da variável weight (do pacote de dados chickwts), usando a lista que resulta do comando hist com plot=f. 15 Indicadores de localização: média, média aparada, mediana, quantis, moda Exemplos: > x <- c(0:10, 50) > mean(x) [1] 8.75 > mean(x,trim=0.1) #igual a mean(x[2:11]) [1] 5.5 > median(x) [1] 5.5 > quantile(x) 0% 25% 50% 75% 100% > quantile(x,type=2) 0% 25% 50% 75% 100%

5 Nota: para dados de natureza contínua ou de natureza discreta com muitos valores distintos, a moda é dada pela classe modal ou por um valor da classe modal, calculado por regras empíricas. Indicadores de dispersão: variância, desvio padrão, coeficiente de variação (dispersão relativa), amplitude total, amplitude inter-quartil, mediana dos desvios absolutos Exemplos: > x <- c(0:10, 50) > var(x) #variancia > sd(x) #desvio padrão [1] > sd(x)/mean(x) #coeficiente de variacao [1] > max(x)-min(x) #amplitude total [1] 50 > IQR(x) #amplitude inter-quartil [1] 5.5 > sort(abs(x-median(x))) [1] > mad(x) #igual a median(abs #(x-median(x)))*constante [1] [1] Indicadores de forma: coeficientes de assimetria e de achatamento Necessita do package fbasics Exemplos: > x <- c(0:10, 50) > skewness(x) #coeficiente de assimetria [1] attr(,"method") [1] "moment" Observação: simetria: média=mediana=moda assimetria positiva: média>mediana>moda > kurtosis(x) #coeficiente de achatamento [1] attr(,"method") [1] "excess" Observação: é uma medida da concentração da distribuição dos dados junto ao centro, em comparação com a distribuição normal. igual a zero: como a normal positivo: mais aguçada do que a normal negativo: menos aguçada do que a normal assimetria negativa: média<mediana<moda 19 20

6 Resumos de indicadores Exemplos: > summary(x) Min. 1st Qu. Median Mean 3rd Qu. Max > basicstats(x) #do package fbasics 21 x nobs NAs Minimum Maximum Quartile Quartile Mean Median Sum SE Mean LCL Mean UCL Mean Variance Stdev Skewness Kurtosis Exercício 2 Calcular todos os indicadores referidos para os dados da variável weight, do pacote de dados chickwts. Análise por sub-grupos de dados definidos por factores > tapply(weight,feed,summary) #feed e' factor Representação gráfica diagrama de extremos e quartis > boxplot(weight, main="pesos dos frangos", + horizontal=t) Observar que não existem valores atípicos e a distribuição é simétrica > x <- c(0:10, 50) > boxplot(x, horizontal=t) #observar valor atipico,

7 Diagrama de extremos e quartis por sub-grupos de dados definidos por factores > boxplot(weight~feed, main="pesos dos frangos por dieta") A expressão weight~feed é um objecto do tipo formula. Genericamente, numa fórmula variavel~expressao em que variavel representa a variável dependente e expressao é uma expressão que indica de que variável(eis) depende variavel. Exemplo: y~x1+x2. Exercício 3 Relativamente à variável Petal.Width do conjunto de dados iris (do R), obter para cada espécie de lírio: a) tabela de frequências, b) histograma, c) indicadores de localização, dispersão e forma, d) diagrama de extremos e quartis Exercício 4 Num inquérito realizado a um grupo de alunos, perguntou-se qual era o número de irmãos que tinham. Obtiveram-se os seguintes resultados: 3, 3, 2, 2, 8, 5, 2, 4, 3, 1, 4, 5, 3, 3, 3, 3, 3, 2, 5 1, 3, 3, 2, 2, 4, 3, 3, 2, 2, 4, 4, 3, 6, 3, 3, 2, 2, 4 3, 4, 3, 2, 2, 4, 4, 3, 3, 4, 2, 5, 4, 1, 2, 8, 2,3, 3, 4 a) Represente graficamente este conjunto de dados. b) Calcule a média, a mediana e a moda. c) Estude a dispersão dos dados. Análise exploratória de dados bivariados Objectivo: evidenciar as relações (eventualmente existentes) entre variáveis através de indicadores numéricos e representações gráficas n observações do par de variáveis (x,y), ou seja n pares de valores (x i,y i ),i=1,...,n admite-se que ambas as variáveis são quantitativas d) Analise a simetria da distribuição

8 Análise exploratória de dados bivariados Dados: iris (do pacote datasets do R) x largura das pétalas (Petal.Width) y comprimento das pétalas (Petal.Length) Diagrama de dispersão ou nuvem de pontos > attach(iris) > plot(petal.length~petal.width) > plot(petal.width,petal.length) #equivalente Observa-se uma tendência linear positiva relativamente forte. 29 Análise exploratória de dados bivariados Covariância e coeficiente de correlação > cov(petal.length,petal.width) [1] > cor(petal.length,petal.width) [1] Por omissão cor calcula o coeficiente de correlação usual, de Pearson. Um indicador mais robusto (menos sensível a observações atípicas) é o coeficiente de correlação de Spearman usa apenas as ordens (e não os valores) das observações. Pode ser usado em variáveis qualitativas ordinais. > cor(petal.length,petal.width, + method="spearman") [1] Análise exploratória de dados bivariados Análise exploratória de dados bivariados Regressão linear simples Existindo uma correlação linear forte entre x e y, faz sentido determinar a equação da recta dos mínimos quadrados. Em R o modelo linear simples exprime-se através de lm(y~x) ou lm(y~1+x) > lm(petal.length~petal.width) intercept: ordenada na origem Petal.Width: coeficiente associado à variável Petal.Width, ou seja o declive da recta. Equação da recta: y= x - interpretar! Para informações sobre a qualidade do modelo: > summary(lm(petal.length~petal.width)) 31 Sobrepor a recta de regressão à nuvem de pontos > plot(petal.length~petal.width) > abline(lm(petal.length~petal.width)) Matriz de diagramas de dispersão Representação das nuvens de pontos para todos os pares de variáveis > plot(iris[-5]) > detach(iris) 32

9 Exercício 5 O ficheiro contém dados relativos ao número de vírus reproduzidos em função do tempo (minutos), para diferentes tipos de meio de cultura (ácido, neutro ou básico). a) Leia o ficheiro para a data frame virus.df. b) Construa o diagrama de dispersão do número de vírus em função do tempo, representando os pontos que dizem respeito aos três tipos de meio com cores diferentes. c) Calcule os coeficientes de correlação entre as variáveis número de vírus e tempo para cada tipo de meio de cultura. Comente tendo em conta a alínea anterior. d) Determine os coeficientes da recta de regressão de número de vírus vs. tempo para os dados respeitantes ao meio 33 básico. Qual é a precisão da recta de regressão? Interprete. Bibliografia The R Manuals, editados por R Development Core Team, Versão (Dezembro de 2011) ( Introdução à Programação em R, Luis Torgo (Outubro de 2006). Contributed Documentation disponível em Análise Exploratória de Dados, Bento Murteira, McGraw- Hill, Introdução à Probabilidade e à Estatística, Dinis Pestana e Sílvio Velosa, Fundação Calouste Gulbenkian,