Revisões de Estatística. Estatística Descritiva. Conceitos básicos. Dados estatísticos. Exemplo 2. Exemplo 1

Transcrição

1 Revisões de Estatística Departameto de Ciêcias e Egeharia de Biossistemas Agrupameto de Matemática Matemática II Estatística - ciêcia que se ocupa da recolha, orgaização e aálise de iformação, com a fialidade de iferir de um cojuto limitado de iformação para o todo e evetualmete prever a evolução futura de um feómeo. Subáreas da Estatística: Estatística Descritiva 2012/2013 Obteção dos dados Amostragem Plaeameto de Eperiêcias Aálise dos dados Estatística descritiva Aálise Eploratória Modelação Teoria da Probabilidade Idução Iferêcia Estatística Prescrutação do futuro Previsão (F. Valete e M. Mesquita) 2 Coceitos básicos Dados cojuto de iformação que costitui o objecto de estudo da Estatística. População (ou uiverso) cojuto de todos os elemetos/valores que se pretedem estudar. Uidade estatística (ou amostral) elemeto da população que é objecto de observação. Variável característica comum aos elemetos da população (cujo valor pode ser diferete de elemeto para elemeto). Amostra subcojuto de elemetos etraídos de uma população (cojuto de todas as observações da característica em estudo efectivamete recolhidas). 3 Dados estatísticos Os dados (e respectiva variável) podem ser de atureza qualitativa omial (a ordem das categorias ão tem sigificado) ordial (há uma ordeação atural das categorias) quatitativa discreta (provêm de cotages) cotíua (provêm de medições) Eemplos: Classes de Número de Número Número Níveis de Número Seo Número redimeto familias de filhos de casais classificação de aluos de aluos A 10 F B 20 M C D 5 4 Eemplo 1 Eemplo 2 Para avaliar a taa de sucesso o primeiro semestre de um curso uiversitário com cico disciplias, foram iquiridos 50 aluos iscritos a totalidade dessas disciplias. As respostas quato ao úmero de disciplias realizadas com aproveitameto por aluo foram as seguites: Um dos pricipais idicadores da poluição atmosférica as grades cidades é a cocetração de ozoo a atmosfera. Num dado Verão, e uma dada cidade, registaram-se 78 valores dessa cocetração, tedo-se obtido os seguites valores:

2 Revisões de Estatística A aálise iicial dos dados tem como pricipais objectivos: a eploração dos dados para descobrir/idetificar aspectos ou padrões de maior iteresse; a represetação dos dados de modo a destacar esses aspectos ou padrões: codesar os dados observados sob a forma de quadros; represetar graficamete os dados; calcular idicadores uméricos de localização e de dispersão. Agrupameto dos dados Tabela de frequêcias caso de dados de atureza discreta, com um úmero pequeo de valores distitos valores da variável (úmero de disciplias realizadas com aproveitameto) frequêcia absoluta frequêcia relativa i i f i F i 0 3 0,06 0, ,18 0, ,14 0, ,12 0, ,22 0, ,28 1,00 frequêcia relativa acumulada 7 8 Frequêcia Frequêcia absoluta ( i) úmero de observações iguais a i Frequêcia relativa ( f i ) fracção do úmero total de observações iguais a i f i = i / i Frequêcia relativa acumulada ( F i ) fracção do úmero total de observações meores ou iguais a i i F i = k=1 f k Agrupameto dos dados (cot.) Tabela de frequêcias dados de atureza cotíua ou dados de atureza discreta com um úmero elevado de valores distitos este caso há que agrupar os dados em classes seguido, por eemplo, o procedimeto seguite: 1) determiar o máimo e o míimo do cojuto dos dados (avaliado a amplitude total = ma - mi); 2) escolher o úmero de classes; 3) defiir os vários itervalos de classe fiado os seus limites: os itervalos têm de ser disjutos e o domíio da variável tem de estar cotido a uião de todos os itervalos; 4) cotar os valores pertecetes a cada classe, determiado a frequêcia absoluta e relativa de cada classe Número de classes A escolha do úmero de classes, além de se basear a eperiêcia e os objectivos do ivestigador, depede de dois factores: a dimesão () e a amplitude total da amostra. Eemplo de uma regra para escolha do úmero de classes com amplitude costate: Regra de Sturges toma-se como úmero de classes o iteiro (m) mais próimo de 1 log 2 =1 log log 2 11 Eemplo 2 (cot.) 1) mi = 1.1 e ma = ) Pela regra de Sturges m = 7 1 log 2 = ) Amplitude das classes h = 1.5 (ma-mi)/7 =1.51 Tabela de frequêcias Classe Itervalo de Poto i classe médio i f i F i 1 ]0.0, 1.5] 0,75 4 0,05 0,05 2 ]1.5, 3.0] 2,25 9 0,12 0,17 3 ]3.0, 4.5] 3, ,26 0,42 4 ]4.5, 6.0] 5, ,31 0,73 5 ]6.0, 7.5] 6, ,19 0,92 6 ]7.5, 9.0] 8,25 3 0,04 0,96 7 ]9.0,10.5] 9,75 2 0,03 0,99 8 ]10.5,12.0] 11,25 1 0,01 1,00 12

3 Represetação gráfica Diagrama de barras um referecial ortoormado marcam-se o eio das abcissas todos os valores que a variável pode tomar e, em cada um, traçam-se barras verticais de ordeada igual à frequêcia absoluta/relativa observada utiliza-se quado o cojuto de dados é discreto com um úmero moderado de valores possíveis (eemplo 1). Histograma diagrama de áreas formado por uma sucessão de rectâgulos adjacetes, cuja base é a amplitude de cada classe e cuja área represeta a frequêcia relativa a classe utiliza-se com dados agrupados em classes (eemplo 2). 13 Idicadores uméricos Em geral, é importate resumir os dados de atureza quatitava, calculado algumas características uméricas da amostra de modo a ter iformação sobre a sua localização média, mediaa, quatis e moda dispersão amplitude total, amplitude iter-quartil, variâcia, desvio padrão e coeficiete de variação 14 Idicadores de localização: média Seja { 1, 2,..., } uma amostra com observações. Defie-se média aritmética, ou simplesmete média, como = 1 2 = Nota: sempre que possível deve-se calcular a média a partir de dados ão classificados; o etato, quado apeas se dispõe de dados classificados pode-se calcular a c i ' i média agrupada = '= i Algumas propriedades da média A média é o poto de equilíbrio ( cetro de gravidade ) das observações. A média de uma trasformação liear dos dados é a trasformação liear da média dos dados origiais, i.e., i =a b i =a b. A média é muito sesível a valores etremos (outliers) em que c é o úmero de classes, é a frequêcia absoluta da classe i e é o poto médio da classe i. i ' i Idicadores de localização: mediaa Seja { 1, 2,..., } uma amostra com observações, e sejam { 1, 2,..., } as observações ordeadas Defie-se mediaa como 2 1 ={ se ímpar se par A mediaa é o valor que separa as 50% das observações iferiores das 50% superiores. Ao cotrário da média, a mediaa é uma medida de localização resistete a erros grosseiros e outliers. Idicadores de localização: quatil Defie-se quatil de ordem p (0 < p < 1) como [ p] 1 Q p ={ p p 1 2 se p ão é iteiro se p é iteiro em que [p] desiga o maior iteiro cotido em p

4 Idicadores de localização: quatil (cot.) Para dados agrupados, o cálculo do quatil de ordem p (Q p) pode ser feito de diversas maeiras. A mais usual correspode a localizar a primeira classe (k) cuja frequêcia relativa acumulada é superior ou igual a p ( F k p) e cosiderar o seu etremo iferior mi ( k ) como uma aproimação iicial a que é preciso adicioar uma correcção. Essa correcção é proporcioal à amplitude da classe (h) e ao úmero de observações que faltam para atigir os p 100 % de observações iferiores Qp Q ' p = k mi h pf k1 Idicadores de localização: moda Para dados qualitativos ou dados discretos ão agrupados, a moda defie-se como o valor mais frequete. Para dados agrupados, a moda é um valor da classe com frequêcia mais elevada (classe modal) calculado por regras empíricas, por eemplo mod= k mi h f k 1 f k1 f k 1, mi em que k é o limite iferior da classe modal, f k1 e f k 1 são as frequêcias, respectivamete, da classe aterior e da classe posterior à classe modal. f k Idicadores de dispersão Amplitude total: A tot = ma mi Amplitude iter-quartil: AIQ = Q 0.75 Q 0.25 Variâcia: s 2 i 2 = = 1 i 2 1 i 2 Idicadores de dispersão Para dados agrupados em c classes: Amplitude total: A tot ma mi c 1 Variâcia: c c ' s' 2 i ' 2 2 i i ' i = = ' 2 c = ' 2 i f i ' 2 Desvio padrão: s= s 2 c ma 1 mi em que é o limite superior da última classe, é o limite iferior da primeira classe, i é a frequêcia absoluta da classe i, ' é a média agrupada, ' i é o poto médio da classe i e f i é a frequêcia relativa da classe i Algumas propriedades dos id. de dispersão A amplitude total, a variâcia e o desvio padrão são medidas de dispersão muito ifluêciadas por valores etremos. A amplitude iter-quartil é uma medida mais resistete a erros grosseiros e outliers. s 2 0 e s 0 Seja { 1, 2,..., } uma amostra com observações 2 com variàcia s e i =a b i,,,. A variâcia das ovas observações é s 2 =b 2 2 s e o desvio padrão é s = b s. 23 Dispersão absoluta e relativa As medidas de dispersão ateriores são chamadas de absolutas pois depedem da uidade da variável a que se referem. Medidas de dispersão relativa são idepedetes da uidade da variável, permitido comparar dados cujas uidades são diferetes ou que diferem cosideravelmete em gradeza. De um modo geral, as medidas de dispersão relativa são defiidas como dispersão absoluta dispersão relativa= localização 24

5 Coeficiete de variação A medida de dispersão relativa mais usada é o coeficiete de variação, CV= s 100 %. Nota: CV só pode ser ser usado quado a variável toma valores de um mesmo sial, i.e., só positivos ou só egativos. O CV pode ser iterpretado como a fracção da dispersão pela qual a localização é resposável em muitas situações, quato maior é a localização maior tede a ser a dispersão. 25 Assimetria As distribuições podem classificar-se em: simétricas média = mediaa = moda eviesadas à esquerda ou assimétricas positivas média > mediaa > moda eviesadas à direita ou assimétricas egativas média < mediaa < moda A assimetria (afastameto da simetria) é tato maior quato mais afastadas estiverem média, mediaa e moda. 26 Assimetria (eemplos) Distribuição simétrica Distribuição assimétrica positiva Distribuição assimétrica egativa Outliers Outlier é um elemeto que se afasta do padrão geral dos dados e a que se deve dar ateção especial. Regra prática para idetificação de (cadidatos) a outliers: Um valor i é cosiderado um outlier quado i Q Q 3 Q 1 ou i Q Q 3 Q 1, em que Q 1 = Q 0.25 e Q 3 = Q 0.75 são o 1º e o 3º quartil, respectivamete; Nota: os valores Q Q 3 Q 1 e Q Q 3 Q 1 são as chamadas barreiras iferior e superior, respectivamete; Outliers (cot.) A idetificação e iterpretação de outliers é uma tarefa complea e altamete subjectiva. Este tipo de observações pode resultar: de erros humaos cometidos ao medir ou ao registar os dados, da própria atureza do feómeo em estudo. A elimiação de poteciais outliers deve fazer-se com prudêcia. É acoselhável proceder à aálise estatística com e sem eles e avaliar a sua ifluêcia a aálise e iterpretação dos resultados. Se as difereças forem apreciáveis há que relatar este facto e, evetualmete, recolher mais dados e recomeçar a aálise. Diagrama de etremos-e-quartis O diagrama de etremos-e-quartis (ou caia-debigodes, bo-ad-whiskers plot) é um gráfico que permite represetar em simultâeo medidas de localização e dispersão de uma amostra: trasmite de modo imediato uma ideia da localização, dispersão e forma da população de que foi etraída a amostra; é um istrumeto adequado para comparar várias amostras. Q 1 Q 3 mí má

6 Caia-de-bigodes com outliers A preseça de outliers leva a modificar a caia-debigodes. Os bigodes vão somete até aos elemetos do cojuto de dados mais etremos que ão são outliers. Os outliers são marcados com potos Estatística descritiva a duas dimesões Quado se cosideram colecções de pares de variáveis ( i, i ), i = 1,...,, deiamos de estar iteressados em eplorar isoladamete cada uma das variáveis. O objectivo passa a ser o estudo da variação cojuta dessas variáveis, procurado pôr em evidêcia relações evetualmete eistetes etre elas. Em Estatística, ão são relações determiísticas (relações fucioais) que iteressam, mas sim a variação em média das duas variáveis (relação estatística) Correlação Etre duas variáveis quatitativas ligadas por uma relação estatística diz-se que eiste correlação. Quado eiste correlação, os feómeos observados ão estão idissoluvelmete ligados, mas a itesidade de um é acompahada tedecialmete pela itesidade do outro, o mesmo setido (correlação positiva) ou em setido iverso (correlação egativa). Diagrama de dispersão Diagrama de dispersão (ou uvem de potos) é a represetação gráfica de um cojuto de pares de observações ( i, i ), i = 1,...,, um sistema de eios cartesiaos. O poto, é o cetro de gravidade da uvem de potos. Eemplos: a) Relação etre o preço do viho e o motate da colheita em cada ao; b)relação etre o peso e a altura de um ser humao adulto. 33 Através da aálise gráfica obtém-se uma ideia iicial da associação estatística etre as duas variáveis: liear ou ão; crescete ou decrescete. 34 Idicadores para dados bidimesioais: covariâcia Para além dos idicadores uméricos que caracterizam idividualmete cada uma das amostras,, s 2, s 2,..., podem-se defiir ovos parâmetros para descrever as relações eistetes uma amostra bivariada. Defie-se covariâcia de e como cov, = i i = 1 i i 1 i i 35 Algumas propriedades da covariâcia Seja { i, i } uma amosta bivariada e sejam * i =a b i e * i =c d i trasformações lieares dos dados. Etão cov *, * =bd cov,. A covariâcia é um idicador da associação (liear) etre duas variáveis: quado cov(, ) > 0 há correlação positiva; quado cov(, ) < 0 há correlação egativa; A covariâcia tem, o etato, um forte icoveiete: depede da uidade de medida usada, sedo fortemete afectada por mudaças de escala as observações. 36

7 Idicadores para dados bidimesioais: coeficiete de correlação Defie-se coeficiete de correlação de uma amostra bivariada como cov, r=r = com s s s 0 e s 0. O coeficiete de correlação é também um idicador umérico que permite avaliar o grau de associação liear etre duas variáveis. É, o etato, uma idicação meramete ordial: podemos ordear diferetes valores de r e com isso ter uma ideia sobre quais as variáveis que têm um grau de associação(liear) mais forte; ão faz, o etato, setido dizer que r = 0.90 represeta uma correlação duas vezes mais forte do que a dada por r = Propriedades do coeficiete de correlação r tem sempre o mesmo sial da covariâcia. 1 r 1. O valor de r ão é afectado, em valor absoluto, por trasformações lieares das variáveis, i.e., se r é o coeficiete de correlação da amostra bivariada { e * i =a b i e * i, i } i =c d i são trasformações lieares das variáveis, etão ou r *=r * se bd 0 r *=r * se bd 0. r = 1 se todos os valores observados se ecotram sobre uma recta. 38 Iterpretação do valor de r Eemplos r = 1 se todos os potos observados se ecotram sobre uma recta de declive positivo. r 1 se todos os potos observados se ecotram próimos de uma recta de declive positivo. r 0 se a uvem apreseta um aspecto arredodado ou alogado segudo um dos eios. r 1 se todos os potos observados se ecotram próimos de uma recta de declive egativo. r = 1 se todos os potos observados se ecotram sobre uma recta de declive egativo. 20 r = 1 r = r = r = r = r = Iterpretação do valor de r (cot.) Um valor de r elevado ão sigifica, ecessariamete, uma associação liear forte. Pode ser uma cosequêcia da estrutura da uvem de potos ou da eistêcia de potos afastados. r 0 ão sigifica mais do que a ausêcia de qualquer relação ou tedêcia liear etre as variáveis. Uma das variáveis pode ser completamete determiada pela outra e a correlação ser ula. Não cofudir associação estatística com causalidade: um valor elevado de r ão sigifica que seja causa de Dados de Ascombe > ascombe média variâcia ou que seja causa de

8 Dados de Ascombe Eemplos: r = r = = r = = Situações determiísticas: = f() r = = r = = Quadro de correlação Regressão liear simples coteto descritivo Quado a amostra bivariada é muito grade, pode ser útil codesar os dados uma distribuição (agrupada ou ão) de frequêcias bivariadas, formado um quadro de correlação ou quadro de dupla etrada. A preseça de frequêcias mais elevadas sobre ou a vizihaça de uma das diagoais do quadro de correlação evidêcia a eistêcia de correlação (positiva ou egativa) etre as duas variáveis em questão. Quado só se tem acesso a dados agrupados é possível calcular valores (aproimados) de covariâcia e do A regressão liear estima a relação liear etre duas variáveis: variável preditora (idepedete) variável resposta (depedete) Por vezes ão é claro qual das variáveis é a resposta e qual é a variável idepedete (altura, peso). Neste caso deve usar-se uma aálise de correlação. A regressão liear simples estima relações da forma = b 0 + b 1 coeficiete de correlação Regressão liear simples - eemplo = 31 pares de observações em cerejeiras diâmetro à altura do peito (DAP) - volume troco Regressão liear simples coteto descritivo Cosiderem-se pares de observações ( i, i ), i = 1,...,. Pretede-se determiar a recta = b 0 + b 1 que melhor se ajusta às observações de acordo com o critério dos míimos quadrados. Sejam i =b 0 b 1 i os i ajustados pela recta. O erro ou resíduo é dado por e i = i i = i b 0 b 1 i. R package trees(datasets) 47 Pretede-se determiar b 0 e b 1 que miimizem a soma dos quadrados dos resíduos. 48

9 Regressão liear simples eemplo Regressão liear simples coteto descritivo Volume (m^3) Seja SQRE= e i 2 = Determiar b 0 e b 1 que miimizem SQRE {b 1 = b 0 Nota: b 1 tem o sial de cov(, ) e r. cov, s 2 = b 1 i b 0 b 1 i 2 = r s s DAP (cm) Regressão liear simples eemplo Regressão liear simples coteto descritivo = A recta de regressão passa o poto, O declive da recta b 1 : chama-se coeficiete de regressão de sobre, represeta a variação esperada para quado aumeta 1 uidade. Precisão da recta: Uma medida da precisão da recta de regressão é dada pelo coeficiete de determiação r 2 que mede a percetagem de variabilidade de que é eplicada pela regressão. Eemplo: r 2 = Bibliografia Murteira, B.J.F. (1993) Aálise Eploratória de Dados: Estatística Descritiva, McGraw-Hill, Lisboa. Murteira, B., Ribeiro, C.S., Silva, J.A. e Pimeta C. (2010). Itrodução à Estatística. Escolar Editora. Neves, M. (2009) Itrodução à Estatística e Probabilidade. Apotametos de apoio às aulas. Estatística Descritiva: Pestaa, D.D. e Velosa, S.F. (2002) Itrodução à Probabilidade e à Estatística, vol.i, Fudação Caloustre Gulbekia, Lisboa. 53