Métodos Não-Paramétricos

Transcrição

1 Métodos Não-Paramétricos Departamento: DEIO Licenciatura: Estatística Aplicada 2ºAno / 2º Semestre / 6 ECTS Docente: Isabel Fraga Alves (isabel.alves@fc.ul.pt )

2 Programa Introdução Análise de Dados Categorizados Teste do Qui-Quadrado Teste de Ajustamento Tabelas de Contingência Teste de Independência Teste de Homogeneidade Estatística Não-Paramétrica Introdução: O problema geral to be da fixed localização relativo a 2 amostras Amostras emparelhadas Teste dos Sinais (pequenas e grandes amostras) Teste de Wilcoxon(pequenas e grandes amostras) Uso das Ordens para Comparar Populações: Amostras Independentes 2 Populações: O Teste de Mann-Whitney(pequenas e grandes amostras) Mais de 2 Populações: O Teste de Kruskal-Wallis(pequenas e grandes amostras) Teste de Friedman(pequenas e grandes amostras) Uso das Ordens para Testar Independência e Aleatoriedade Teste de Spearman(pequenas e grandes amostras) Teste dos Runs para Aleatoriedade (pequenas e grandes amostras) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 2

3 Bibliografia CONOVER, W. J. (1999) - Practical Nonparametric Statistics, 3rd ed. Wiley. DANIEL, W. W. (1990) - Applied Nonparametric Statistics, 2nd ed. PWS-Kent. Graça Martins, M. E. (2005) Introdução à Probabilidade e à Estatística Com complementos de Excel, SPE. DeGroot, Morris H. - Probability and statistics (1986 ) - 2nd ed Massachusetts Addison- Wesley. Pestana e Velosa (2006) - Introdução à Probabilidade e à Estatística, I, Fundação Gulbenkian. 2ª ed. SIEGEL, S. and Castellan, N. Y. (1988) - Nonparametric Statistics for the Behavioral Sciences. McGraw-Hill. * Wackerly, D., Mendenhall, W. and Scheaffer, L. (2008) Mathematical Statistics with Applications. Duxbury Press; 7th ed. * Manual Recomendado para consulta das Tabelas ao longo dos slides. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 3

4 Introdução O que é a Estatística? Estudo da Incerteza Como a quantificar? Que podemos fazer com ela? As experiências repetidas sob o que pensamos serem as condições não resultam sempre da mesma forma! Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 4

5 Tipos de Experiências Causais ou Determinísticas Ex: Deixar cair uma pedra no rio Aleatória ou Estocástica Ex: O Tempo que vou Esperar pelo Autocarro Como posso prever o resultado? Com Estatística quantificamos e medimos o imprevisível! Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 5

6 Estatística: produz afirmações numéricas relativamente a situações sujeitas aincerteza. Exemplos: Quem irá ganhar as próximas eleições? Estarão os clientes da PT satisfeitos com o serviço prestado? Qual das duas pastas dentífricas é mais eficiente que a outra para prevenir as cáries? Qual a previsão da quantidade de precipitação para o próximo inverno? Após a monitorização de pacientes com doenças cardíacas, como decidir acerca dos factores que afectam a sua saúde? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 6

7 Como e Que Respostas? Para responder a estas perguntas frequentemente usamos modelos probabilísticos, que são modelos matemáticos para lidar com incerteza. São recolhidos Dados para explorar uma População, o objectivo de nosso estudo. Quando é recolhida uma amostra grande é necessário produzir resumos das informações nela contidas. Existem ferramentas gráficas e numéricas que são normalmente utilizadas pelos estatísticos AMOSTRA Estatística Descritiva Inferência Estatística - faz generalizações, válidas para a População, a partir de Amostras. (enquanto na Previsão - é apresentada uma afirmação sobre o Futuro.) Dados- observações de determinadas quantidades de interesse. Variáveis - incerteza acerca dos seus verdadeiros valores. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 7

8 Tipos de Variáveis VARIÁVEL QUANTITATIVA QUALITATIVA DISCRETA CONTÍNUA ORDINAL NOMINAL Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 8

9 Tipos de Variáveis (cont.) QUANTITATIVA vs. QUALITATIVA :variáveis com / sem representação numérica e ordenação natural única (por exemplo, a pressão arterial versus religião). DISCRETA vs. CONTÍNUA:variáveis quantitativas com / sem lacunas conceptuais entre os seus valores (por exemplo, número de crianças numa família versus pressão arterial). ORDINAL vs. NOMINAL:variáveis qualitativas com / sem ordenação (eventualmente não única) dos seus valores (a satisfação do cliente versus religião). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 9

10 Tipos de Variáveis (cont.) De modo geral, as variáveis qualitativas estão mais ligadas aos modelos não-paramétricos enquanto que as variáveis quantitativas aos modelos paramétricos. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 10

11 Tipos de Variáveis (cont.) As variáveis qualitativas podem ainda ser classificadas de acordo com: VARIÁVEL CATEGORIZADA (Categórica, Nominal ou de Classe) nomes das pessoas ou coisas; as letras do alfabeto; o sexo, masculino ou feminino, macho ou fêmea; o estado civil, solteiro, casado, divorciado, viúvo; o curso, primário, secundário, colegial, universitário, pós-graduação, etc. Representa o nível mais simples e mais elementar de medição. Os indivíduos de uma população ou amostra são medidos mediante uma certa característica que pode ser categoria, nome ouclasse. Característicasbinárias ou dicotomizadas: presente ou ausente, 1 ou 0, positivo ou negativo, vivo ou morto, sim ou não, benigno ou maligno, etc. Essas características são mutuamente exclusivas, isto é, cada indivíduo só pode se enquadrar em um único nome, categoria ou classe, e também são exaustivas, pois devem atingir todos os indivíduos da população ou amostra em estudo, sem excepção. A variável categórica é qualitativa e não se presta aos cálculos aritméticos comuns: soma, subtracção, multiplicação e divisão. Apresenta as seguintes propriedades de equivalência (=): reflexiva (x=x); simétrica (x=y então y=x); transitiva (x=y e y=z então x=z). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 11

12 Tipos de Variáveis (cont.) VARIÁVEL ORDINAL no alfabeto, A,B,C,D ou D,C,B,A; em números de ordem, 1,2,3 ou 3,2,1; no sexo, F,M ou M,F; no curso, primário- secundário-superior ou superior-secundárioprimário; em uma quantificação, leve-moderado-intenso ou intenso-moderadoleve; em cruzes, +,++,+++,++++ ou ++++,+++,++,+; na ordenação de dados numéricos, 11,18,23,29,35 ou 35,29,23,18,11; etc. Os indivíduos de uma população ou amostra são classificados de acordo com as diversas categorias de uma determinada característica e em seguida são ordenados. Esta ordenação pode ser crescente ou decrescente, ou igualmente, ascendente ou descendente. A variável ordinal também é qualitativa. Sabe-se que um indivíduo ou coisa é maior ou menor do que outro, porém não se sabe o quanto é maior nem o quanto é menor. São comuns as expressões comparativas: maior, menor; superior, inferior; primeiro, último; mais intenso, menos intenso; mais alto, mais baixo; preferível; etc. Na escala ordinal utilizam-se as comparações maior do que (>) e menor do que (<). As operações aritméticas comuns (adição, subtracção, multiplicação e divisão) não são aplicáveis. Na ordenação, a relação maior do que (>) apresenta a propriedade transitiva(se x>y e y>z então x>z). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 12

13 Tipos de Variáveis (cont.) VARIÁVEL INTERVALAR os valores de idade, altura, peso, pressão arterial, frequência cardíaca, exames laboratoriais, medidas diversas, etc. A escala intervalar é verdadeiramente quantitativa. A medição é feita directamente em números reais, obtidos mediante a comparação com um determinado valor fixo, denominado unidade. O nome intervalar está ligado aos intervalos entre as categorias da variável e aqui se sabe exactamente o quantouma categoria é menor ou maior que outra, ou ainda se há igualdade entre elas. As operações aritméticas comuns (soma, subtracção, multiplicação e divisão) são aplicáveis. A variável intervalar reúne todas as propriedades dos dois tipos anteriores de mensuração: as de equivalência (=), reflexiva (x=x), simétrica (x=y então y=x) e transitiva (x=y e y=z então x=z) e a de ordenação (>), transitiva (x>y e y>z então x>z). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 13

14 ESTATÍSTICA NÃO PARAMÉTRICA Extremamente interessante para análises de dados qualitativos.

15 MEDIDAS DE TENDÊNCIA CENTRAL - Localização Média Mediana Moda amostra aleatoria ɺ a a X X X (..) - 1, 2,, n amostra observada x x x - 1, 2,, n Média Amostral - é a soma de todos os valores de uma amostra dividida pelo nº de elementos da amostra (dimensão). X 1 n X i n i = 1 = É aplicada em variáveis quantitativas. A média amostral é a contrapartida empírica do Valor Médio da População ou da Variável, µ. x 1 n xi n i = 1 = Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 15

16 MEDIDAS DE TENDÊNCIA CENTRAL - Localização Mediana Amostral - É o valor da amostra que ocupa a posição central, quando todos os valores estão ordenados em ordem crescente ou decrescente. Se n for ímpar, a mediana ( Med ) será o valor que ocupa a posição central na amostra ordenada. Esta posição pode ser calculada por (n+1)/2. amostra ordenada observada - x x x 1: n 2: n n: n Se n for par, a Med será calculada pela média aritmética dos dois valores centrais na amostra ordenada da amostra. A posição de cada um desses dois valores centrais pode ser calculada por n/2 e n/2+1. AMediana é muito utilizada nos cálculos não-paramétricos. Med xn+ 1 n impar : n 2 = 1 xn + xn n par 2 : n + 1: n 2 2 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 16

17 MEDIDAS DE TENDÊNCIA CENTRAL - Localização Moda - É o valor da variável que corresponde à frequência máxima. A moda pode ter um ou mais valores, unimodal, bimodal,..., multimodal, conforme existam uma, duas, ou mais frequências iguais, dos valores da variável. Dados: 25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51 (n=13) amostra observada ( x, x,, x ) = 1 2 média n mediana - (25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51 ) amostra ordenada observada - x x x = 1: n 2: n n: n (22, 25, 28, 32, 35, 43, 46, 51, 55, 83, 83, 98, 99) x = 53.9 Med = 46 moda Mo = 83 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 17

18 Localização: Mediana vs. Média Razões para usar a mediana: É menos influenciada por valores extremos Se as distribuições são simétricas, a média e a mediana populacional coincidem Média vs. Mediana Média = 7 Med = Média = 8.43 Med = 7 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 18

19 Objectivos do Curso Distinguir Metodologias Paramétricas & Metodologias Não-Paramétricas Explicar uma Variedade de Testes Não-Paramétricos Resolver Problemas de Testes de Hipóteses usando Testes Não-Paramétricos Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 19

20 Quadro Geral Até este ponto, todos os testes que têm utilizado estão sujeitos a suposições sobre a distribuição subjacente aos dados. Especificamente, é assumido que os dados são normais para usar o teste-t, por exemplo. Poder-se-ia usar a teoria de grandes amostras e o Teorema do Limite Central, mas isso ainda apenas se verifica Assintoticamente n O que é que acontece se não estamos dispostos ou não é sensato fazer as suposições de normalidade sobre a distribuição subjacente e temos uma amostra de dimensão pequena? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 20

21 TESTE DE HIPÓTESES Trata-se de uma técnica para se fazer a inferência estatística sobre uma população a partir de uma amostra

22 Teses de Hipóteses - Metodologias Teste de Hipóteses - metodologias Paramétricas Não-Paramétricas etc Teste Wilcoxon etc Teste Kruskal-Wallis Teste - z Teste - t ANOVA E muitos mais! Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 22

23 Teses de Hipóteses - Metodologias Amostra emparelhada Teste-t emparelhado Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 23

24 Estatística Não-Paramétrica Muitos dos testes estatísticos não-paramétricos respondem à mesma série de questões tal como os testes paramétricos. Com testes não-paramétricosas hipótesespodem ser flexibilizadas consideravelmente. Por conseguinte, são utilizados métodos não-paramétricos para situações que violem os pressupostos de procedimentos paramétricos. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 24

25 Testes Paramétricos Testes Paramétricos Incidem explicitamente sobre um ou mais parâmetros de uma ou mais populações; A distribuição de probabilidades da estatística de teste pressupõe uma forma particular das distribuições populacionais; As variâncias são homogéneas; Os erros ou resíduos são aleatórios e independentes e têm distribuição normal com variância finita e constante. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 25

26 Testes Não-Paramétricos Testes Não Paramétricos Requerem menos pressupostos em relação à população; Não exigem normalidade; Não se baseiam em parâmetros da distribuição (logo, não necessitam variâncias homogéneas); Ligeiramente menos eficientes que os testes paramétricos; Baseiam-se nas estatísticas ordinais (e não nos valores das observações); Mais fáceis de aplicar. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 26

27 Testes Não-Paramétricos Vantagens Poucos Pressupostos Relativos à População Facilidade de implementação Maior Perceptibilidade Aplicável em Situações Não Abrangidas Pela Normal Mais Eficientes quando as Populações não têm Distribuição Normal Os resultados podem ser tão exactos como nos procedimentos paramétricos Desvantagens As hipóteses testadas por testes não-paramétricos tendem a ser menos específicas; Não têm Parâmetros, Dificultando Comparações Quantitativas entre Populações Escasso Aproveitamento de Informação da Amostra Pode ser de Difícil Cálculo à mão para Grandes Amostras Tabelas não amplamente disponíveis Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 27

28 Estatística Não-Paramétrica - Distribuição Livre Não incorpora as suposições restritivas, características dos testes paramétricos. Os dados não precisam estar normalmente distribuídos (Distribution-Free). É necessário, apenas, que eles sejam ordenáveis. Muitas vezes, são baseados nas ordens das observações e não nos seus valores, como no caso paramétrico. Podem ser aplicados para variáveis quantitativas e qualitativas. Menos sensíveis aos erros de medida e rápidos para pequenas amostras. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 28

29 TESTE DE HIPÓTESES Trata-se de uma técnica para se fazer a inferência estatística sobre uma população a partir de uma amostra

30 PRINCIPAIS CONCEITOS HIPÓTESE ESTATÍSTICA Trata-se de uma suposição quanto ao valor de um parâmetro populacional, ou quanto à natureza da distribuição de probabilidade de uma variável populacional. TESTE DE HIPÓTESES É uma regra de decisão para aceitar ou rejeitar uma hipótese estatística com base nos elementos amostrais Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 30

31 TEORIA POPPERIANA- Falseabilidade(ou refutabilidade) Science can't prove anything. It can only disprove things. A ciência não pode provar nada. Só pode refutar coisas. Considere o exemplo do famoso Cisne Negro (black swan): Um cientista gasta sua vida observando cisnes. Observa que todos os cisnes que jamais viu são brancos. Com base nesta evidência empírica, ele postula uma teoria de que todos os cisnes são brancos. Um dia viaja para a Austrália e vê - UPS! - um Cisne Negro. A sua teoria é refutada. Mas isso não significa que não era ciência quando a estabeleceu. Agora, pode estabelecer uma teoria nova: Os cisnes podem ser brancos ou pretos. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 31

32 Karl Popper( ) - UM FILÓSOFO INOVADOR Sir Karl Raimund Popper foi filósofo da ciência austríaco naturalizado britânico e um professor da London School of Economics. Formou-se em matemática, física e filosofia da ciência britânica. Uma das pessoas mais influentes da filosofia da Ciência durante o século XX. POPPER E A REFUTAÇÃO Uma hipótese só é científica se puder ser colocada em questão ( refutada ). Isto significa que deve ser sempre possível realizar uma observação que prove que a hipótese é falsa Uma teoria científica não poderá em nenhuma circunstância ser declarada verdadeira A teoria científica mais não é do que uma hipótese; uma conjectura, que um dia será refutada e substituída por uma outra. What really makes science grow is new ideas, including false ideas. Karl Popper SÓ APRENDEMOS QUANDO ERRAMOS. OS ESTATÍSTICOS NÃO PERGUNTAM QUAL É A PROBABILIDADE DE ESTAREM CERTOS, MAS A PROBABILIDADE DE ESTAREM ERRADOS. Para fazerem isso estabelecem uma hipótese nula. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 32

33 Data Analysis and Research for Sport and Exercise Science: A Student Guide By Craig Williams, Chris Wragg, Routledge ed., pag 6 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 33

34 PRINCIPAIS CONCEITOS TIPOS DE HIPÓTESES H 0,hipótesenula,a hipótese estatística a ser testada H 1,hipótesealternativa A HIPÓTESE NULA É UMA AFIRMAÇÃO DE COMO O MUNDO DEVERIA SER, SE NOSSA SUPOSIÇÃO ESTIVESSE ERRADA. Ex: A hipótese nula expressa uma igualdade, enquanto a hipótese alternativa é dada por uma desigualdade. H : µ = 1.5 m vs. H : µ 1.5 m 0 1 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 34

35 Testes de Hipóteses Erros EXISTEM DOIS TIPOS DE ERRO: Erro tipo 1 -rejeição de uma hipótese nula verdadeira Erro tipo II aceitação de uma hipótese nula falsa aceitação não rejeição A probabilidade α do erro tipo I é denominada nível de significância do teste. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 35

36 Testes de Hipóteses Erros ET:= Estatística de Teste RR:= Região de Rejeição RA:= Região de Aceitação REGRA de TESTE: ET RR então Rejeitar H 0 Realidade Decisão Não rejeitar H 0 Rejeitar H 0 H 0 verdadeira Decisão correcta Erro tipo I H 0 falsa Erro tipo II Decisão correcta α= P( erro tipo I ) = P(rejeitar H 0 H 0 verdadeira) = P(ET RR H 0 verd.) nível de significância ou tamanho do teste β= P(erro tipo II)=P(não rejeitar H 0 H 0 falsa) = P(ET RA H 0 falsa) 1-β= potência do teste Probabilidade de não cometermos um erro do tipo II Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 36

37 p -Value O resultado foi significativo? Quão pequeno tem de ser o p-value, para se rejeitar a hipótese nula? Se p-value < 5 % estatisticamente significativo. Se p-value < 1 % altamente significativo. Os investigadores devem resumir os dados, dizer qual o teste usado e reportar o p-value (em vez de apenas o comparar com os valores de 1 % ou 5 % ) No caso de se estabelecer à partida o nível de significância α e se o TESTE indicar a aceitação de H 0, diz-se que Ao nível de significância αnão se pode rejeitar H 0. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 37

38 TIPOS DE TESTE Qui-Quadrado Teste dos Sinais Teste de Wilcoxon Teste de Mann-Whitney Teste de Kruskal-Wallis Teste de Friedman Teste de Spearman Teste dos Runs Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 2ºAno/2ºSem (6 ECTS) 38