Métodos Não-Paramétricos

Transcrição

1 Métodos Não-Paramétricos Departamento: DEIO Licenciatura: Estatística Aplicada 1ºAno / 2º Semestre / 6 ECTS Docente: Isabel Fraga Alves (isabel.alves@fc.ul.pt )

2 Programa Introdução Análise de Dados Categorizados Teste do Qui-Quadrado Quadrado Teste de Ajustamento Tabelas de Contingência Teste de Independência Teste de Homogeneidade Estatística stica Não-Param Paramétrica Introdução: O problema geral da localização relativo a 2 amostras Amostras emparelhadas Teste dos Sinais (pequenas e grandes amostras) Teste de Wilcoxon (pequenas e grandes amostras) Uso das Ordens para Comparar Populações: Amostras Independentes 2 Populações: O Teste de Mann-Whitney (pequenas e grandes amostras) Mais de 2 Populações: O Teste de Kruskal-Wallis (pequenas e grandes Teste de Friedman (pequenas e grandes amostras) pequenas e grandes amostras) Uso das Ordens para Testar Independência e Aleatoriedade Teste de Spearman (pequenas e grandes amostras) Teste dos Runs para Aleatoriedade (pequenas e grandes amostras) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 2

3 Bibliografia CONOVER, W. J. (1999) - Practical Nonparametric Statistics, 3rd ed. Wiley. DANIEL, W. W. (1990) - Applied Nonparametric Statistics, 2nd ed. PWS-Kent. Graça Martins, M. E. (2005) Introdução à Probabilidade e à Estatística Com complementos de Excel, SPE. DeGroot, Morris H. - Probability and statistics (1986 ) - 2nd ed Massachusetts Addison- Wesley. Pestana e Velosa (2006) - Introdução à Probabilidade e à Estatística, I, Fundação Gulbenkian. 2ª ed. SIEGEL, S. and Castellan, N. Y. (1988) - Nonparametric Statistics for the Behavioral Sciences. McGraw-Hill. * Wackerly,, D., Mendenhall, W. and Scheaffer,, L. (1995) Mathematical Statistics with Applications. Duxbury Press; 5th ed. * Manual Recomendado para consulta das Tabelas ao longo dos slides. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 3

4 Introdução O que é a Estatística? Estudo da Incerteza Como a quantificar? Que podemos fazer com ela? As experiências repetidas sob o que pensamos serem as condições não resultam sempre da mesma forma! Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 4

5 Tipos de Experiências Causais ou Determinísticas Ex: Deixar cair uma pedra no rio Aleatória ou Estocástica Ex: O Tempo que vou Esperar pelo Autocarro Como posso prever o resultado? Com Estatística quantificamos e medimos o imprevisível! Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 5

6 Estatística: produz afirmações numéricas relativamente a situações sujeitas a INCERTEZA. Exemplos: Quem irá ganhar as próximas eleições? Estarão os clientes da PT satisfeitos com o serviço prestado? Qual das duas pastas dentífricas é mais eficiente que a outra para prevenir as cáries? Qual a previsão da quantidade de precipitação para o próximo inverno? Após a monitorização de pacientes com doenças cardíacas, como decidir acerca dos factores que afectam a sua saúde? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 6

7 Como e Que Respostas? Para responder a estas perguntas frequentemente usamos modelos probabilísticos, que são modelos matemáticos para lidar com incerteza. São recolhidos Dados para explorar uma População, o objectivo de nosso estudo. AMOSTRA Quando é recolhida uma amostra grande é necessário produzir resumos das informações nela contidas. Existem ferramentas gráficas e numéricas que são normalmente utilizadas pelos estatísticos Estatística Descritiva Inferência Estatística - faz generalizações, válidas para a População, a partir de Amostras. (enquanto na Previsão - é apresentada uma afirmação sobre o Futuro.) Dados - observações de determinadas quantidades de interesse. Variáveis - incerteza acerca dos seus verdadeiros valores. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 7

8 Tipos de Variáveis VARIÁVEL QUANTITATIVA QUALITATIVA DISCRETA CONTÍNUA ORDINAL NOMINAL Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 8

9 Tipos de Variáveis (cont.) QUANTITATIVA vs. QUALITATIVA : variáveis com / sem representação numérica e ordenação natural única (por exemplo, a pressão arterial versus religião). DISCRETA vs. CONTÍNUA: variáveis quantitativas com / sem lacunas conceptuais entre os seus valores (por exemplo, número de crianças numa família versus pressão arterial). ORDINAL vs. NOMINAL: variáveis qualitativas com / sem ordenação (eventualmente não única) dos seus valores (a satisfação do cliente versus religião). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 9

10 Tipos de Variáveis (cont.) De modo geral, as variáveis qualitativas estão mais ligadas aos modelos não-paramétricos enquanto que as variáveis quantitativas aos modelos paramétricos. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 10

11 Tipos de Variáveis (cont.) As variáveis qualitativas podem ainda ser classificadas de acordo com: VARIÁVEL CATEGORIZADA (Categórica, Nominal ou de Classe) nomes das pessoas ou coisas; as letras do alfabeto; o sexo, masculino ou feminino, macho ou fêmea; o estado civil, solteiro, casado, divorciado, viúvo; o curso, primário, secundário, colegial, universitário, pós-graduação, etc. Representa o nível mais simples e mais elementar de medição. Os indivíduos de uma população ou amostra são medidos mediante uma certa característica que pode ser categoria, nome ou classe. Características binárias ou dicotomizadas: presente ou ausente, 1 ou 0, positivo ou negativo, vivo ou morto, sim ou não, benigno ou maligno, etc. Essas características são mutuamente exclusivas, isto é, cada indivíduo só pode se enquadrar em um único nome, categoria ou classe, e também são exaustivas, pois devem atingir todos os indivíduos da população ou amostra em estudo, sem excepção. A variável categórica é qualitativa e não se presta aos cálculos aritméticos comuns: soma, subtracção, multiplicação e divisão. Apresenta as seguintes propriedades de equivalência (=): reflexiva (x=x); simétrica (x=y então y=x); transitiva (x=y e y=z então x=z). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 11

12 Tipos de Variáveis (cont.) VARIÁVEL ORDINAL no alfabeto, A,B,C,D ou D,C,B,A; em números de ordem, 1,2,3 ou 3,2,1; no sexo, F,M ou M,F; no curso, primário- secundário-superior ou superiorsecundário-primário; em uma quantificação, leve-moderado-intenso ou intensomoderado-leve; em cruzes, +,++,+++,++++ ou ++++,+++,++,+; na ordenação de dados numéricos, 11,18,23,29,35 ou 35,29,23,18,11; etc. Os indivíduos de uma população ou amostra são classificados de acordo com as diversas categorias de uma determinada característica e em seguida são ordenados. Esta ordenação pode ser crescente ou decrescente, ou igualmente, ascendente ou descendente. A variável ordinal também é qualitativa. Sabe-se que um indivíduo ou coisa é maior ou menor do que outro, porém não se sabe o quanto é maior nem o quanto é menor. São comuns as expressões comparativas: maior, menor; superior, inferior; primeiro, último; mais intenso, menos intenso; mais alto, mais baixo; preferível; etc. Na escala ordinal utilizam-se as comparações maior do que (>) e menor do que (<). As operações aritméticas comuns (adição, subtracção, multiplicação e divisão) não são aplicáveis. Na ordenação, a relação maior do que (>) apresenta a propriedade transitiva (se x>y e y>z então x>z). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 12

13 Tipos de Variáveis (cont.) VARIÁVEL INTERVALAR os valores de idade, altura, peso, pressão arterial, frequência cardíaca, exames laboratoriais, medidas diversas, etc. A escala intervalar é verdadeiramente quantitativa. A medição é feita directamente em números reais, obtidos mediante a comparação com um determinado valor fixo, denominado unidade. O nome intervalar está ligado aos intervalos entre as categorias da variável e aqui se sabe exactamente o quanto uma categoria é menor ou maior que outra, ou ainda se há igualdade entre elas. As operações aritméticas comuns (soma, subtracção, multiplicação e divisão) são aplicáveis. A variável intervalar reúne todas as propriedades dos dois tipos anteriores de mensuração: as de equivalência (=), reflexiva (x=x), simétrica (x=y então y=x) e transitiva (x=y e y=z então x=z) e a de ordenação (>), transitiva (x>y e y>z então x>z). Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 13

14 ESTATÍSTICA NÃO PARAMÉTRICA Extremamente interessante para análises de dados qualitativos.

15 MEDIDAS DE TENDÊNCIA CENTRAL - Localização Média Mediana Moda amostra aleatoria ɺ a a X X X (..) - 1, 2,, n amostra observada x x x - 1, 2,, n Média Amostral - é a soma de todos os valores de uma amostra dividida pelo nº de elementos da amostra (dimensão). X 1 n X i n i = 1 = É aplicada em variáveis quantitativas. A média amostral é a contrapartida empírica do Valor Médio da População ou da Variável, µ. x 1 n xi n i = 1 = Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 15

16 MEDIDAS DE TENDÊNCIA CENTRAL - Localização Mediana Amostral - É o valor da amostra que ocupa a posição central, quando todos os valores estão ordenados em ordem crescente ou decrescente. Se n for ímpar, a mediana ( Med ) será o valor que ocupa a posição central na amostra ordenada. Esta posição pode ser calculada por (n+1)/2. amostra ordenada observada - x x x 1: n 2: n n: n Se n for par, a Med será calculada pela média aritmética dos dois valores centrais na amostra ordenada da amostra. A posição de cada um desses dois valores centrais pode ser calculada por n/2 e n/2+1. A Mediana é muito utilizada nos cálculos não-paramétricos. Med xn+ 1 n impar : n 2 = 1 xn + xn n par 2 : n + 1: n 2 2 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 16

17 MEDIDAS DE TENDÊNCIA CENTRAL - Localização Moda - É o valor da variável que corresponde à frequência máxima. A moda pode ter um ou mais valores, unimodal, bimodal,..., multimodal, conforme existam uma, duas, ou mais frequências iguais, dos valores da variável. Dados: 25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51 (n=13) amostra observada ( x, x,, x ) = 1 2 média n mediana - (25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51 ) amostra ordenada observada - x x x = 1: n 2: n n: n (22, 25, 28, 32, 35, 43, 46, 51, 55, 83, 83, 98, 99) x = 53.9 Med = 46 moda Mo = 83 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 17

18 Localização: Mediana vs. Média Razões para usar a mediana: É menos influenciada por valores extremos Se as distribuições são simétricas, a média e a mediana populacional coincidem Média vs. Mediana Média = 7 Med = Média = 8.43 Med = 7 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 18

19 Objectivos do Curso Distinguir Metodologias Paramétricas & Metodologias Não-Paramétricas Explicar uma Variedade de Testes Não-Paramétricos Resolver Problemas de Testes de Hipóteses usando Testes Não-Paramétricos Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 19

20 Quadro Geral Até este ponto, todos os testes que têm utilizado estão sujeitos a suposições sobre a distribuição subjacente aos dados. Especificamente, é assumido que os dados são normais para usar o teste-t, por exemplo. Poder-se-ia usar a teoria de grandes amostras e o Teorema do Limite Central, mas isso ainda apenas se verifica Assintoticamente n O que é que acontece se não estamos dispostos ou não é sensato fazer as suposições de normalidade sobre a distribuição subjacente e temos uma amostra de dimensão pequena? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 20

21 TESTE DE HIPÓTESES Trata-se de uma técnica para se fazer a inferência estatística sobre uma população a partir de uma amostra

22 Teses de Hipóteses - Metodologias Teste de Hipóteses - metodologias Paramétricas Não-Paramétricas etc Teste Wilcoxon etc Teste Kruskal-Wallis Teste - z Teste - t ANOVA E muitos mais! Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 22

23 Teses de Hipóteses - Metodologias Amostra emparelhada Teste-t emparelhado Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 23

24 Estatística Não-Paramétrica Muitos dos testes estatísticos sticos não-param paramétricos respondem à mesma série s de questões tal como os testes paramétricos tricos. Com testes não-param paramétricos as hipóteses podem ser flexibilizadas consideravelmente. Por conseguinte, são utilizados métodos m não-param paramétricos para situações que violem os pressupostos de procedimentos paramétricos. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 24

25 Testes Paramétricos Testes Paramétricos Incidem explicitamente sobre um ou mais parâmetros de uma ou mais populações; A distribuição de probabilidades da estatística de teste pressupõe uma forma particular das distribuições populacionais; As variâncias são homogéneas; Os erros ou resíduos são aleatórios e independentes e têm distribuição normal com variância finita e constante. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 25

26 Testes Não-Paramétricos Testes Não Paramétricos Requerem menos pressupostos em relação à população; Não exigem normalidade; Não se baseiam em parâmetros da distribuição (logo, não necessitam variâncias homogéneas); Ligeiramente menos eficientes que os testes paramétricos; Baseiam-se nas estatísticas ordinais (e não nos valores das observações); Mais fáceis de aplicar. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 26

27 Testes Não-Paramétricos Vantagens Poucos Pressupostos Relativos à População Facilidade de implementação Maior Perceptibilidade Aplicável em Situações Não Abrangidas Pela Normal Mais Eficientes quando as Populações não têm Distribuição Normal Os resultados podem ser tão exactos como nos procedimentos paramétricos Desvantagens As hipóteses testadas por testes não-paramétricos tendem a ser menos específicas; Não têm Parâmetros, Dificultando Comparações Quantitativas entre Populações Escasso Aproveitamento de Informação da Amostra Pode ser de Difícil Cálculo à mão para Grandes Amostras Tabelas não amplamente disponíveis Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 27

28 Estatística Não-Paramétrica - Distribuição Livre Não incorpora as suposições restritivas, características dos testes paramétricos. Os dados não precisam estar normalmente distribuídos (Distribution-Free). É necessário, apenas, que eles sejam ordenáveis. Muitas vezes, são baseados nas ordens das observações e não nos seus valores, como no caso paramétrico. Podem ser aplicados para variáveis quantitativas e qualitativas. Menos sensíveis aos erros de medida e rápidos para pequenas amostras. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 28

29 TESTE DE HIPÓTESES Trata-se de uma técnica para se fazer a inferência estatística sobre uma população a partir de uma amostra

30 PRINCIPAIS CONCEITOS HIPÓTESE ESTATÍSTICA Trata-se de uma suposição quanto ao valor de um parâmetro populacional, ou quanto à natureza da distribuição de probabilidade de uma variável populacional. TESTE DE HIPÓTESES É uma regra de decisão para aceitar ou rejeitar uma hipótese estatística com base nos elementos amostrais Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 30

31 TEORIA POPPERIANA - Falseabilidade (ou refutabilidade) Science can't prove anything. It can only disprove things. A ciência não pode provar nada. Só pode refutar coisas. Considere o exemplo do famoso Cisne Negro (black swan): Um cientista gasta sua vida observando cisnes. Observa que todos os cisnes que jamais viu são brancos. Com base nesta evidência empírica, ele postula uma teoria de que todos os cisnes são brancos. Um dia viaja para a Austrália e vê - UPS! - um Cisne Negro. A sua teoria é refutada. Mas isso não significa que não era ciência quando a estabeleceu. Agora, pode estabelecer uma teoria nova: Os cisnes podem ser brancos ou pretos. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 31

32 Karl Popper( ) - UM FIL UM FILÓSOFO INOVADOR Sir Karl Raimund Popper foi filósofo da ciência austríaco naturalizado britânico e um professor da London School of Economics. Formou-se em matemática, física e filosofia da ciência britânica. Uma das pessoas mais influentes da filosofia da Ciência durante o século XX. POPPER E A REFUTAÇÃO Uma hipótese só é científica se puder ser colocada em questão ( refutada ). Isto significa que deve ser sempre possível realizar uma observação que prove que a hipótese é falsa Uma teoria científica não poderá em nenhuma circunstância ser declarada verdadeira A teoria científica mais não é do que uma hipótese; uma conjectura, que um dia será refutada e substituída por uma outra. What really makes science grow is new ideas, including false ideas. Karl Popper SÓ APRENDEMOS QUANDO ERRAMOS. OS ESTATÍSTICOS NÃO PERGUNTAM QUAL É A PROBABILIDADE DE ESTAREM CERTOS, MAS A PROBABILIDADE DE ESTAREM ERRADOS. Para fazerem isso estabelecem uma hipótese nula. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 32

33 Data Analysis and Research for Sport and Exercise Science: A Student Guide By Craig Williams, Chris Wragg, Routledge ed., pag 6 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 33

34 PRINCIPAIS CONCEITOS TIPOS DE HIPÓTESES H 0, hipótese nula, a hipótese estatística a ser testada H 1, hipótese alternativa A HIPÓTESE NULA É UMA AFIRMAÇÃO DE COMO O MUNDO DEVERIA SER, SE NOSSA SUPOSIÇÃO ESTIVESSE ERRADA. Ex: A hipótese nula expressa uma igualdade, enquanto a hipótese alternativa é dada por uma desigualdade. H : µ = 1.5 m vs. H : µ 1.5 m 0 1 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 34

35 Testes de Hipóteses Erros EXISTEM DOIS TIPOS DE ERRO: Erro tipo 1 - rejeição de uma hipótese nula verdadeira Erro tipo II aceitação de uma hipótese nula falsa aceitação não rejeição A probabilidade α do erro tipo I é denominada nível de significância do teste. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 35

36 Testes de Hipóteses Erros ET:= Estatística de Teste RR:= Região de Rejeição RA:= Região de Aceitação REGRA de TESTE: ET RR então Rejeitar H 0 Realidade Decisão Não rejeitar H 0 Rejeitar H 0 H 0 verdadeira Decisão correcta Erro tipo I H 0 falsa Erro tipo II Decisão correcta α = P( erro tipo I ) = P(rejeitar H 0 H 0 verdadeira) = P(ET RR H 0 verd.) nível de significância ou tamanho do teste β = P(erro tipo II)= P(não rejeitar H 0 H 0 falsa) = P(ET RA H 0 falsa) 1-β = potência do teste Probabilidade de não cometermos um erro do tipo II Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 36

37 p -Value O resultado foi significativo? Quão pequeno tem de ser o p-value, para se rejeitar a hipótese nula? Se p-value < 5 % Se p-value < 1 % estatisticamente significativo. altamente significativo. Os investigadores devem resumir os dados, dizer qual o teste usado e reportar o p-value (em vez de apenas o comparar com os valores de 1 % ou 5 % ) No caso de se estabelecer à partida o nível de significância α e se o TESTE indicar a aceitação de H 0, diz-se que Ao nível de significância α não se pode rejeitar H 0. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 37

38 TIPOS DE TESTE Qui-Quadrado Quadrado Teste dos Sinais Teste de Wilcoxon Teste de Mann-Whitney Teste de Kruskal-Wallis Teste de Friedman Teste de Spearman Teste dos Runs Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 38

39 QUI-QUADRADO (χ 2 ) Testes de Ajustamento, Independência e Homogeneidade

40 QUI-QUADRADO Testes: 1. Ajustamento (em inglês Goodness-of-fit ): frequência observada ajustada a uma frequência esperada ); 2. Independência entre duas variáveis: Comportamento de uma variável dependente ou não de outra (Tabelas de Contingência). 3. Homogeneidade de Populações independentes: (Tabelas de Contingência - margem fixa) ET: 2 ( Observadasi esperadasi ) X = esperadas Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 40 i i 2

41 Ajustamento ( Goodness-of-fit - testes para o ajuste) Tradicionalmente são utilizados para verificar a qualidade da adequação ( fit ) de uma distribuição teórica em relação a um conjunto de observações (amostra) - e.g. testar a Normalidade de uma amostra. Testes não paramétricos: amostras de valores contínuos (acesso aos dados originais) Kolgomorov-Smirnov (e outros que não iremos dar neste curso ) amostras de dados categorizados Qui-Quadrado QuadradoΧ 2 (sugerido por Karl Pearson) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 41

42 Ajustamento ( Goodness-of-fit ) Os testes de ajustamento servem para testar a hipótese de que uma determinada amostra observada tenha sido extraída de uma população com distribuição especificada (Hipótese Nula Simples);. F 0 AMOSTRA ALEATÓRIA proveniente da f.d. F(.): X, X,, X 1 2 n Hipóteses a testar: i.e, X iid F i H : F( x) = F ( x) vs. H : F( x) F ( x) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 42

43 Exemplo 1 A procura diária de um certo produto foi, em 60 dias escolhidos ao acaso, a que consta da tabela 1: Será que tais observações foram extraídas de uma população com distribuição de Poisson, ie, Será de admitir que tal procura segue uma distribuição de Poisson? Número de unidades Número de dias Tabela I: Procura diária de um produto registada em 60 dias Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 43

44 Exemplo 2 Pretende-se construir um modelo de simulação das operações de um determinado terminal de um porto situado na Europa. Uma das variáveis a considerar no modelo é a diferença entre a data de chegada dos navios provenientes dos EU e a respectiva data planeada. Dado que tal diferença é influenciada por muitos factores, pode tomar-se como uma variável aleatória. Há razões para supor que tem distribuição Normal de valor médio 0.1 e desvio padrão 7.2. Uma amostra de 30 navios revelou os resultados que se apresentam na Tabela Tabela 2: Diferença entre a data de chegada e a data planeada para 30 navios Será mesmo de admitir que tais dados foram extraídos de uma população N(0.1, )? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 44

45 TESTE DO QUI-QUADRADO - Ajustamento Consideremos uma População X dividida em k 2 categorias disjuntas e exaustivas A 1, A 2,, A k, (cada indivíduo da população pertence a uma e só a uma das categorias) Para i=1,, k, seja p i a proporção de indivíduos da População pertencentes a categoria A i, p = P[ X A ] i i com Fazer inferência estatística acerca desta População resume-se a estudar os parâmetros p i, i=1,, k. Recolha-se da População X em estudo uma amostra de dimensão n, i= 1 e comece-se por construir a tabela k p i = 1 x1, x2,, xn Classes A i Frequências A 1 o 1 A 2 o 2 o i A k o k Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 45

46 TESTE DO QUI-QUADRADO - Ajustamento Temos a generalização do modelo Binomial, ie, o modelo Multinomial : Consideram-se n provas idênticas; O resultado de cada prova pode pertencer a uma de k classes possiveis A 1, A 2,, A k ; é sempre a mesma de prova para prova, i=1,, k. e As provas são independentes; As variáveis de interesse são em que p = P[ X A ] i i Da tabela de frequências obtêm-se as estimativas (de máxima verosimilhança) dos parâmetros p i, i=1,, k, pˆ #{ } O = X A i i i i = oi n O1, O2,, Ok com k i= 1 O k i= 1 i = p i n = 1 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 46

47 TESTE DO QUI-QUADRADO - Ajustamento Teorema: Se (O 1, O 2,, O k ) é uma v.a. multinomial, com parâmetros n, p i, i=1,, k, então a função distribuição da v.a. k i= 1 ( O np ) i np aproxima-se da função distribuição dum χ 2 com (k-1) graus de liberdade, quando n. i i 2 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 47