Análise de Aderência e de Associação

Transcrição

1 Análise de Aderência e de Associação Capítulo 14, Estatística Básica (Bussab & Morettin, 8a Edição) Capítulo 8, Introdução Computacional à Probabilidade e Estatística (Pedrosa & Gama, Porto Editora) 8a AULA 04/05/2015 MAE229 - Ano letivo 2015 Lígia Henriques-Rodrigues 8a aula (27/04/2015) MAE229 1 / 17

2 1. Testes de Aderência Objetivo: Os testes de aderência ou de qualidade de ajuste consistem em testar a adequabilidade de um modelo probabilístico a um conjunto de dados: H 0 : A população tem uma distribuição especificada P = P 0 H 1 : A população não tem a distribuição especificada, em que a distribuição especificada pode ser discreta ou contínua, com os valores dos parâmetros especificados, ou não, em H 0. O que se pretende saber é se a distribuição de probabilidade considerada em H 0 é um modelo adequado à população amostrada. 8a aula (27/04/2015) MAE229 2 / 17

3 Pressupostos: Estes testes são baseados nos pressupostos de que a amostra aleatória obtida é independente e identicamente distribuída e de tamanho relativamente grande. Teste de Qui-Quadrado: Este teste é utilizado para testar a qualidade do ajuste, ao comparar a distribuição das frequências observadas (na amostra) com as frequências esperadas (obtidas sob a validade de H 0 ). 8a aula (27/04/2015) MAE229 3 / 17

4 Metodologia Quando trabalhamos com variáveis discretas e com variáveis qualitativas, a variável de interesse X está organizada em categorias ou classes A 1, A 2,..., A n, com probabilidades p i = P(X A i ), i = 1,..., s. em que H 0 : p1 = p 10, p 2 = p 20,..., p s = p s0 H 1 : p j p j0, para pelo menos um j, p i0 > probabilidade associada à categoria i, i = 1,..., k, calculada assumindo o modelo probabilístico em H 0. O modelo probabilístico adequado para esta situação é o modelo multinomial Se X for uma v.a. contínua, podemos dividir o seu domínio de variação em intervalos e construir a distribuição de frequências correspondente. 8a aula (27/04/2015) MAE229 4 / 17

5 Tabela de contingência Categoria Frequência Observada Frequência Esperada A 1 O 1 E 1 A 2 O 2 E 2... A s O s E s Total n n O i > valor efetivamente observado para a classe A i E i > valor esperado para a classe A i, sob a validade de H 0, E i = np i0, i = 1, 2,..., s. 8a aula (27/04/2015) MAE229 5 / 17

6 Estatística de Teste χ 2 = s (O i E i ) 2 E i i=1 H0 χ 2 (s 1) Região Crítica RC=(c, + ), onde P(χ 2 (s 1) > c) = α Nota: Quanto maior for a discrepância entre as frequências observadas e as frequências esperadas, maior é o valor observado da estatística de teste, e portanto, mais desfavoráveis são os dados a H 0 > A RC é uma cauda à direita 8a aula (27/04/2015) MAE229 6 / 17

7 Exemplo 1: V.a. s discretas (pág. 410) Um estudo sobre a distribuição dos acidentes de trabalho numa indústria nos cincos dias da semana revelou que, em 150 acidentes: segunda: 32, terça: 40, quarta: 20, quinta: 25 e sexta: 33. O objetivo é testar a hipótese que os acidentes ocorrem com igual frequência nos cinco dias da semana (considere α = 5%). Hipóteses: H 0 : p 1 = p 2 = p 3 = p 4 = p 5 = 1/5 versus H 1 : p j 1/5, para pelo menos um j Dia O i E i = n p i (O i E i ) 2 /E i Segunda ,1333 Terça ,3333 Quarta ,3333 Quinta ,8333 Sexta ,3000 Total ,932=χ 2 obs Região Crítica: RC=(9.488, + ), P(χ 2 (4) > 9, 488) = Decisão: Como χ 2 obs / RC então não rejeitamos H 0 ao n.s. de 5%. 8a aula (27/04/2015) MAE229 7 / 17

8 Exemplo 2: V.a. s contínuas (pág. 411) Considere os dados abaixo, que supostamente são uma amostra de tamanho n = 30 de uma distribuição normal, de média µ = 10 e variância σ 2 = 25. Os dados já estão ordenados 1,04 1,73 3,93 4,44 6,37 6,51 7,61 7,64 8,18 8,48 8,57 8,65 9,71 9,87 9,95 10,01 10,52 10,69 11,72 12,17 12,61 12,98 13,03 13,16 14,11 14,60 14,64 14,75 16,68 22,14 Considerando 4 intervalos de igual amplitude, teste a hipótese ao nível de significância de 5%: H 0 : P = N(10, 25) 8a aula (27/04/2015) MAE229 8 / 17

9 Determinar o 1º, 2º e 3º quartis da distribuição: 1º quartil: Q(0, 25) = Z (0, 25) = ( 0, 6745) = 6, º quartil: Q(0, 5) = µ = 10 3º quartil: Q(0, 75) = Z (0, 75) = (0, 6745) = 13, 3725 Classes O i E i = n p i (O i E i ) 2 /E i (, 6.63] 6 7,5 0,3 (6.63, 10] 9 7,5 0,3 (10, 13.37] 9 7,5 0,3 (13.37, + ) 6 7,5 0,3 Total ,2=χ 2 obs Nota: p 1 = p 2 = p 3 = p 4 = 0, 25. Região Crítica: RC=(7, 815, + ), P(χ 2 (3) > 7, 815) = Decisão: Como χ 2 obs / RC então não rejeitamos H 0 ao n.s. de 5%, ou seja, podemos considerar que temos uma amostra de uma normal com média 10 e variância 25. 8a aula (27/04/2015) MAE229 9 / 17

10 Algumas considerações: Como regra empírica, pode considerar-se que n é suficientemente grande se o número esperado de observações de todas as classes for maior ou igual a 5; No entanto, se cerca de 75% das classes satisfizerem esta condição e o número esperado de observações das restantes for pelo menos 2, então o teste pode ser usado satisfatoriamente. Caso nenhuma destas situações se verifique, deve aumentar-se o tamanho da amostra ou juntar-se classes adjacentes. 8a aula (27/04/2015) MAE / 17

11 2. Testes de Independência Quando estudamos duas caraterísticas diferentes da mesma população, é frequente querermos saber se são independentes, isto é, se não existe nenhuma relação entre elas. Vamos supor a existência de duas variáveis X e Y (por exemplo: situação de emprego e sexo), que são classificadas, quando observadas, numa e só numa de várias categorias (ou classes) possíveis, obtendo-se uma tabela de dupla entrada. Objetivo Testar a hipótese que X e Y são independentes. Pressupostos Admite-se que cada realização de cada variável pode ser classificada numa de várias categorias exaustivas e mutuamente exclusivas e que a amostra aleatória obtida é independente e identicamente distribuída e de tamanho relativamente grande. 8a aula (27/04/2015) MAE / 17

12 Metodologia Considere-se: p ij > probabilidade de um indivíduo ser classificado na categoria i (i = 1,..., r) e na categoria j (j = 1,..., s), simultaneamente; p i > probabilidade marginal de um indivíduo ser classificado na categoria i (i = 1,..., r); p j > probabilidade marginal de um indivíduo ser classificado na categoria j (j = 1,..., s). A hipótese de independência pode ser escrita na seguinte forma, Nota: p i = s j=1 p ij e p j = r i=1 p ij. H 0 : p ij = p i p j, para todo par (i, j) H 1 : p ij p i p j, para algum par (i, j) 8a aula (27/04/2015) MAE / 17

13 Tabela de Contingência Classe i Classe j da outra variável de uma variável s Total 1 O 11 (E 11 ) O 12 (E 12 )... O 1s (E 1s ) O 1 = E 1 2 O 21 (E 21 ) O 22 (E 22 )... O 2s (E 2s ) O 2 = E r O r1 (E r1 ) O r2 (E r2 )... O rs (E rs ) O r = E r Total O 1 = E 1 O 2 = E 2... O s = E s n Consequentemente, fazendo E i = O i e E j = O j, as estimativas das probabilidades são p i = O i n, p j = O j n e p ij = O i O j n 2. 8a aula (27/04/2015) MAE / 17

14 As frequências esperadas (estimadas) E ij, sob a validade da hipótese de independência são dadas por E ij = n p ij = freq. marg. da linha i freq. marg. da coluna j n = O i O j n Estatística de Teste χ 2 = r s (O ij E ij ) 2 E ij i=1 j=1 H0 χ 2 (r 1)(s 1) Região Crítica RC=(c, + ), onde P(χ 2 (r 1)(s 1) > c) = α Nota: Quanto maior for a discrepância entre as frequências observadas e as frequências esperadas, maior é o valor observado da estatística de teste, e portanto, mais desfavoráveis são os dados a H 0 > A RC é uma cauda à direita 8a aula (27/04/2015) MAE / 17

15 Nota: Dado que a distribuição Qui-quadrado é uma distribuição aproximada, é necessário garantir que o número esperado de observações de todas as caselas seja maior ou igual a 5. Exemplo (pág. 78 e 417): Queremos verificar se a criação de determinado tipo de cooperativa está associada com algum fator regional. Os dados coletados foram organizados na seguinte tabela Estado Tipo de cooperativa Consumidor Produtor Escola Outras Total São Paulo Paraná Rio G. do Sul Total a aula (27/04/2015) MAE / 17

16 Hipóteses: H 0 : p ij = p i p j, para todo par (i, j) versus H 1 : p ij p i p j, para algum par (i, j) Estado Tipo de cooperativa Consumidor Produtor Escola Outras Total São Paulo 214 (157) 237 (269) 78 (143) 119 (79) 648 Paraná 51(73) 102 (124) 126 (67) 22 (37) 301 Rio G. do Sul 111 (146) 304 (250) 139 (133) 48 (73) 602 Total Nota: E 11 = = 157, E 32 = = Estatística de Teste: χ 2 = (ν = (3 1)(4 1) = 6) r s (O ij E ij ) 2 i=1 j=1 E ij H0 χ 2 (6) 8a aula (27/04/2015) MAE / 17

17 Valor observado da Estatística de Teste: χ 2 ( )2 ( )2 (78 143)2 (119 79)2 obs = (51 73)2 ( )2 (126 67)2 (22 37) ( )2 ( )2 ( )2 (48 73) = 171, Valor-p: α = P(χ 2 (6) > 171, 76 H 0 é verdadeira) < 0, 1% Decisão: Como α é muito pequeno temos uma forte indicação que H 0 deve ser rejeitada, ou seja, há uma forte dependência entre os fatores "tipo de cooperativa"e "região de localização". 8a aula (27/04/2015) MAE / 17