Teste Qui-Quadrado para Aderência Texto criado em. 7 de novembro de 2018

Transcrição

1 Teste Qui-Quadrado para Aderência Texto criado em 7 de novembro de 2018

2 Exemplo 1. Um simpĺıssimo exemplo que permite esclarecer a maioria dos princípios usados na construção de testes de hipóteses. A descrição do procedimento e da tarefa. Seu professor pegou um dado equilibrado e uma moeda honesta de R$ 1, cujas faces foram numeradas de 1 e 2, e avisou que ia escolher um destes objetos, lançar e anunciar o resultado; sua tarefa é adivinhar o objeto lançado. Observação secundária: Para atender aos puristas que exigem com razão o rigor em definições e discussões, devo completar o enunciado assim: o professor primeiramente lançará uma moeda honesta de 10 centavos para definir se, posteriormente, irá lançar o dado ou a moeda cujas faces tem escrito 1 e 2; digamos, a cara na moeda de 10 centavos acarreta o lançamento do dado e a coroa o da moeda.

3 Exemplo 1; continuação. Caso 1 da execução do procedimento. O número anunciado foi 3. Solução da tarefa. Neste caso, você responderia que, sem dúvida, o objeto lançado era o dado, pois vale o seguinte raciocínio: ( ) A probabilidade de obter 3 ao lançar a moeda é nula; enquanto que a probabilidade de obter 3 ao lançar o dado não é nula. Logo, é o dado que foi lançado.

4 Exemplo 1;. continuação. Caso 2 da execução do procedimento. O número anunciado foi 2. Solução da tarefa. Neste caso, o objeto lançado podia ser o dado, assim como a moeda. Mas como você é obrigado a escolher só um dos objetos, você pensa assim: ( ) A probabilidade de obter 2 ao lançar a moeda é 1/2; enquanto que a probabilidade de obter 2 ao lançar o dado é 1/6. Logo, é mais provável que a moeda tenha sido lançada.

5 Exemplo 1. Notações relevantes. Introduziremos algumas notações ligadas ao Exemplo 1. Denotamos por X o número que o professor anunciará. Este X é uma variável aleatória (o tempo futuro do verbo usado na sua definição não deixa dúvida sobre isto). Qualquer variável aleatória tem distribuição, as vezes conhecida, as vezes não. Nesse caso, sabemos o seguinte sobre a distribuição de X ; esta é assim se o dado foi lançado esta é assim se a moeda foi lançada x IP [X = x] 1 1/6 2 1/6 3 1/6 4 1/6 5 1/6 6 1/6 x IP [X = x] 1 1/2 2 1/2

6 Exemplo 1. Notações relevantes; continuação. Denotamos por x obs o número anunciado pelo professor chamado também por observação, termo que explica as letras obs usados no seu indice. Observe: x obs denota o que foi observado e anunciado pelo professor, enquanto que x foi usado nas tabelas de distribuição para denotar o valor que pode ser observado. Recorde, você precisa escolher entre duas alternativas: foi lançado dado e foi lançada moeda. Estas são chamadas de hipóteses. Para serem distinguidas, uma será chamada hipótese nula e denotada sucintamente por H, e a outra hipótese alternativa com a notação A. Neste exemplo, a atribuição dos nomes é livre e não muda nada. Seja essa assim: H: foi lançado dado A: foi lançada moeda.

7 Exemplo 1. Notações relevantes e seu emprego. Com as notações introduzidas, formalizaremos as soluções dadas até o momento por descrição verbal. No Caso 1, tem-se x obs = 3 com a formalização do resultado anunciado, e o argumento ( ) adquire a seguinte formalização: ( ) IP [ X = x obs H ] = 1/6 IP [ X = x obs A ] = 0 } como 1/6 > 0, aceita-se H, quer dizer, conclui-se que foi lançado o dado No Caso 2, tem-se x obs = 2 com a formalização do resultado anunciado, e o argumento ( ) adquire a seguinte formalização: ( ) IP [ X = x obs H ] = 1/6 IP [ X = x obs A ] = 1/2 } como 1/6 < 1/2, aceita-se A, quer dizer, conclui-se que foi lançada a moeda

8 Exemplo 1 serviu para: (i) Mostrar o funcionamento da Escolha via a Maximização de Verossimilhança: escolher aquela das hipóteses, que dá a maior probabilidade do acontecimento do qual sairia o valor observado. Foi este princípio que usamos nos raciocínios ( ) e ( ). (ii) Exemplificar notações típicas do assunto Teste de Hipóteses. Em particular, foi visto que a mesma variável aleatória, X, foi usada para duas situações completamente distintas. Isto é horrível e atrapalha a compreensão, mas é o padrão na literatura científica. Para identificar qual das distribuições estamos falando, usamos as notações IP [ H ] e IP [ A ]. As notações concordam com as padrões da literatura. Seu parentesco com a probabilidade condicional pode ser justificado, mas não vem ao caso no nosso curso. Tanto é que poderiam ter usado, como alternativa, as notações IP [ ] quando H vale e IP [ ] quando A vale.

9 Exemplo 2. Um dos mais simples exemplos do tema Teste de Aderência. Peguei um dado e o lancei 60 vezes. Eis as frequências observadas: número da face a frequência absoluta com a qual foi visto o número em 60 lançamentos Com base nas frequências observadas, quero deduzir se o dado é equilibrado ou desequilibrado, isto é, quero escolher entre H : p 1 = p 2 = p 3 = p 4 = p 5 = p 6 = 1/6 A : pelo menos um dos p 1,..., p 6 é diferente de 1/6 sendo que p i denota a probabilidade de obter a face i (i = 1, 2,..., 6) num lançamento do dado.

10 Exemplo 2: Por que a escolha via maximização de verossimilhança não funciona diretamente. Se A fosse mais específica, por exemplo, A esp : p 1 = 1.5 6, p 2 = p 3 = p 4 = p 5 = 1 6, p 6 = então poderíamos solucionar o Ex. 2 similarmente ao Ex. 1: aceitaremos ou rejeitaremos H dependendo se IP [ X 1 = 8, X 2 = 12, X 3 = 13, X 4 = 9, X 5 = 12, X 6 = 6 H ] for maior, ou, respectivamente, menor que IP [ X 1 = 8, X 2 = 12, X 3 = 13, X 4 = 9, X 5 = 12, X 6 = 6 A esp], onde X 1, X 2, X 3, X 4, X 5, X 6 denotam as frequências absolutas a serem vistas se formos lançar 60 vezes o dado equilibrado, para o efeito da conta da primeira das probabilidades, ou o dado desequilibrado de acordo com A esp para o efeito da segunda probabilidade.

11 Exemplo 2: construindo a solução. Mas como A não afirma nada específico sobre p i s, então o caminho da solução baseia-se essencialmente na análise dos resultados que obteríamos caso a hipótese nula (H) fosse válida. Primeiro pilar: se H valesse, isto é, se o dado lançado fosse equilibrado, então na situação ideal, iriamos obter e 1 = = 10 faces 1 e 2 = = 10 faces 2 e 6 = = 10 faces 6 A situação ideal significa a ausência de quaisquer desvios para mais ou para menos de qualquer um destes valores.

12 Exemplo 2: construindo a solução. Segundo pilar: Mas tais desvios acontecerão, e para medi-los contruimos a variável aleatória χ 2 = (X 1 10) (X 2 10) (X 6 10) 2 10 onde X 1, X 2, X 3, X 4, X 5, X 6 são as variáveis aleatórias que representam as frequências absolutas a serem vistas em 60 lançamentos de um dado. Assim como no Ex. 1, a distribuição das X s depende da hipótese, e a influencia das hipóteses na distribuição de χ 2 deve obedecer a seguinte Crença: Se for H quem rege as X s, isto é, se o dado lançado for equilibrado, então na maioria dos casos (ou, em outras palavras, com grande probabilidade), o valor observado de χ 2 deve ser pequeno; já se for A quem rege as X s, então, na maioria dos casos (ou, em outras palavras, com grande probabilidade), o valor observado de χ 2 deve ser grande.

13 Exemplo 2: construindo a solução. A Crença do Segundo Pilar sugere a seguinte Regra de Decisão (versão preliminar): se (χ 2 ) obs, valor observado da distância χ 2, for pequeno, devemos aceitar H (aceitar que o dado lançado era equilibrado), já se for grande, devemos aceitar A (aceitar que o dado lançado era desequilibrado). Observe que a Regra escolhe entre H e A via a maximização de verossimilhança, só que em vez de analisar as probabilidades que as hipóteses atribuiriam à observação (χ 2 ) obs, a regra analisa a posição desta.

14 Exemplo 2: construindo a solução. Mas como quantificar grande e pequeno da Regra? Por exemplo, no nosso Ex. 2, os valores observados das variáveis X s foram: (x 1 ) obs = 8, (x 2 ) obs = 12, (x 3 ) obs = 13, (x 4 ) obs = 9, (x 5 ) obs = 12, (x 6 ) obs = 6 o que dá o seguinte valor observado (χ 2 ) obs da variável χ 2 : ( χ 2 ) obs = (8 10) (12 10) (13 10) (9 10) (12 10) (6 10)2 10 = 3, 80 Então, 3, 80 é um valor pequeno o suficiente para podermos deduzir, por nossa Regra de Decisão, que o dado lançado era equilibrado (em outras palavras, aceitar H), ou talvez, seja um valor grande do ponto de vista desta Regra e, consequentemente, devemos rejeitar H em favor a A e deduzir que o dado era desequilibrado?

15 Exemplo 2: construindo a solução. O terceiro pilar da solução baseia-se na análise da distribuição da variável aleatória χ 2 no caso quando as variáveis X s envolvidas na sua construção, possuem as distribuições regidas pela hipótese nula, H. Usaremos o seguinte fato: A distribuição da variável aleatória χ 2, no caso do Ex. 2, sob a validade de H, pode ser bem aproximada pela distribuição chamada Qui-Quadrado com 5 graus de liberdade, cuja expressão anaĺıtica é conhecida e cujo formato está na figura do slide seguinte. No que se segue, vamos omitir e esquecer que esta distribuição é só uma aproximação para a variável que nos interessa, e vamos pensar como se fosse que a função Qui-Quadrado com 5 graus de liberdade é a verdaderira distribuição de χ 2 no caso quando H for verdadeira.

16 Exemplo 2: construindo a solução.

17 Exemplo 2: construindo a solução. O terceiro pilar dos que sustentam a solução, são as seguintes propriedades da distribuição da variávela aleatória χ 2 sob a validade da hipótese H: (a) os valores pequenos ocorrem com probabilidade pequena; (b) os valores que ocorrem com probabilidades maiores são aqueles nos quais apoia-se a corcova da função; (c) os valores maiores que os da corcova ocorrem com probabilidades pequenas, e quanto mais afasta-se a cauda à direita da corcova, menor a probabilidade de ocorrência de seus valores.

18 Exemplo 2: construindo a solução. Os três pilares supracitados sustentam a seguinte Regra de Decisão: Escolher um limiar l do suporte da cauda da distribuição que a variável aleatória χ 2 possui quando H é válida, e caso (χ 2 ) obs, valor observado de χ 2, for menor que l, devemos aceitar H (aceitar que o dado lançado era equilibrado), já se (χ 2 ) obs for maior que ou igual a l, devemos aceitar A (aceitar que o dado lançado era desequilibrado). Notamos que há a possibilidade do Erro da Regra de Decisão: mesmo lançando um dado equilibrado, a Regra pode decidir que este é desequilibrado. Devido à construção, a probabilidade deste erro é a cauda da distribuição de χ 2 à direita do corte l.

19 Exemplo 2: construindo a solução. O erro supracitado, chama-se Erro do tipo I. Sua probabilidade chama-se nível de significância e denota-se tipicamente por α. O semi-eixo [l, ) chama-se a região crítica. Obviamente, existe o erro do outro sentido: se na realidade lança-se um dado desequilibrado, a Regra pode decidir que ele era equilibrado. Este chama-se Erro do Tipo II. Mas sua probabilidade não é expressada por um valor (pois a hipótese alternativa não especifica o desequiĺıbrio do dado). Por isto que o erro no outro sentido não será refletido em nossas respostas. (Na realidade, ele pode ser estudado e os resultados deste permitem comparar o poder de diversas regras.)

20 Passos de execução do Teste de Aderência. (i) Identificar n, o número de observações (tamanho da amostra). (ii) Identificar K, o número de classes de observações. (iii) Identificar a distribuição teórica por classes de acordo com o enunciado; esta distribuição são valores, os quais denotamos aquí genericamente por (iv) Escrever as hipóteses (p 1 ) teor, (p 2 ) teor,..., (p K ) teor H : p 1 = (p 1 ) teor,..., p K = (p K ) teor A : pelo menos um dos p i é diferente de (p i ) teor (v) Calcular as frequências esperadas: e 1 = n (p 1 ) teor,..., e K = n (p K ) teor

21 Passos de execução do Teste de Aderência; continuação (vi) Identificar as frequências observadas (x 1 ) obs, (x 2 ) obs,..., (x K ) obs do experimento descrito no enunciado. (vii) Calcular a observação (χ 2 ) obs que a variável χ 2 assume para as frequências observadas; a fórmula é: ( χ 2 ) obs = K i=1 ((x i ) obs e i ) 2 e i (viii) Identificar o nível de significânica α. Na vida real, você receberá este da pessoa interessada no teste; no nosso curso, você receberá o nível de significância junto com o enunciado do problema. (ix) A partir da tabela da distribuição Qui-Quadrado com K 1 graus de liberdade determinar o valor de l como o limiar que recorta cauda de peso α desta distribuição.

22 Passos de execução do Teste de Aderência; continuação (x) Comparar (χ 2 ) obs com l e concluir: aceitar H caso (χ 2 ) obs < l; aceitar A caso (χ 2 ) obs l. (xi) Formular a conclusão: O Teste de Aderência baseado na distribuição Qui-Quadrado indicou que, ao nível de significância α, os dados amostrais confirmam/não confirmam H.

23 Execução do Teste de Aderência para os dados do Ex. 2. Será feito na lousa.

24 A distribuição Qui-Quadrado; o que precisa saber sobre ela. Há uma família de funções chamadas distribuições Qui-Quadrado. As funções da família dependem de um parâmetro chamado número de graus de liberdade. O nome reflete uma propriedade intrínseca por trás da construção da funções, mas esta não será abordada na presente aula. Suas expressões anaĺıticas são conhecidas, mas o cálculo de integrais envolvendo as funções é complicado. Para simplificar, há tabela que para cada inteiro G, relaciona o limiar de corte l e a área da cauda recortada por l da distribuição Qui-Quadrado com G graus de liberdade.

25 Tabela 1 - Distribuição Qui-Quadrado (χ 2 ) Corpo da tabela fornece os valores de l tais que P(χ 2 l) = α G.L. α=99% 90% 80% 70% 10% 5% 1% 0.1%

26 A distribuição Qui-Quadrado; o que você precisa saber sobre ela. A distribuição Qui-Quadrado com K 1 graus de liberdade serve como uma boa aproximação para a distribuição da variável aleatória k χ 2 (X i n valor i ) 2 = n valor i sob a validade da hipótese i=1 H : p 1 = valor 1,, p k = valor k Quanto maior o tamanho da amostra (no caso do Ex. 2, tal tamanho é 60), melhor a qualidade da aproximação. Não abordaremos a questão da qualidade de aproximação e usaremos esta para qualquer n.

27 A distribuição Qui-Quadrado; o que você precisa saber sobre ela. Devido ao uso da aproximação pelas funções Qui-Quadrado, surge a seguinte particularidade na aplicação da supradescrita Regra de Decisão para Teste de Aderência: se na amostra (x 1 ) obs,, (x K ) obs há valores menores que 5, então as correspondentes classes devem ser agrupadas algumas às outras, para eliminarmos tais valores. Por exemplo, se em n = 60 lançamentos de um dado observamos as frequências (x 1 ) obs = 13, (x 2 ) obs = 4, (x 3 ) obs = 10, (x 4 ) obs = 7, (x 5 ) obs = 18, (x 6 ) obs = 8, então (um dos possíveis caminhos de agrupamento) é juntar as classes das faces 1 e 2. Isto transforma a hipótese H : p 1 = = p 6 = 1 6 em H : p 1,2 = 2 6, p 3 = p 6 = 1 6, transforma a amostra para ser (x 1,2 ) obs = 17, (x 3 ) obs = 10, (x 4 ) obs = 7, (x 5 ) obs = 18, (x 6 ) obs = 8

28 Outros exemplos. Um modelo de automóvel é vendido em quatro versões: SX, LX, GLX, GTX. Foi feita uma campanha publicitária para melhorar as vendas das versões GLX e GTX. Posteriormente, foi verificada a escolha das versões em 500 vendas escolhidas ao acaso. Os resultados foram: Versão SX LX GLX GTX Unidades vendidas De acordo com o fabricante, a participação de cada versão nas vendas deste modelo até a realização da campanha era 40% de SX, 30% de LX, 20% de GLX e 10% de GTX. Você diria, através do teste de aderência com o nível de significância de 5%, que os resultados deste experimento indicam que, após a campanha, houve mudanças na participação de cada versão nas vendas deste modelo?

29 Outros exemplos. Os dados seguintes representam os resultados de uma investigação da distribuição do sexo das crianças de 32 famílias possuindo cada uma delas 4 crianças. Pode-se afirmar que o número de meninos por família, em famílias com 4 crianças, segue uma distribuição binomial com n = 4 e p = 0, 50? Responda usando o nível de significância de 2.5%. Número de meninos Número de famílias Observação: Se supormos que cada criança, ao nascer numa família, é menino ou é menina com as probabilidades que não dependem dos sexos das crianças já nascidas nesta família, e se supormos ainda, que cada das duas probabilidades é 1/2, então, a distribuição do número de meninos em famílias com 4 crianças deve ser BIN(4; 1/2). Isto explica a pergunta do exercício.