Modelos Lineares Generalizados - Modelos log-lineares para tabelas de contingência

Transcrição

1 Modelos Lineares Generalizados - Modelos log-lineares para tabelas de contingência Erica Castilho Rodrigues 2 de Agosto de 2013

2

3 3 Modelos de Poisson podem ser usados para analisar tabelas de contingência. Esse uso está baseado da relação que existe entre a Multinomial e a Poisson. Que relação é essa?

4 Teorema Sejam Y 1, Y 2 variáveis aletórias independentes tais que Y 1 Pois(λ 1 ) Y 2 Pois(λ 2 ) Então (Y 1, Y 2 ) Y 1, Y 2 = n Multin(n,π 1,π 2 ) onde π 1 = λ 1 λ 1 +λ 2 π 2 = λ 2 λ 1 +λ 2. Esse resultado vale para uma soma com qualquer número de termos.

5 5 Vamos considerar o caso mais simples: tabela 2x2. Os resultados valem para outras tabelas. Estudaremos a distribuição conjunta de duas variáveis categóricas. Vamos rever alguns conceitos básicos sobre tabelas de contingência. Isso será revisto mais a frente no curso.

6 6 Queremos verificar se existe relação entre as variáveis: sexo e carreira escolhida. São selecionados 200 alunos dos cursos de Economia e Administração. Os dados são apresentados na tabela a seguir. Y Masculino Feminino Total X Economia Administração Total Tabela 1: Distribuição conjunta dos alunos segundo sexo (X) e o curso escolhido (Y).

7 Existe associação entre as variáveis?

8 Existe associação entre as variáveis? Olhando somente para tabela é difícil tirar uma conclusão. A maioria das pessoas que estudam economia são do sexo masculino. Podemos concluir, com base nessa observação, que existe associação entre as variáveis? Não!

9 Existe associação entre as variáveis? Olhando somente para tabela é difícil tirar uma conclusão. A maioria das pessoas que estudam economia são do sexo masculino. Podemos concluir, com base nessa observação, que existe associação entre as variáveis? Não! Os totais marginais são muito distintos. O número de indivíduos do sexo masculino é mais que o dobro que os do sexo feminino. O número de alunos do curso de Economia é 50% maior que Administração.

10 8 Precisamos olhar para as proporções. Devemos dividir os números pelo total de cada linha ou de cada coluna. Vamos fixar o total das colunas. Dividimos cada elemento pelo total de sua coluna. Y X Masculino Feminino Total Economia 61% 58% 60% Administração 39% 42% 40% Total 100% 100% 100% Tabela 2: Distribuição (em porcentagem) dos alunos segundo sexo (X) e o curso escolhido (Y).

11 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia?

12 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia? 60% E administração?

13 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia? 60% E administração? 40% Dentre os alunos do sexo masculino, qual a porcentagem que faz economia?

14 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia? 60% E administração? 40% Dentre os alunos do sexo masculino, qual a porcentagem que faz economia? 61% E administração?

15 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia? 60% E administração? 40% Dentre os alunos do sexo masculino, qual a porcentagem que faz economia? 61% E administração? 39% Dentre as alunas, qual porcentagem faz economia?

16 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia? 60% E administração? 40% Dentre os alunos do sexo masculino, qual a porcentagem que faz economia? 61% E administração? 39% Dentre as alunas, qual porcentagem faz economia? 58% E administração?

17 9 Obtemos algumas informações a partir da tabela. Do total de alunos, qual a porcentagem que faz economia? 60% E administração? 40% Dentre os alunos do sexo masculino, qual a porcentagem que faz economia? 61% E administração? 39% Dentre as alunas, qual porcentagem faz economia? 58% E administração? 42%

18 10 Independentemente do sexo, 60% dos alunos fazem Economia e 40% Administração. Considere que não existisse dependência entre as variáveis. Dentre os alunos do sexo masculino, qual a porcentagem de alunos eu esperaria do curso de Economia?

19 10 Independentemente do sexo, 60% dos alunos fazem Economia e 40% Administração. Considere que não existisse dependência entre as variáveis. Dentre os alunos do sexo masculino, qual a porcentagem de alunos eu esperaria do curso de Economia? 60% (como no total) Dentre as alunas, qual a porcentagem eu esperaria de alunos do curso de administração?

20 10 Independentemente do sexo, 60% dos alunos fazem Economia e 40% Administração. Considere que não existisse dependência entre as variáveis. Dentre os alunos do sexo masculino, qual a porcentagem de alunos eu esperaria do curso de Economia? 60% (como no total) Dentre as alunas, qual a porcentagem eu esperaria de alunos do curso de administração? 40% (como no total)

21 Vimos que os dados seguem aproximadamente esse padrão. Dentre os alunos do sexo masculino, qual a porcentagem que estuda Economia?

22 Vimos que os dados seguem aproximadamente esse padrão. Dentre os alunos do sexo masculino, qual a porcentagem que estuda Economia? 61% E não 60%. Dentre os alunas, qual a porcentagem que estuda Economia?

23 Vimos que os dados seguem aproximadamente esse padrão. Dentre os alunos do sexo masculino, qual a porcentagem que estuda Economia? 61% E não 60%. Dentre os alunas, qual a porcentagem que estuda Economia? 58% E não 60%. Porém esses valores estão muito próximos. A diferença de 1% pode ser mera aleatoriedade. Precisamos verificar se ela é siginificativa.

24 As variáveis parecem ser independentes. A distribuição dentro de cada grupo é a mesma do total. Sabendo ou não o sexo, a distribuição dos alunos entre os cursos parece não alterar. Antes de sabermos o sexo, diríamos que aproximadamente 60% dos alunos fazem economia. Mesmo sabendo que o aluno é do sexo masculino, ainda diríamos que aproximadamente 60% dos alunos fazem economia. O sexo não fornece informação adicional para prever o curso. As duas variáveis parecem ser independentes.

25 13 Precisamos quantificar o grau de associação entre as duas variáveis. Utilizamos os coeficientes de associação. Coeficiente de Associação Descreve por meio de um número o grau de dependência entre duas variáveis. Existem muitas medidas que quantificam associação entre variáveis qualitativas. Apresentaremos uma delas. O coeficiente de contingência devido a K. Pearson.

26 Queremos verificar se: a criação determinado tipo de cooperativa está associada com fator regional. Investigaremos se existe associação entre as variáveis: o tipo de cooperativa e o estado de sua localização. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo Paraná Rio G. do Sul Total Tabela 3: Cooperativas autorizadas a funcionar por tipo e estado.

27 15 Vamos dividir cada célula pelo total da linha. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo 33% 37% 12% 18% 100% Paraná 17% 34% 42% 7% 100% Rio G. do Sul 18% 51% 23% 8% 100% Total 24% 42% 22% 12% 100% Tabela 4: Cooperativas autorizadas a funcionar por tipo e estado. Dentre as cooperativas de São Paulo, qual proporção é do tipo Consumidor?

28 15 Vamos dividir cada célula pelo total da linha. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo 33% 37% 12% 18% 100% Paraná 17% 34% 42% 7% 100% Rio G. do Sul 18% 51% 23% 8% 100% Total 24% 42% 22% 12% 100% Tabela 4: Cooperativas autorizadas a funcionar por tipo e estado. Dentre as cooperativas de São Paulo, qual proporção é do tipo Consumidor? 33% Dentre as cooperativas do Paraná, qual porcentagem são Escolas?

29 15 Vamos dividir cada célula pelo total da linha. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo 33% 37% 12% 18% 100% Paraná 17% 34% 42% 7% 100% Rio G. do Sul 18% 51% 23% 8% 100% Total 24% 42% 22% 12% 100% Tabela 4: Cooperativas autorizadas a funcionar por tipo e estado. Dentre as cooperativas de São Paulo, qual proporção é do tipo Consumidor? 33% Dentre as cooperativas do Paraná, qual porcentagem são Escolas? 7%

30 16 A análise da tabela mostra certa dependência entre as variáveis. Imagine que não houvesse associação. Qual distribuição dos tipos de cooperativa esperaríamos em cada estado?

31 16 A análise da tabela mostra certa dependência entre as variáveis. Imagine que não houvesse associação. Qual distribuição dos tipos de cooperativa esperaríamos em cada estado? 24% de cooperativas de consumidores;

32 16 A análise da tabela mostra certa dependência entre as variáveis. Imagine que não houvesse associação. Qual distribuição dos tipos de cooperativa esperaríamos em cada estado? 24% de cooperativas de consumidores; 42% de cooperativas de produtores;

33 16 A análise da tabela mostra certa dependência entre as variáveis. Imagine que não houvesse associação. Qual distribuição dos tipos de cooperativa esperaríamos em cada estado? 24% de cooperativas de consumidores; 42% de cooperativas de produtores; 22% de escolas

34 16 A análise da tabela mostra certa dependência entre as variáveis. Imagine que não houvesse associação. Qual distribuição dos tipos de cooperativa esperaríamos em cada estado? 24% de cooperativas de consumidores; 42% de cooperativas de produtores; 22% de escolas 12% de outras. Nesse caso, qual o número esperado de cooperativas consumidores em São Paulo? (Lembre que o total de SP é 648)

35 16 A análise da tabela mostra certa dependência entre as variáveis. Imagine que não houvesse associação. Qual distribuição dos tipos de cooperativa esperaríamos em cada estado? 24% de cooperativas de consumidores; 42% de cooperativas de produtores; 22% de escolas 12% de outras. Nesse caso, qual o número esperado de cooperativas consumidores em São Paulo? (Lembre que o total de SP é 648) 648 0, 24 = 156

36 Qual o número de cooperativas de consumidores esperados no Paraná? (seu total é 301)

37 Qual o número de cooperativas de consumidores esperados no Paraná? (seu total é 301) 0, = 72. A tabela a seguir mostra os número esperado de todos tipos de cooperativas em todos estados. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo 156(24%) 272(42%) 142(22%) 78(12%) 648(100%) Paraná 72(24%) 127(42%) 66(22%) 36(12%) 301(100%) Rio G. do Sul 144(24%) 254(42%) 132(22%) 72(12%) 602(100%) Total 376(24%) 643(42%) 343(22%) 189(12%) 1551(100%) Tabela 5: Valores esperados assumindo independência entre as variáveis. Independentemente do estado, a distribuição é a mesma.

38 18 Vamos comparar as duas tabelas: o que foi de fato observado;

39 18 Vamos comparar as duas tabelas: o que foi de fato observado; Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo Paraná Rio G. do Sul Total Tabela 6: Cooperativas autorizadas a funcionar por tipo e estado. o que seria esperado caso não houvesse associação entre as variáveis. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras Total São Paulo Paraná Rio G. do Sul Total Tabela 7: Valores esperados assumindo independência entre as variáveis.

40 19 A tabela a seguir mostra a diferença: observado esperado Tipo de Cooperativa Estado Consumidor Produtor Escola Outras São Paulo Paraná Rio G. do Sul Tabela 8: Valores esperados assumindo independência entre as variáveis. Existe uma grande diferença entre o observado e esperado. Qual casela apresenta maior desvio?

41 19 A tabela a seguir mostra a diferença: observado esperado Tipo de Cooperativa Estado Consumidor Produtor Escola Outras São Paulo Paraná Rio G. do Sul Tabela 8: Valores esperados assumindo independência entre as variáveis. Existe uma grande diferença entre o observado e esperado. Qual casela apresenta maior desvio? Escola-São Paulo Qual outra casela apresenta um desvio alto?

42 19 A tabela a seguir mostra a diferença: observado esperado Tipo de Cooperativa Estado Consumidor Produtor Escola Outras São Paulo Paraná Rio G. do Sul Tabela 8: Valores esperados assumindo independência entre as variáveis. Existe uma grande diferença entre o observado e esperado. Qual casela apresenta maior desvio? Escola-São Paulo Qual outra casela apresenta um desvio alto? Escola-Paraná.

43 20 Precisamos ver se esses desvios são estatisticamente significantes. Poderiam ter ocorrido por mero acaso? Uma possibilidade - somar os desvios. Problema - a soma é sempre zero. Solução - elevamos os desvios ao quadrado.

44 Outro problema - precisamos olhar para os desvios relativos. As caselas Escola-SP e Escola-PR apresentam desvios próximos. Mas em o valor esperado em Escola-SP (142) é maior do que na casela Escola-PR (66). Obtemos os desvios relativos dividindo todos desvios pelo valor esperado na casela. O desvio relativo será dado por onde oi é o valor observado; ei é o valor esperado. (o i e i ) 2 e i

45 A tabela a seguir mostra os valores obtidos para os desvios relativos. Tipo de Cooperativa Estado Consumidor Produtor Escola Outras São Paulo 21,56 4,50 28,84 21,55 Paraná 6,12 4,92 54,54 5,44 Rio G. do Sul 7,56 9,84 0,37 8,00 Tabela 9: Valores esperados assumindo independência entre as variáveis. Para casela Escola-São Paulo Para casela Escola-Paraná 64 2 = 28, = 54, 54.

46 23 Podemos medir o afastamento global entre o observado e esperado: somando todos os desvios relativos. Essa medida é denominadaχ 2 (qui-quadrado) de Pearson χ 2 = i (o i e i ) 2 e i. Para o nosso caso teríamos χ 2 = 21, 56+6, , 00 = 173, 24. Um valor grande da estatística χ 2 indica associação entre as variáveis. Significa que : SP tem maior tendência a ter cooperativas de

47 23 Podemos medir o afastamento global entre o observado e esperado: somando todos os desvios relativos. Essa medida é denominadaχ 2 (qui-quadrado) de Pearson χ 2 = i (o i e i ) 2 e i. Para o nosso caso teríamos χ 2 = 21, 56+6, , 00 = 173, 24. Um valor grande da estatística χ 2 indica associação entre as variáveis. Significa que : SP tem maior tendência a ter cooperativas deconsumidores. PR tem maior tendência a ter cooperativas de

48 Podemos medir o afastamento global entre o observado e esperado: somando todos os desvios relativos. Essa medida é denominadaχ 2 (qui-quadrado) de Pearson χ 2 = i (o i e i ) 2 e i. Para o nosso caso teríamos χ 2 = 21, 56+6, , 00 = 173, 24. Um valor grande da estatística χ 2 indica associação entre as variáveis. Significa que : SP tem maior tendência a ter cooperativas deconsumidores. PR tem maior tendência a ter cooperativas de escolas. RG tem maior tendência a ter cooperativas de 23

49 Podemos medir o afastamento global entre o observado e esperado: somando todos os desvios relativos. Essa medida é denominadaχ 2 (qui-quadrado) de Pearson χ 2 = i (o i e i ) 2 e i. Para o nosso caso teríamos χ 2 = 21, 56+6, , 00 = 173, 24. Um valor grande da estatística χ 2 indica associação entre as variáveis. Significa que : SP tem maior tendência a ter cooperativas deconsumidores. PR tem maior tendência a ter cooperativas de escolas. RG tem maior tendência a ter cooperativas de produtores. 23

50 Teste de Homogeneidade Usado para comparar as proporções em diferentes populações. podemos testar a afirmação de que diferentes populações têm a mesma proporção de indivíduos com alguma característica.

51 25 Um prova básica foi aplicada a 200 alunos: 100 alunos de Ciências Humanas; 100 alunos de Ciências Biológicas. As notas são classificadas segundo os graus A, B, C, D, E. Os resultados são mostrados na tabela a seguir Grau Área A B C D E Total C. Humanas C. Biológicas Total Tabela 10: Resultados da aplicação de uma prova de Estatística a 100 alunos de Ciências Humanas e 100 alunos de Ciências Sociais.

52 26 Queremos verificar se a distribuição das notas é a mesma para os dois grupos. Se a distribuição é a mesma

53 26 Queremos verificar se a distribuição das notas é a mesma para os dois grupos. Se a distribuição é a mesma a área não influencia a nota. Se a distribuição não é a mesma

54 26 Queremos verificar se a distribuição das notas é a mesma para os dois grupos. Se a distribuição é a mesma a área não influencia a nota. Se a distribuição não é a mesma a área influencia a nota. Para efetuar o teste: classificamos os elementos de P1 e P 2 em um certo número de categorias para as duas características; comparamos o observado com o esperado.

55 Teste de Independência Utilizado para estudar o relacionamento de duas ou mais variáveis. É o mesma ideia que vimos antes.

56 28 Uma companhia de seguros está analisando o perfil de seus segurados. Foram selecionados 2000 segurados que usaram hospitais: 1000 homens; 1000 mulheres. Queremos testar se: o uso do hospital é independente do sexo do segurado.

57 29 Deseja-se verificar a orientação política dos eleitores. 100 eleitores são selecionados: 400 mulheres; 600 homens. São classificados de acordo com de acordo com a preferência: direita; esquerda; neutro.

58 30 Os dados são apresentados na tabela a seguir: Preferência Sexo Direita Esquerda Neutro Total Masculino Feminino Total Deseja-se verificar se o sexo influencia na orientação política. Qual é o tipo de teste Chi-quadrado adequado?

59 30 Os dados são apresentados na tabela a seguir: Preferência Sexo Direita Esquerda Neutro Total Masculino Feminino Total Deseja-se verificar se o sexo influencia na orientação política. Qual é o tipo de teste Chi-quadrado adequado? Teste de Independência.

60 31 Deseja-se investigar quais os programas de TV preferidos por crianças. 300 crianças são entrevistadas: 100 meninos; 200 meninas. Pergunta-se para as crianças qual desses programas elas gostam mais: Pica-pau; Simpons; Chaves.

61 32 Os dados são apresentados na tabela a seguir: Preferência Sexo Pica-pau Simpons Chaves Total Masculino Feminino Total Deseja-se verificar se a preferências em relação aos programas de TV dos garotos difere muito das preferências das garotas. Qual é o tipo de teste Chi-quadrado adequado?

62 32 Os dados são apresentados na tabela a seguir: Preferência Sexo Pica-pau Simpons Chaves Total Masculino Feminino Total Deseja-se verificar se a preferências em relação aos programas de TV dos garotos difere muito das preferências das garotas. Qual é o tipo de teste Chi-quadrado adequado? Teste de Homogeneidade.

63 33 A companhia Acme Toy Company imprime cartões de baseball. Eles afirmam que dentre os cartões: 30% são rokies; 60% são veterans; 40% são all-stars. Os cartões são vendidos em pacotes de 100.

64 34 Seleciona-se um pacote aleatoriamente. Dentro desse pacote temos: 50 são rokies; 45 são veterans; 5 são all-stars. Deseja-se verificar se a companhia está correta em sua afirmação. Qual é o tipo de teste Chi-quadrado adequado?

65 34 Seleciona-se um pacote aleatoriamente. Dentro desse pacote temos: 50 são rokies; 45 são veterans; 5 são all-stars. Deseja-se verificar se a companhia está correta em sua afirmação. Qual é o tipo de teste Chi-quadrado adequado? Teste de Aderência. Você acha que a companhia está correta?

66 34 Seleciona-se um pacote aleatoriamente. Dentro desse pacote temos: 50 são rokies; 45 são veterans; 5 são all-stars. Deseja-se verificar se a companhia está correta em sua afirmação. Qual é o tipo de teste Chi-quadrado adequado? Teste de Aderência. Você acha que a companhia está correta? Aparentemente não. A proporção observada difere muito da esperada.

67 35 Um estudo longitudinal de doenças coronarianas foi realizado pacientes foram analisados. Cada um deles foi classificado quanto: nível de colesterol (abaixo ou acima de 260); presença ou não da doença.

68 36 A tabela a seguir mostra os resultados: Nível de Doença Colesterol Presente Ausente Total abaixo de acima de Total Queremos verificar se as variáveis Nível do Colesterol e incidência da doença são independentes.

69 37 Como o número de pacientes em cada casela são contagens, podemos considerar que seguem uma Distribuição de Poisson. Vamos denotar por Y 11, Y 12, Y 21, Y 22 a contagem em cada uma das caselas Nível de Doença Colesterol Presente Ausente Total abaixo de 260 Y 11 Y 12 Y 11 + Y 12 acima de 260 Y 21 Y 22 Y 21 + Y 22 Total Y 11 + Y 21 Y 12 + Y 22 Y 11 + Y 21 + Y 11 + Y 22

70 38 Sob a hipótese que as variáveis não estão associadas, temos que Y 11, Y 12, Y 21, Y 22 são variáveis aleatórias independentes. Vamos supor ainda que Y 11 Pois(µ 11 ), Y 12 Pois(µ 12 ), Y 21 Pois(µ 21 ), Y 22 Pois(µ 22 ). A distribuição conjunta é dada por

71 38 Sob a hipótese que as variáveis não estão associadas, temos que Y 11, Y 12, Y 21, Y 22 são variáveis aleatórias independentes. Vamos supor ainda que Y 11 Pois(µ 11 ), Y 12 Pois(µ 12 ), Y 21 Pois(µ 21 ), Y 22 Pois(µ 22 ). A distribuição conjunta é dada por i j y µ i j ij e µ ij y ij!

72 39 Poderíamos considerar três modelos possíveis: modelo nulo, log(µ ij) = β 0 modelo aditivo onde log(µ ij ) = β 0 +β 1 Z 1 +β 2 Z 2 Z 1 é uma variável indicadora do nível de colestorel, Z 2 é uma variável indicadora da presença da doença, a taxa de chegada dos pacientes depende dois efeitos independentes, modelo saturado log(µ ij ) = β 0 +β 1 Z 1 +β 2 Z 2 +β 3 Z 1 Z 2 existe um termo de interação entre os dois fatores.

73 40 Como podemos testar se as variáveis categóricas são independentes?

74 40 Como podemos testar se as variáveis categóricas são independentes? Basta verificar se β 3 é significativo. Ajustamos o modelo aditivo e o saturado. Verificamos a diferença entre os ajustes. A diferença entre o ajuste do modelo aditivo e o saturado é:

75 40 Como podemos testar se as variáveis categóricas são independentes? Basta verificar se β 3 é significativo. Ajustamos o modelo aditivo e o saturado. Verificamos a diferença entre os ajustes. A diferença entre o ajuste do modelo aditivo e o saturado é: Deviance do modelo aditivo. Basta verificar se está bem ajustado. Se não há muita perda em relação ao saturado, as variáveis são independentes. Pode-se mostrar que é equivalente ao Teste Qui-Quadrado.

76 Então para que toda essa complicação? Se os dois testes são equivalentes?

77 Então para que toda essa complicação? Se os dois testes são equivalentes? Em uma tabela 2x2 o teste Qui-Quadrado é trivial. E se queremos comparar 3 variáveis? O teste Qui-Quadrado fica mais complicado. Nesse contexto é mais simples usar um MLG. Basta saber traduzir as hipóteses em modelos adequados. Veremos exemplos na próxima aula.