Associação entre Variáveis Qualitativas

Transcrição

1 Departameto de Estatística Istituto de Ciêcias Exatas Associação etre Variáveis Qualitativas (Teste Qui-Quadrado, Risco Relativo e Razão das Chaces) Notas de aula e exercícios Ilka Afoso Reis Eda Afoso Reis

2 Ilka A. Reis e Eda A. Reis Exemplo iicial 1 : uma pesquisa para avaliar a opiião sobre o aborto, realizada pelo Istituto Eagleto, 100 homes foram etrevistados, sedo 800 etrevistados por pessoas do sexo masculio e 400 por pessoas do sexo femiio. Desse total de etrevistados, 868 disseram cocordar com a seguite frase O aborto é um problema de atureza privada, cuja decisão deve ficar a critério da mulher, sem iterferêcia do govero. Esse resultado pode ser represetado uma tabela de freqüêcias do seguite tipo. Tabela 1 Resposta Cocordo Discordo Total Homes 868 (7,3%) 33 (7.7%) 100 (100%) Essa tabela represeta uma classificação da amostra de homes que foram etrevistados segudo sua resposta ( cocordo ou discordo ). Essa mesma amostra pode também ser classificada quato ao sexo do etrevistador de cada participate. Tabela Sexo do Etrevistador Masculio Femiio Total Homes 800 (66.7%) 400 (33.3%) 100 (100%) Essa amostra pode aida ser classificada segudo as duas variáveis, resposta e sexo de etrevistador, gerado uma tabela de freqüêcias do seguite tipo Tabela 3 Sexo do Resposta Etrevistador Cocordo Discordo Total Masculio Femiio Total Uma tabela como a Tabela 3 é chamada de Tabela de Cotigêcia. Tabelas de Cotigêcia (ou tabelas de freqüêcia de dupla etrada) são tabelas em que as freqüêcias correspodem a duas classificações, uma classificação está as lihas da tabela e a outra está as coluas. As tabelas acima são chamadas também de Tabelas X (leia tabelas dois por dois ), pois cada uma das variáveis possuem duas categorias, gerado uma tabela com 4 caselas (a liha e colua dos totais ão são cosideradas). Também existem tabelas 3 X, 3 X 3 e assim por diate. Por equato, vamos os cocetrar as tabelas x. Os resultados para essas tabelas poderão ser estedidos para os outros tipos. 1 Exemplo adaptado de Triola, M. F. (1999), Itrodução à Estatística - 7 a. edição, LTC

3 Departameto de Estatística - Istituto de Ciêcias Exatas 3 Observe que, se cosiderarmos somete a última liha da Tabela 3, teremos uma tabela igual à Tabela 1 e, se cosiderarmos somete a última colua da Tabela 3, teremos uma tabela igual à Tabela. Com as iformações da Tabela 3, podemos cocluir, por exemplo, que 560 dos 800 homes etrevistados por pessoa do sexo masculio (70%) cocordaram com a afirmação. Ou aida, podemos cocluir que 9 dos 33 homes que discordaram da afirmação (8%) foram etrevistados por pessoas do sexo femiio. Existem duas maeiras de costruir uma tabela de cotigêcia X : 1. Cosiderar uma amostra e classificá-la simultaeamete segudo duas variáveis. Esse é o caso da Tabela 3. Um total de 100 homes foram classificados segudo sua resposta (cocordo/discordo) e segudo o sexo da pessoa que os etrevistaram (masculio/femiio). O objetivo do estudo que gerou a Tabela 3 é saber se a opiião do etrevistado sobre algo tão polêmico é iflueciada pelo sexo do etrevistador. Essa perguta pode ser feita de outra maeira: a opiião do etrevistado é idepedete do sexo da pessoa que o etrevista?. Cosiderar dois grupos distitos e etão classificá-los segudo uma outra variável. Esse é o caso da Tabela 4 a seguir. Num estudo para verificar a eficácia de duas marcas de remédio o cotrole de hiperatividade, 400 hiperativos foram divididos aleatoriamete em grupos de mesmo tamaho. Um grupo (00 pessoas) tomou a droga A e o outro grupo tomou a droga B. Depois de algum tempo de tratameto, verificou-se, em cada um dos grupos, quatas pessoas aida estavam com sitomas de hiperatividade, gerado os dados da Tabela 4. Tabela 4 Hiperatividade Droga Sim Não Total A B Total Dessa tabela, podemos extrair da iformação de que 48 das 00 pessoas que tomaram a droga A (4%) tiveram os sitomas de hiperatividade cotrolados, equato 68 das 00 pessoas que tomaram a droga B (34%) tiveram os sitomas de hiperatividade cotrolados. O objetivo do estudo é saber se qual das drogas, A ou B, é a mais eficaz para o cotrole da hiperatividade. Essa perguta pode ser feita de outra maeira: a proporção de pessoas que tiveram a hiperatividade cotrolada com a droga A é igual à proporção de pessoas que tiveram a hiperatividade cotrolada com a droga B? Ou aida podemos pergutar: as proporções são homogêeas? Note que, apesar das tabelas geradas as situações 1 e serem muito parecidas quato ao formato, o objetivo de cada uma delas é diferete. Na situação 1, estamos queredo verificar se há ou ão idepedêcia etre as duas variáveis de classificação. Já a situação, o objetivo é verificar se as proporções de uma classificação são homogêeas (iguais) ou ão em dois grupos.

4 4 Ilka A. Reis e Eda A. Reis Para isso, usaremos as técicas de Teste de Hipóteses. Na situação 1, queremos testar a hipótese de idepedêcia etre as duas variáveis e, a situação, queremos testar a hipótese de homogeeidade de duas proporções. Situação 1: Teste de Idepedêcia Como em todo teste de hipóteses, devemos estabelecer primeiramete as hipóteses ula e alterativa. Num teste de idepedêcia de variáveis usado uma tabela de cotigêcia, essa hipóteses são: H0: As variáveis de classificação são idepedetes; H1: As variáveis de classificação ão são idepedetes; Podemos escrever as hipóteses também da seguite maeira: H0: Não existe associação etre as variáveis de classificação; H1: Existe associação etre as variáveis de classificação; Para o exemplo iicial, as hipóteses são H0: A opiião do etrevistado sobre o aborto é idepedete do sexo do etrevistador. H1: A opiião do etrevistado sobre o aborto ão é idepedete do sexo do etrevistador. Sob a hipótese ula, isto é, sob a hipótese de que as variáveis são idepedetes, qual seria a tabela de cotigêcia que deveríamos esperar o caso do estudo da Tabela 3? Ora, se do total de 100 homes etrevistados, 868 (7.3%) cocordaram com a afirmação, deveríamos esperar essa mesma porcetagem etre os homes que foram etrevistados por pessoas do sexo masculio (800) e etre os homes que foram etrevistados por pessoas do sexo femiio (400), caso uma variável ão depedesse da outra (hipótese ula). Ou seja, deveríamos esperar 0.73 x 800 = homes que cocordaram detre os que foram etrevistados por homes. Essa mesma proporção também deveria acotecer etre os 400 homes que foram etrevistados por mulheres, ou seja, deveríamos esperar 0.73 x 400 = 89.3 homes que cocordaram detre os que foram etrevistados por mulheres. Desse modo, podemos motar uma tabela esperada, sob a hipótese de idepedêcia (hipótese ula), que é mostrada a Tabela 5

5 Departameto de Estatística - Istituto de Ciêcias Exatas 5 Tabela 5 - Tabela Esperada sob a Hipótese de Idepedêcia Sexo do Resposta Etrevistador Cocordo Discordo Total Masculio (868/100)x800 = (33/100)x800 = Femiio (868/100)x400 = 89.3 (33/100)x400 = Total Com a tabela de valores esperados sob a hipótese ula, podemos compará-la com a tabela observada e verificarmos se a distâcia as duas é grade ou ão. Se a distâcia etre o observado e o esperado sob a hipótese de idepedêcia ão for cosiderada grade, etão ão teremos evidêcias suficietes para rejeitar a hipótese de idepedêcia etre as variáveis. Do cotrário, caso a distâcia etre o observado e o esperado sob a hipótese de idepedêcia for cosiderada grade, etão teremos evidêcias suficietes para rejeitar a hipótese de idepedêcia etre as variáveis Mas como medir a distâcia etre o observado e o esperado sob H0? Nesse poto, precisamos de uma Estatística de Teste para medir essa distâcia. A Estatística de Teste usada para a distâcia etre as tabelas observada e esperada chama-se X (leia xis-quadrado ) e é defiida como: X ( e ) ( 1 e1 ) ( 1 e1) ( e ) = e e e e 1 ode e11 e1 e1 e represeta a freqüêcia observada a liha 1 e colua 1 da tabela (observada) represeta a freqüêcia observada a liha 1 e colua da tabela (observada) represeta a freqüêcia observada a liha e colua 1 da tabela (observada) represeta a freqüêcia observada a liha e colua da tabela (observada) represeta a freqüêcia esperada a liha 1 e colua 1 da tabela (esperada) represeta a freqüêcia esperada a liha 1 e colua da tabela (esperada) represeta a freqüêcia esperada a liha e colua 1 da tabela (esperada) represeta a freqüêcia esperada a liha e colua da tabela (esperada) Assim, o exemplo da opiião sobre o aborto, 11=560, 1=40, 1=308 e =9 (Tabela 3) e e11=578.7, e1=1.3, e1=89.3 e e=110.7 (Tabela 5). Note que as difereças etre as freqüêcias observadas ( s) e as freqüêcias esperadas (e s) são elevadas ao quadrado. Isso é feito para que os desvios egativos e positivos

6 6 Ilka A. Reis e Eda A. Reis ão se cacelem, de forma semelhate ao que ocorre quado calculamos a variâcia amostral. A divisão pela freqüêcia esperada em cada parcela é feita para padroizar essa medida de difereça etre o observado e o esperado, como também ocorre as estatísticas de teste Z e T para os testes de média e proporção. Assim, a estatística X é simplesmete a soma das distâcias padroizadas de cada uma das caselas da tabela observada até sua respectiva casela a tabela esperada. Para o exemplo iicial (associação etre sexo do etrevistador e opiião do etrevistado), o cálculo da estatística X ficaria ( ) ( ) ( ) ( ) X = X = = = Obs: a coicidêcia de valores os umeradores das parcelas ão é regra. Acoteceu por acaso. Com o valor do X, que é a medida de distâcia etre o observado e o esperado sob a hipótese ula, aida pergutamos: o valor 6.55 é uma difereça grade sob a hipótese de que as variáveis são idepedetes ou ocorreu por mero acaso? Para decidirmos se 6.55 é um valor grade ou ocorreu por mero acaso, devemos recorrer à distribuição de probabilidade de X sob a hipótese ula. Assim, poderemos saber quais são valores mais prováveis para X sob a hipótese de idepedêcia e decidir se 6.55 é um valor provável para X ou ão. Os valores pouco prováveis formam a Região de Rejeição (RR) da hipótese de idepedêcia. A distribuição de X sob a hipótese de idepedêcia chama-se Distribuição Qui-Quadrado (χ ). Assim, esse teste é chamado de Teste do Qui-Quadrado e é um teste muito citado a literatura de várias áreas do cohecimeto. A Distribuição Qui-quadrado também depede da quatidade chamada graus de liberdade, como a distribuição t-studet. Para cada valor do grau de liberdade, existe uma distribuição Qui-quadrado.

7 Departameto de Estatística - Istituto de Ciêcias Exatas 7 5 g.l. 10 g.l. 0 Figura 1 Distribuição Qui-quadrado com 5 e 10 graus de liberdade (g. l.) A Tabela Qui-quadrado: também existe uma Tabela Qui-quadrado (em aexo) e a forma de cosultá-la é semelhate à forma de cosulta da Tabela T. Nas lihas da tabela, estão os graus de liberdade e, as coluas, a proporção da área que o poto deixa acima dele. Só existem algumas proporções de área tabeladas e são os valores mais usados. Se cosultarmos a liha 1 e a colua do 0.05, ecotraremos o valor 3.84, sigificado que esse é o poto da distribuição Qui-quadrado com 1 grau de liberdade que deixa de uma área de 5% acima dele. A distribuição Qui-quadrado ão é simétrica como a distribuição t-studet. A distribuição Qui-quadrado só assume valores positivos. Desse modo, se quisermos saber qual é poto da distribuição Qui-quadrado com 1 grau de liberdade que deixa uma área de 0.05 abaixo dele, teremos que usar a propriedade do complemetar, ecotrado qual é o poto que deixa uma área de acima dele, que, esse caso, é o poto (Tabela Qui-quadrado a liha 1 e colua do 0.975) A Região de Rejeição do teste qui-quadrado com uma tabela x é costruída com base a distribuição Qui-quadrado com 1 grau de liberdade, pois o úmero de graus de liberdade usado o teste depede do úmero de lihas e coluas da tabela de cotigêcia usada da seguite forma: Número de graus de liberdade = (úmero de lihas -1)(úmero de coluas -1) Assim, para uma tabela X, o úmero de graus de liberdade é (-1)(-1)=1. Se a tabela fosse 3x, por exemplo, o úmero de graus de liberdade usados seria (3-1)(-1)=. A Região de Rejeição do teste Qui-quadrado é da forma: RR: X > χ v;α (α é o ível de sigificâcia usado o teste) ode χ v;α é o poto da distribuição Qui-quadrado com v graus de liberdade que deixa uma área de α acima dele. Já sabemos, por exemplo, que χ 1;0.05 é igual a 3.84 e que χ 1;0.975 é igual a

8 8 Ilka A. Reis e Eda A. Reis Quem é χ 1;0.01? Na liha 1 e a colua do 0.01, ecotramos Assim, χ 1;0.01 = Os valores de χ v;α mais usados para o teste Qui-quadrado com uma tabela x são o 3.84 e 6.63, que correspodem aos testes com ível de sigificâcia igual a 5% e 1%, respectivamete. Para o exemplo da opiião sobre o aborto, usado um ível de sigificâcia igual a 5%, a Região de Rejeição seria: RR: X > 3.84 Como o valor de X está a RR (6.55 > 3.84), cocluímos pela rejeição da hipótese de idepedêcia etre a opiião do etrevistado e o sexo do etrevistador, ao ível de 5% de sigificâcia. Isto é, as evidêcias amostrais idicam que existe associação etre a opiião do etrevistado e o sexo do etrevistador, a 5%. Cálculo do Valor P (probabilidade de sigificâcia) Como a Região de Rejeição do teste Qui-quadrado é uilateral direita, o valor é calculado da seguite forma: Valor p = P( χ 1 > X ). Como em todos os valores das distribuições Qui-quadrado estão tabelados, o cálculo do valor P para o teste Qui-quadrado será quase sempre aproximado, como acotece também com o teste t-studet para a média. Para o exemplo da opiião sobre o aborto, o valor P = P( χ 1 > 6.55). O valor 6.55 ão existe a liha 1 da tabela Qui-quadrado, mas está etre os valores 5.04 e 6.635, que correspodem às coluas 0.05 e 0.01, respectivamete. Desse modo, cocluímos que P( χ 1 > 6.55) está etre 0.01 e 0.05, ou seja, 0.01 < valor P < Com a divulgação do valor P desse teste, uma pessoa mais rigorosa com a probabilidade de erro tipo I, usado um ível de sigificâcia de 1%, por exemplo, ão rejeitaria a hipótese de idepedêcia etre a opiião do etrevistado e o sexo do etrevistador. Outro exemplo de teste de idepedêcia (tabela 3x3) Um estudo foi realizado para avaliar se existe associação etre o grau de ajustameto familiar e a escolaridade das pessoas. Uma amostra de 350 idivíduos adultos foi O valor P pode ser calculado de maeira exata, mas somete através de programas de computador. Como temos em mãos somete a tabela Qui-quadrado, expressaremos o valor P em termos aproximados. O valor P exato para esse exemplo é

9 Departameto de Estatística - Istituto de Ciêcias Exatas 9 classificada simultaeamete segudo o grau de ajustameto familiar (baixo, médio e alto) e a escolaridade (1 o, o e 3 o grau), gerado a Tabela 6. Tabela 6 Grau de Ajustameto Familiar Escolaridade Baixo Médio Alto Total 1 o. grau 9 (40.) 70 (66.6) 111 (103.) 10 o. grau 8 (19.0) 30 (31.4) 41 (48.7) 99 Faculdade 10 (7.8) 11 (13.0) 0 (0.1) 41 Total H0 : Não existe associação etre o grau de ajustameto familiar e a escolaridade das pessoas H1: Existe associação etre o grau de ajustameto familiar e a escolaridade das pessoas Os valores etre parêteses são os esperados sob H0. O valor da liha 1 e colua 1, por exemplo, é igual a (10/350)x67 = 40., isto é, (total da liha 1)x(total da colua 1)/(total geral). Já o valor da liha 3 e colua 1 é igual a (41/350)x67 = 7.8, ou seja, (total da liha 3)x(total da colua 1)/(total geral). Cálculo de X : (9 40.) ( ) ( ) (8 19) ( ) ( ) X = (10 7.8) (11 13) (0 0.1) = Região de Rejeição: úmero de graus de liberdade = (3-1)(3-1)=4. Usado um ível de sigificâcia de 5%, precisamos do valor de χ 4;0.05. Na liha 4 e a colua do 0.05 a tabela Qui-quadrado, ecotramos o valor de 9.488, aproximadamete, Assim, RR: X > Como o valor de 10.4 está a região de rejeição (10.4 > 9.49), cocluímos pela rejeição da hipótese de idepedêcia etre o grau de ajustameto familiar e ível de escolaridade, ao ível de 5% de sigificâcia. Valor P = P(χ 4> 10.4). O valor 10.4 ão existe a liha 4 da tabela Qui-quadrado, estado etre e , que deixam, respectivamete, área 0.05 e 0.05 acima. Sedo assim, o valor P para esse teste está etre 0.05 e 0.05.

10 10 Ilka A. Reis e Eda A. Reis Situação : Teste de Homogeeidade Nessa situação, dois grupos são classificados as categorias de uma outra variável, gerado também uma tabela x. O iteresse está em avaliar se existe difereça a proporção de classificados uma das categorias etre um grupo e outro. No estudo de drogas para o cotrole de hiperatividade, exemplificado a Tabela 4, o iteresse está em saber se a proporção de pessoas que tiveram sua hiperatividade cotrolada com a droga A é diferete da proporção de pessoas que tiveram a hiperatividade cotrolada usado a droga B. Tabela 4 Hiperatividade Droga Sim Não Total A B Total Aqui, o teste de hipóteses a ser feito é um teste de homogeeidade de proporções. O teste de homogeeidade de duas proporções pode também ser feito de forma semelhate ao teste de igualdade de duas médias. Porém, a abordagem mais comum é a descrita a seguir. Para o teste de homogeeidade de proporções, as hipóteses ula e alterativa são as seguites: H0: As proporções de sucesso os dois grupos são homogêeas (iguais) H1: As proporções de sucesso os dois grupos ão homogêeas (iguais) Como a classificação dos grupos se dá em duas categorias, uma delas é chamada de sucesso, geralmete a categoria de mais iteresse. No exemplo do cotrole de hiperatividade, a categoria de mais iteresse é aquela da hiperatividade cotrolada, correspodete á colua Não a Tabela 4. O sucesso será ter a hiperatividade cotrolada. Assim, as hipóteses para esse exemplo ficam: H0: As proporções de pessoas com a hiperatividade cotrolada os dois grupos são homogêeas H1: As proporções de pessoas com a hiperatividade cotrolada os dois grupos ão são homogêeas Cosiderado a hipótese de homogeeidade das proporções (hipótese ula), poderíamos pesar o que seria esperado caso essa hipótese fosse verdadeira. Se 116 das 400 pessoas, ou seja, 9% das pessoas, tiveram os sitomas da hiperatividade cotrolados, deveríamos esperar igual proporção os grupos A e B, sob a hipótese de que as proporções de sucesso são homogêeas os dois grupos. Desse modo, deveríamos esperar 0.9x00=58 pessoas com hiperatividade cotrolada o grupo A e 0.9x00=58 pessoas com hiperatividade cotrolada o grupo B. Usado o mesmo raciocíio para a

11 Departameto de Estatística - Istituto de Ciêcias Exatas 11 proporção de pessoas aida com sitomas de hiperatividade, 84 em 400, ou seja, 71%, deveríamos esperar 0.71x00=14 pessoas com sitomas de hiperatividade o grupo A e 0.71x00=14 pessoas com sitomas de hiperatividade o grupo B. As freqüêcias esperadas sob a hipótese de homogeeidade das proporções é apresetada a Tabela 6. Tabela 6 - Freqüêcias esperadas para a Tabela 4 Hiperatividade Droga Sim Não Total A (84/400)x00=14 (116/400)x00=58 00 B (84/400)x00=14 (116/400)x00=58 00 Total Para medir a difereça etre as freqüêcias observadas (Tabela 4) e as freqüêcias esperadas sob a hipótese de homogeeidade (Tabela 6), usaremos também a Estatística X. Ou seja, aqui também o teste usado para decidirmos etre as hipóteses ula ou alterativa é o Teste Qui-quadrado. Para os dados sobre cotrole de hiperatividade, a estatística X seria calculada como: X = ( 15 14) ( 48 58) ( 13 14) ( 68 58) X ( 10) ( = + ) ( + ) ( ) + = Obs: a coicidêcia de valores os umeradores e deomiadores das parcelas ão é regra. Essa coicidêcia ocorreu porque os grupos são de mesmo tamaho. Caso utilizarmos um ível de sigificâcia igual a 5%, a Região de Rejeição desse teste são os valores de X que são maiores do que χ 1;0.05 = 3.84, ou seja, RR: X > 3.84 Cálculo do valor p: valor p = P(χ 1> 4.86). O valor 4.86 ão existe a liha 1 da tabela Qui-quadrado, estado etre o valor 3.84 e o valor 5.0, que deixam uma área acima deles de 0.05 e 0.05, respectivamete. Desse modo, podemos cocluir que o valor p está etre 0.05 e Como o valor observado para o X está a região de rejeição (4.86 > 3.84), rejeitamos a hipótese de que as proporções de pessoas com sitomas de hiperatividade cotrolada são homogêeas para os dois grupos, ao ível de sigificâcia de 5%. Essa coclusão também ser feita através do valor p, que é meor do que o ível de sigificâcia adotado, levado à rejeição da hipótese de homogeeidade das proporções. A proporção de pessoas que tiveram a hiperatividade cotrolada tomado a droga A foi de 48/00=4%, equato essa proporção para o grupo que tomou a droga B foi de

12 1 Ilka A. Reis e Eda A. Reis 68/00=34%. A difereça etre essas proporções foi cosiderada estatisticamete sigificate, a 5%, pelo teste Qui-quadrado. A droga B teve uma eficácia maior do que a droga A o cotrole da hiperatividade. Outro exemplo de teste de homogeeidade de proporções Num estudo para avaliar as atitudes e creças de estudates uiversitários sobre psicoterapia e psicologia, W. Gomes e colegas amostraram dois grupos de estudates de psicologia: um grupo de 16 estudates que estava o iício do curso e outro grupo de 177 estudates que estavam termiado curso. A esses estudates, foi pergutado se eles já haviam pesado em cosultar um psicoterapeuta. Dos estudates iiciates, 191 respoderam que sim e, dos estudates formados, 17 respoderam que sim, um total de 363 respostas positivas. Esses dados podem ser orgaizados a seguite tabela de cotigêcia. Tabela 7 Você já pesou em cosultar um psicoterapeuta? Período do Curso Sim Não Total Iício Fim Total Fote: Gomes, W. et. al.. Atitudes e creças de estudates uiversitários sobre a psicoterapia e a psicologia. I: Psicologia: teoria e prática. Vol 1, p Baseado esses dados amostrais, podemos cocluir que há difereça etre a proporção de estudates que já pesaram em procurar um psicoterapeuta o iício e o fim do curso? Essa perguta pode ser respodida através de um teste de hipóteses de homogeeidade de proporções. As hipóteses ula e alterativa são: H0: As proporções de iteção de cosulta a um psicoterapeuta são iguais etre estudates do iício e do fim do curso. H1: As proporções de iteção de cosulta a um psicoterapeuta são diferetes etre estudates do iício e do fim do curso. Aqui, a resposta positiva à perguta feita está sedo cosiderado o sucesso. A Tabela 8 mostra os valores esperados sob a hipótese de homogeeidade

13 Departameto de Estatística - Istituto de Ciêcias Exatas 13 Tabela 8 Você já pesou em cosultar um psicoterapeuta? Período do Curso Sim Não Total Iício (363/393)x16=199.5 (30/393)x16= Fim (363/393)x177=163.5 (30/393)x177= Total X = ( ) ( ) ( ) ( ) X ( 8. 5) (8. 5) (8. 5) ( 8. 5) = = Valor p = P(χ 1> 10.6). O valor 10.6 ão existe a liha 1 da tabela Qui-quadrado, sedo maior do que último valor da tabela (7.876), que deixa uma área acima dele de Desse modo, podemos cocluir que o valor p é meor do que 0.5%. Usado um ível de sigificâcia de 5%, cocluímos pela rejeição da hipótese de que as proporções de iteção de cosulta a um psicoterapeuta são iguais etre estudates do iício e do fim do curso. A proporção de estudates iiciates que disseram ter a iteção de procurar um psicoterapeuta é de 191/16=88.4%, equato essa proporção para o grupo de estudates formados é 17/177=97.%. A difereça etre essas proporções foi cosiderada estatisticamete sigificate, a 5%, pelo teste Qui-quadrado. Os estudates formados estão mais itecioados quato à procura de um psicoterapeuta do que os estudates calouros. Procedimeto Alterativo para o cálculo de X em tabelas x Quado estivermos trabalhado com tabelas x, existe uma forma mais simples de usar os valores da tabela observada para calcular o valor de X. Cosiderado a tabela observada a seguir, Tabela Observada Geérica Variável A Variável B A1 A Total B1 a b a+b B c d c+d Total a+c b+d N=a+b+c+d podemos calcular o valor de X da seguite forma

14 14 Ilka A. Reis e Eda A. Reis X = N ( ad bc) ( a + b)( a + c)( b + d)( c + d) Na verdade, essa é expressão para o X escrita somete em termos dos valores observados, já que os valores esperados são uma fução dos valores observados. Para os dados da Tabela 7, teríamos X 393[( 191 5) ( 5 17)] 393[ ] = = ( 16)( 363)( 30)( 177) = Correção de Cotiuidade Ao trabalharmos com tabelas de cotigêcia, estamos lidado como quatidades discretas (cotages). No etato, utilizamos uma distribuição de probabilidades cotíua (a Qui-quadrado) para testar a associação etre variáveis. Assim, para melhorar essa aproximação, foi proposta uma correção de cotiuidade 3 a expressão do X. Para tabelas x, a expressão do X com a correção será escrita como X c = N N ad bc ( a + b)( a + c)( b + d)( c + d) O valor de X c para os dados da Tabela 7 seria calculado como X C = ( 191 5) ( 5 17) ( 16)( 363)( 30)( 177) = = 9. 4 Apesar de a correção de cotiuidade ão provocar grades alterações o valor do X, essas alterações podem ser importates quado se está próximo do limite etre região de rejeição e a região de ão rejeição. Desse modo, o uso da correção de cotiuidade deve ser sempre preferido. Procedimeto Geral para o Teste Qui-quadrado (Tabelas R x S) 3 Yates propôs essa correção, em 1934, um artigo publicado o Joural of Royal Statistical Society.

15 Departameto de Estatística - Istituto de Ciêcias Exatas 15 O procedimeto geral para realizar o teste Qui-quadrado, tato para o teste de idepedêcia quato para o teste de homogeeidade, é comparar as freqüêcias da tabela de cotigêcia observada com as freqüêcias esperadas sob a hipótese ula, através da estatística X. A Região de Rejeição é do tipo uilateral direita, costruída através da distribuição Qui-quadrado com os graus de liberdade apropriados. No caso de uma tabela com R lihas e S coluas (tabela R x S), o úmero de graus de liberdade será (R-1)(S-1). Se a tabela tiver 4 lihas e 3 coluas (tabela 4x3), por exemplo, o úmero de graus de liberdade a ser usado será (4-1)(3-1)=(3)()=6. Apesar do procedimeto para realizar os dois tipos de testes ser o mesmo, é importate lembrar que as hipóteses testadas são diferetes. O teste da idepedêcia testa a existêcia de associação etre duas variáveis de classificação, equato o teste de homogeeidade testa a homogeeidade das proporções de sucessos em dois (ou mais) grupos. Essa difereça deve estar em mete sempre que os testes forem realizados, pois as tabelas foram costruídas de maeira diferete, os objetivos são diferetes e as coclusões também o serão. Como seriam as tabelas observadas e esperadas, o caso do teste de idepedêcia e do teste de homegeeidade? De forma geérica, cosiderado tabelas com R lihas e S coluas, teríamos Tabela R x S geérica observada o caso do teste de idepedêcia Variável B Variável A B1 B... Bs Total A s 1* A 1... s * Ar r1 r... rs r* Total *1 *... *s Tabela R x S geérica observada o caso do teste de homogeeidade Resposta R1 R1... Rs Total Grupo s 1* Grupo 1... s * Grupo r r1 r... rs r* Total *1 *... *s Note que as tabelas tem o mesmo formato, mas diferem quato à forma de etrada dos dados. Na tabela para o teste de idepedêcia, o total de observações é classificado simultaeamete as r categorias da variável A e as s categorias da variável B.

16 16 Ilka A. Reis e Eda A. Reis Na tabela para o teste de homogeeidade, o total de observações do Grupo 1, 1*, é classificado as s categorias da Resposta, o total de observações do Grupo, *, é classificado as s categorias da Resposta, e assim por diate, até o último grupo, o Grupo r. Tabela R x S geérica esperada o caso do teste de idepedêcia Variável B Variável A B1 B... Bs A1 1* * 1 1 e = e 11 1 =... * * 1 s e1 s = * * i j e = A * * * * 1... * * * * e = e = ij 1 1 e s = s Ar e r1 r = * * 1 e r r = * *... e rs r s = * * Tabela R x S geérica esperada o caso do teste de homogeeidade Resposta Grupos R1 R... Rs Grupo 1 1* * 1 1 e = 11 e1 =... * * 1 s e = * * 1s i j eij = Grupo * * * * 1 e1 =... * * * * e = e = 1 s s Grupo r e r1 r = * * 1 er r = * *... e rs r = * * s Os valores da tabela esperada sob a hipótese ula em cada um dos dois testes são calculados a mesma forma. Basicamete, o valor de cada casela da tabela esperada é formada pela multiplicação do total da liha pelo total da colua e dividido pelo total geral. Assim, o valor da casela localizada a liha e colua 3 (e3), por exemplo, é formado pela multiplicação do total da liha (*) pelo total da colua 3 (*3) dividido pelo total geral (). O valor da Estatística X será calculado da forma demostrada ateriormete e terá quatas parcelas quato for o úmero de caselas da tabela de cotigêcia. Para fazer a correção de cotiuidade, deve-se subtrair 0.5 de cada uma das parcelas. O valor p do teste será calculado da mesma forma, ou seja,

17 Departameto de Estatística - Istituto de Ciêcias Exatas 17 Valor p = P( χ (r 1)( s 1) > X ) Medidas de Associação etre Variáveis Qualitativas Quado ecotramos associação etre duas variáveis qualitativas, gostaríamos de poder quatificar essa associação e saber qual é a sua direção. Como exemplo, vamos cosiderar um estudo de avaliação do efeito do tratameto com estrogêio e progestia em mulheres a pós-meopausa. Um total de.763 destas mulheres foram divididas aleatoriamete em dois grupos: fizeram uso desses hormôios e o restate fez uso de um placebo. Uma das ocorrêcias avaliadas foi a de trombose veosa profuda e os resultados estão resumidos a tabela a seguir. Tabela 9 Trombose Veosa Profuda Grupo Sim Não Total Estrogêio/Progestia Placebo Total Fote: JAMABrasil, set 1999, v.3,. 8 O valor P do teste Qui-quadrado é 0.00, idicado associação sigificativa etre o uso de estrogêio/progestia e a ocorrêcia de trombose veosa profuda. Mas qual é a direção dessa associação? Ou seja, qual dos grupos está mais protegido? Para respoder a essa questão, vamos defiir Risco Relativo. Risco relativo (RR): é a razão etre a probabilidade (risco) de ocorrêcia do eveto o grupo exposto e a probabilidade (risco) de ocorrêcia do eveto o grupo ão exposto. Cosiderado a tabela geérica, como calcular o Risco Relativo? Tabela Observada Geérica Ocorrêcia do Eveto Grupo Sim Não Total Exposto a b a+b Não exposto c d c+d Total a+c b+d N Estimativa do risco de ocorrêcia do eveto o grupo exposto a a + b

18 18 Ilka A. Reis e Eda A. Reis Estimativa do risco de ocorrêcia do eveto o grupo ão-exposto c c + d Estimativa do Risco Relativo a RR = a + b c c + d No exemplo da Tabela 9, temos 5 RR = = = O risco de trombose veosa o grupo que uso dos hormôios é 1.8%, equato esse mesmo risco o grupo placebo é de 0.06%. Desse modo, o risco de ocorrêcia de trombose veosa profuda o grupo que foi exposto ao uso dos hormôios é 3 vezes esse risco o grupo que usou o placebo. O uso dos hormôios parece ser um fator de risco para a ocorrêcia de trombose veosa profuda. Devemos observar que a estimativa de risco só pode ser feita quado o total dos grupos de comparação é uma quatidade fixa (arbitrária). Isso ocorre os estudos prospectivos 4, ode a observação do eveto de iteresse se dá detro dos grupos de comparação previamete formados e defiidos pelos pesquisadores. Assim, o Risco Relativo só pode ser estimado em estudos que partiram da exposição e, depois de um acompahameto, observaram a ocorrêcia do eveto de iteresse. No estudo com o estrogêio/progestia, que é um exemplo de experimeto clíico aleatorizado, o tamaho dos grupos foi predetermiado pelos pesquisadores. Poderia ter sido um grupo maior ou meor, sedo que esse úmero pode ser cotrolado pelos pesquisadores. No etato, há estudos ode o tamaho dos grupos de comparação é uma variável aleatória, cujo o valor os pesquisadores só cohecerão depois de classificar a amostra. Este é o caso dos estudos retrospectivos 5. Desse modo, ão podemos fazer estimativas de risco e, portato, ão podemos calcular o Risco Relativo. Alterativa para o Risco Relativo: a Razão de Chaces (RC) No exemplo a seguir, WÜSNSCH (tese de doutorado), trabalhou com idivíduos da Região Metropolitaa de São Paulo ( ) que tiham câcer de pulmão e idivíduos sem a doeça, ivestigado o hábito tabagista esses dois grupos. A classificação dos 85 idivíduos participates desse estudo segudo a preseça da doeça e o hábito de fumo gerou a seguite tabela: 4 É o caso dos estudos de coorte e experimetos clíicos aleatorizados. 5 Etre eles, estão os estudos de caso-cotrole.

19 Departameto de Estatística - Istituto de Ciêcias Exatas 19 Tabela 10 Câcer de Pulmão Sim Não Total Fumate Não-fumate Total Os totais de liha e de colua dessa tabela só puderam ser obtidos depois que o pesquisador observou cada idivíduo. Ele ão sabia ateriormete quatos idivíduos estariam os grupos exposto (fumate) e ão-exposto (ão-fumates). Nesse caso, ão se pode estimar risco de desevolver a doeça, mas pode-se estimar a chace de desevolvê-la. Chace : a chace de ocorrer um eveto é a razão etre a probabilidade de ocorrêcia desse eveto e a probabilidade de ão ocorrêcia desse eveto. Exemplo: chace de gahar a loteria é a razão etre a probabilidade de gahar a loteria e a probabilidade de ão gahar a loteria. Se alguém tem uma chace de gahar a loteria de 0.1, isso sigifica que a probabilidade dessa pessoa gahar a loteria equivale a 10% da probabilidade de ão gahar. Ou seja, ela tem uma maior probabilidade de perder do que de gahar. Se a chace de ocorrêcia de um eveto é meor do que 1, isso sigifica que a probabilidade de ocorrêcia desse eveto é meor do que a probabilidade da ão ocorrêcia. Por outro lado, se a chace de ocorrêcia de um eveto é maior do que 1, isso sigifica que a probabilidade de ocorrêcia desse eveto é maior do que a probabilidade da ão ocorrêcia. Assim, observamos uma difereça importate etre risco e chace : como o risco é uma probabilidade, só pode assumir valores etre 0 e 1. Mas a chace pode assumir qualquer valor positivo, iclusive os maiores do que 1. Ao ivés de trabalharmos com Risco Relativo, trabalharemos com Razão de Chaces (RC). Na tabela geérica, temos Tabela Observada Geérica Ocorrêcia do Eveto Grupo Sim Não Total Exposto a b a+b Não exposto c d c+d Total a+c b+d N Estimativa da probabilidade de ocorrêcia do eveto o grupo exposto: a a + b Estimativa da probabilidade de ão ocorrêcia do eveto o grupo exposto: b a + b

20 0 Ilka A. Reis e Eda A. Reis A estimativa da chace de ocorrêcia do eveto o grupo exposto é a razão das duas probabilidades acima. a b a Ou seja, a + b a + b = b O mesmo raciocíio é feito para o grupo ão-exposto e a estimativa da chace de c d c ocorrêcia do eveto o grupo ão-exposto é dada por = c + d c + d d Assim, a estimativa das razão das chaces é calculada como RC = a b a + b a + b c d c + d c + d a d = b c A Razão das Chaces pode ser estimada em todos os tipos de estudos e, particularmete, é a úica alterativa em estudos que partiram da doeça e observaram a exposição, como os estudos de caso- cotrole. No exemplo da Tabela 10, temos Estimativa da chace de câcer de pulmão o grupo fumate: Estimativa da chace de câcer de pulmão o grupo ão-fumate: = = RC = = Estimativa da razão de chaces de câcer de pulmão: = A chace de ocorrêcia de câcer de pulmão o grupo fumate é 4.15 vezes a chace o grupo ão-fumate, ou seja, o fumo parece ser fator de risco para câcer de pulmão.

21 Departameto de Estatística - Istituto de Ciêcias Exatas 1 Equivalêcia etre o Teste Qui-quadrado e o teste baseado em Itervalos de Cofiaça para Risco Relativo e Razão de Chaces Assim como calculamos itervalos de cofiaça para uma média ou proporção populacioal, podemos calcular itervalos de cofiaça para o Risco Relativo e para a Razão de Chaces. Aliás, já sabemos que essa é uma maeira melhor de se fazer estimação, pois leva a cota a variabilidade presete as estimativas potuais. A costrução de itervalos de cofiaça para o Risco Relativo e para a Razão das Chaces ão é tão simples quato o caso da média e da proporção. Desse modo, daremos êfase somete à iterpretação desses itervalos e ao seu modo de uso. No exemplo da Tabela 9, temos que o risco relativo de trombose veosa profuda dos grupos estrogêio-progestia e placebo foi de 3.0. O itervalo de 95% de cofiaça para esse risco relativo vai de 1.43 a 7.04, idicado que o grupo de mulheres que fizeram reposição hormoal têm um risco de trombose veosa profuda de 1.43 a 7.04 vezes o risco do grupo de mulheres que fizeram o uso do placebo, com 95% de cofiaça. No exemplo da Tabela 10, vimos que a razão de chaces de câcer de pulmão dos grupos fumate e ão-fumate é de O itervalo de 95% de cofiaça para essa razão de chaces vai de.83 a 6.08, idicado que o grupo de fumates tem uma chace de câcer de pulmão de.83 a 6.08 vezes a chace do grupo de ão-fumates. Podemos usar esses itervalos de cofiaça para testar a associação etre a doeça e o fator de exposição, assim como faz o teste Qui-quadrado da idepedêcia. De fato, se ão existir associação etre o fator de exposição e a doeça, tato o risco relativo quato a razão de chaces valerão 1.0, pois tato o grupo exposto quato o ão-exposto terão o mesmo risco (ou chace) de ocorrêcia do eveto. Assim, as hipóteses do teste de Qui-quadrado de Idepedêcia equivalem a H0 : RR = 1 (a ocorrêcia do eveto idepede do grupo) H1: RR 1 (a ocorrêcia do eveto depede do grupo), caso o Risco Relativo (RR) puder ser usado, e equivalem a H0 : RC = 1 (a ocorrêcia do eveto idepede do grupo) H1: RC 1 (a ocorrêcia do eveto depede do grupo), se a Razão de Chaces tiver que ser usada. Se tivermos o itervalo de cofiaça para o Risco Relativo (ou Razão de Chaces), poderemos usá-lo para testar as hipóteses acima, da seguite forma: caso o valor 1 pertecer ao itervalo de cofiaça, ão teremos evidêcias suficietes para rejeitar a hipótese de que o Risco Relativo (ou Razão de Chaces) seja igual a 1. Em outras palavras, ão teremos evidêcias suficietes para rejeitar a hipótese de que a ocorrêcia do eveto idepede do grupo a que pertece o idivíduo. caso o itervalo ão passar pelo valor 1, teremos evidêcias suficietes para rejeitar a hipótese de que Risco Relativo (ou Razão de Chaces) seja igual a 1. Em outras

22 Ilka A. Reis e Eda A. Reis palavras, teremos evidêcias suficietes para rejeitar a hipótese de que a ocorrêcia do eveto idepede do grupo a que pertece o idivíduo, em favor da hipótese de que existe uma associação etre a ocorrêcia do eveto e o grupo a que pertece o idivíduo. Vale lembrar que os testes de hipóteses baseados em itervalos de cofiaça são feitos usado um ível de sigificâcia correspodete ao ível de cofiaça do itervalo. Ou seja, se o itervalo é de 95% de cofiaça, por exemplo, um teste baseado ele será feito a 5% de sigificâcia. Se o itervalo fosse de 99%, o ível de sigificâcia do teste baseado ele seria de 1%. No exemplo da Tabela 9, o itervalo de 95% de cofiaça para o risco relativo de trombose veosa profuda dos grupos estrogêio-progestia e placebo vai de 1.43 a Ao ível de 5% de sigificâcia, temos evidêcias suficietes para rejeitar a hipótese de idepedêcia etre ocorrêcia de trombose e usos de hormôios, pois o valor 1 ão pertece ao itervalo. Essa mesma coclusão já havia sido feita usado o teste qui-quadrado. No exemplo da Tabela 10, o itervalo de 95% de cofiaça para a razão de chaces de câcer de pulmão dos grupos fumate e ão-fumate vai de.83 a Ao ível de 5% de sigificâcia, temos evidêcias suficietes para rejeitar a hipótese de idepedêcia etre ocorrêcia de câcer de pulmão e hábito de fumo, pois o valor 1 ão pertece ao itervalo. Essa mesma coclusão já havia sido feita usado o teste qui-quadrado. Na Figura, reproduzimos uma das tabelas de resultados do estudo sobre a associação etre reposição hormoal e a ocorrêcia de diversos evetos. Para o eveto Câcer de Mama, por exemplo, os dados ão mostraram evidêcias estatísticas suficietes, a 5% de sigificâcia, cotra a hipótese de idepedêcia etre o uso de reposição hormoal e a ocorrêcia desse tipo de câcer. Verificamos isso através do Valor P (0.33) e também pelo itervalo de 95% de cofiaça para o Risco Relativo (0.77 a.19). Apesar da estimativa para o risco relativo ser 1.30, idicado que o risco de ocorrêcia de câcer de mama o grupo que fez reposição hormoal é 30% maior do que esse risco o grupo placebo, o teste baseado o itervalo de cofiaça os diz que ão foram ecotradas evidêcias suficietes cotra a hipótese de esse risco relativo seja igual a 1, a 5% de sigificâcia. Isto é, ão há evidêcias suficietes para dizer que o risco de câcer de mama é afetado pelo uso de reposição hormoal. Esse mesmo raciocíio pode ser aplicado para todos os outros evetos cosiderados a tabela da Figura.

23 Departameto de Estatística - Istituto de Ciêcias Exatas 3 Figura Tabela de resultados do artigo publicado o JAMABrasil, set 1999, v.3,. 8

24 4 Ilka A. Reis e Eda A. Reis Exercícios 6 Obs: em todos os exercícios, calcule a medida de associação adequada (risco relativo ou razão de chaces) 1) Desejado-se verificar se duas vacias cotra brucelose (uma padrão e um ova) são igualmete eficazes, pesquisadores realizaram o seguite experimeto: um grupo de 14 bezerras tomou a vacia padrão e outro grupo de 16 bezerras tomou a vacia ova. Cosiderado que os dois grupos estavam igualmete expostos ao risco de cotrair a doeça, após algum tempo, verificou-se quatos aimais, em cada grupo, havia cotraído a doeça. Os resultados estão a Tabela 1.1. Tabela 11 Vacia Brucelose Total Sim Não Padrão Nova Total Existe difereça estatisticamete sigificativa etre as proporções de bezerras que cotraíram brucelose usado a ova vacia e a vacia padrão? (Use o teste Qui-Quadrado, com ível de sigificâcia de 5%, e calcule o valor P). ) *Com o objetivo de examiar a existêcia do efeito de determiado fertilizate a icidêcia da Bacterium phithotherum em platação de batatas, foi realizado o seguite experimeto: pés de batata tratados com diferetes fertilizates foram classificados, ao fial do estudo, como cotamiados ou livres de cotamiação. Os resultados estão a Tabela 1.. Tabela 1 Cotamiação Fertilizate Total Sim Não Nehum Nitrogêio Esterco Nitrogêio e Esterco Total Extraídos da Apostila de Exercícios Resolvidos em Itrodução à Bioestatística Reis, E. A., Reis, I. A. 001, Relatório Técico Série Esio - Departameto de Estatística da UFMG

25 Departameto de Estatística - Istituto de Ciêcias Exatas 5 Existe efeito de fertilizate a icidêcia desse tipo de bactéria as platações de batata? (Use o teste Qui-Quadrado, com ível de sigificâcia de 5%, e calcule o valor P). 3) Pesquisadores de doeças parasitárias em aimais de grade porte suspeitam que a icidêcia de certos parasitas esteja associada à raça do aimal, pura ou ão-pura. Num estudo para verificar essa suspeita, 100 aimais selecioados aleatoriamete de uma grade fazeda foram classificados segudo sua raça e icidêcia de parasitose (bere), dado origem aos dados a Tabela 1.3. Tabela 13 Icidêcia de parasitas Raça Total Sim Não Pura Não-pura Total Existem evidêcias estatísticas suficietes esses dados para verificar a hipótese de que a raça do aimal e a icidêcia de parasitas estejam associadas? (Use ível de sigificâcia igual a 1% e calcule o valor P). 4) Num estudo da associação etre a ocorrêcia de tromboembolismo e grupo saguíeo, 00 mulheres usuárias de cotraceptivo oral foram classificadas quato à preseça de tromboembolismo (doete ou sadia) e quato ao grupo sagüíeo (A, B, AB ou O). Os resultados dessa classificação foram reproduzidos a Tabela 1.4 Grupo Sagüíeo Tabela 14 Tromboembolismo Total Doete Sadia A B AB O Total Existem evidêcias estatísticas suficietes esses dados para verificar a hipótese de que a preseça do tromboembolismo e o grupo saguíeo estejam associados? (Use ível de sigificâcia igual a 1% e calcule o valor P. No cálculo da medida de associação, use o grupo O como referêcia).

26 6 Ilka A. Reis e Eda A. Reis Distribuição Qui-Quadrado Nível de Sigificâcia: Graus de Liberdade: 99,5% 0,995 99% 0,99 97,5% 0,975 95% 0,95 90% 0,90 10% 0,10 5% 0,05,5% 0,05 1% 0,01 0,5% 0, ,001 0,004 0,016,706 3,841 5,04 6,635 7,879 0,010 0,00 0,051 0,103 0,11 4,605 5,991 7,378 9,10 10, ,07 0,115 0,16 0,35 0,584 6,51 7,815 9,348 11,345 1, ,07 0,97 0,484 0,711 1,064 7,779 9,488 11,143 13,77 14, ,41 0,554 0,831 1,145 1,610 9,36 11,071 1,833 15,086 16, ,676 0,87 1,37 1,635,04 10,645 1,59 14,449 16,81 18, ,989 1,39 1,690,167,833 1,017 14,067 16,013 18,475 0,78 8 1,344 1,646,180,733 3,490 13,36 15,507 17,535 0,090 1, ,735,088,700 3,35 4,168 14,684 16,919 19,03 1,666 3,589 10,156,558 3,47 3,940 4,865 15,987 18,307 0,483 3,09 5,188 11,603 3,053 3,816 4,575 5,578 17,75 19,675 1,90 4,75 6, ,074 3,571 4,404 5,6 6,304 18,549 1,06 3,337 6,17 8, ,565 4,107 5,009 5,89 7,04 19,81,36 4,736 7,688 9, ,075 4,660 5,69 6,571 7,790 1,064 3,685 6,119 9,141 31, ,601 5,9 6,6 7,61 8,547,307 4,996 7,488 30,578 3, ,14 5,81 6,908 7,96 9,31 3,54 6,96 8,845 3,000 34, ,697 6,408 7,564 8,67 10,085 4,769 7,587 30,191 33,409 35, ,65 7,015 8,31 9,390 10,865 5,989 8,869 31,56 34,805 37, ,844 7,633 8,907 10,117 11,651 7,04 30,144 3,85 36,191 38,58 0 7,434 8,60 9,591 10,851 1,443 8,41 31,410 34,170 37,566 39, ,034 8,897 10,83 11,591 13,40 9,615 3,671 35,479 38,93 41,401 8,643 9,54 10,98 1,338 14,04 30,813 33,94 36,781 40,89 4, ,60 10,196 11,689 13,091 14,848 3,007 35,17 38,076 41,638 44, ,886 10,856 1,401 13,848 15,659 33,196 36,415 39,364 4,980 45, ,50 11,54 13,10 14,611 16,473 34,38 37,65 40,646 44,314 46, ,160 1,198 13,844 15,379 17,9 35,563 38,335 41,93 45,64 48, ,808 1,879 14,573 16,151 18,114 36,741 40,113 43,194 46,963 49, ,461 13,565 15,308 16,98 18,939 37,916 41,337 44,461 48,78 50, ,11 14,57 16,047 17,708 19,768 39,087 4,557 45,7 49,588 5, ,787 14,954 16,791 18,493 0,599 40,56 43,773 46,979 50,89 53, ,707,164 4,433 6,509 9,051 51,805 55,758 59,34 63,691 66, ,991 9,707 3,357 34,764 37,689 63,167 67,505 71,40 76,154 79, ,534 37,485 40,48 43,188 46,459 74,397 79,08 83,98 88,379 91, ,75 45,44 48,758 51,739 55,39 85,57 90,531 95,03 100,45 104, ,17 53,540 57,153 60,391 64,78 96, , ,69 11,39 116, ,196 61,754 65,647 69,16 73,91 107, , ,136 14,116 18, ,38 70,065 74, 77,99 8, ,498 14,34 19, , ,169