Testes de Ajustamento (testes da bondade do ajustamento)

Transcrição

1 Testes de Ajustamento (testes da bondade do ajustamento) Os testes de ajustamento servem para testar a hipótese de que uma determinada amostra aleatória tenha sido extraída de uma população com distribuição especificada. Seja X 1, X 2,..., X n uma amostra aleatória de uma população X com função (densidade) de probabilidade f desconhecida e f 0 a função (densidade) de probabilidade proposta. Hipóteses a testar: H 0 : f(x)=f 0 (x) H 1 : f(x) f 0 (x) 1

2 Exemplo 1: A procura diária de um certo produto foi, em 40 dias escolhidos ao acaso, a seguinte: Número de unidades Número de dias Tabela I: Procura diária de um produto registada em 40 dias. Será que tais observações foram extraídas de uma população com distribuição de Poisson, isto é, será de admitir que tal procura segue uma distribuição de Poisson? 2

3 Exemplo 2: Pretende-se construir um modelo de simulação das operações de um determinado terminal de um porto situado na Europa. Uma das variáveis a considerar no modelo é a diferença entre a data de chegada dos navios provenientes dos EU e a respectiva data planeada. Dado que tal diferença é influenciada por muitos factores, pode tomar-se como uma variável aleatória. Há razões para supor que tem distribuição Normal de média 0.1 e desvio padrão 7.2. Uma amostra de 30 navios revelou os resultados que se apresentam na tabela seguinte. 3

4 Tabela II: Diferença entre a data de chegada e a data planeada para 30 navios. Será mesmo de admitir que tais dados foram extraídos de uma população N(0.1, )? 4

5 Tanto no primeiro como no segundo exemplo, estamos perante um problema de ajustamento de dados a uma determinada distribuição. Existem vários testes de ajustamento que nos permitem fazer uma análise de problemas deste tipo, entre os quais: o teste de ajustamento do Qui-quadrado sugerido por Karl Pearson, o teste de Kolmogorov ou Kolmogorov-Smirnov e o teste de normalidade de Lilliefors, que apresentamos a seguir. 5

6 Teste do Qui-quadrado Considere-se uma amostra aleatória de n elementos, extraída de uma população com distribuição desconhecida, sobre os quais se observa uma característica (qualitativa ou quantitativa). Os valores possíveis da característica em estudo são, num primeiro passo, repartidas por m classes mutuamente exclusivas, A 1, A 2,..., A m (serão intervalos da recta real se a característica é quantitativa e contínua). 6

7 Denote-se por: - O i o nº de observações ou frequência absoluta observada da classe A i ; - p i a probabilidade desconhecida de obter uma observação na classe A i ; - p 0i a probabilidade de obter uma observação na classe A i assumindo que a observação foi extraída de uma população com a distribuição especificada em H 0, i.e. p 0i =P(A i \H 0 ). Hipóteses a testar: H 0 : p i =p 0i, i=1,...,m H 1 : p i p 0i para algum i 7

8 Assim, a frequência esperada da classe A i, quando H 0 é verdadeira, é dada por e i = n p 0i. A estatística de teste, do teste de ajustamento do Qui-quadrado, é dada por Q ( Oi ei ) = m i= 1 e i 2 que, sendo verdadeira a hipótese nula, tem distribuição assimptótica do Quiquadrado com m-k-1 graus de liberdade (χ 2 m-k-1), onde k é o número de parâmetros desconhecidos da distribuição proposta em H 0, estimados a partir da amostra. 8

9 Se a hipótese nula for verdadeira, a diferença entre cada valor observado e o respectivo valor esperado, O i e i, não deve ser muito grande, e consequentemente a estatística de teste terá um valor observado, Q obs, também não muito grande. De modo intuitivo, quanto maior for o valor observado de Q, menos plausível é a hipótese nula, isto é, mais nos encaminhamos de concluir que as frequências observadas não foram provenientes da população em que se baseou a hipótese nula, levando à rejeição desta. Trata-se portanto de um teste unilateral à direita. 9

10 Na aplicação deste teste deve-se ter particular atenção às frequências esperadas, e i s, pois se estas forem muito pequenas a aproximação ao Quiquadrado não é a mais apropriada. São referidas na literatura várias regras práticas de aplicação do teste, das quais avançamos a seguinte. Se tivermos: ou, - mais de 20% das classes com e i inferior a 5 - mais de uma classe com e i inferior a 1 devemos proceder à agregação de algumas classes contíguas, e iniciar novamente o teste, agora com menos classes. 10

11 Exemplo 1: Número de unidades TESTES DE HIPÓTESES NÃO PARAMÉTRICOS Número de dias Tabela I: Procura diária de um produto registada em 40 dias. Representando por X a procura diária do produto e por f a função de probabilidade de X, as hipóteses a testar são H 0 : X ~ P(µ) (f(x) = f 0 (x) = e -µ µ, x = 0,1,2,... e µ>0) x! H 1 : X ~/ P(µ) x 11

12 É necessário estimar o parâmetro µ, média da Poisson: x = ( ) / 40 = 1.7 Classes Frequência s observadas O i p 0i = P(A i \H 0 ) Frequências esperadas e i =40 p 0i A 1 ={0} A 2 ={1} A 3 ={2} A 4 ={3} A 5 ={4} A 6 ={5} A 7 ={6,7,...}

13 Probabilidades associadas a cada uma das classes supondo H 0 verdadeira: p 01 = P(A 1 \H 0 ) = P(X {0}\H 0 )=P(X=0) = f 0 (0) = e -1.7 = ; 0! p 02 = P(A 2 \H 0 ) = P(X {1}\H 0 ) =P(X=1)= f 0 (1) = e -1.7 = ; 1! p 03 = e -1.7 =0.2639; 2! M A estatística teste Q, sob a hipótese H 0, tem aproximadamente distribuição Qui-quadrado com m-k-1 = 5-1-1=3 graus de liberdade. 13

14 Ao nível de significância de 0.05, o quantil de probabilidade da distribuição 2 χ 3 é 7.81, e logo a região crítica é [7.81, + [. Valor observado da estatística de teste: Q obs = ( ) ( ) ( ) ( ) ( ) =0.778 Então, a hipótese H 0 não é rejeitada ao nível de significância de 0.05, isto é, não podemos rejeitar a hipótese de aquelas observações provirem de uma população com distribuição Poisson. 14

15 Exemplo 2: Denotando por X a diferença entre a data de chegada dos navios e a data planeada, as hipóteses a testar são H 0 : X ~ N(0.1, ) H 1 : X ~/ N(0.1, ) Neste caso a distribuição proposta em H 0 é contínua e, deste modo, as classes A i, i=1,...m, são intervalos da forma A 1 =]-, a 1 [, A 2 =[ a 1, a 2 [ A 3 =[ a 2, a 3 [... A m =[ a m-1, + [. 15

16 Para a determinação das classes é sugerida a regra de Mann e Wald: Número de classes = m, com m tal que n/m>5. Os limites dos intervalos são tais que as probabilidades decorrentes da hipótese nula sejam iguais a 1/m para todas as classes. Assim, as frequências esperadas são todas iguais a n/m>5. Para o exemplo escolheu-se m=4 classes (e i =30 1/4=7.5>5), donde p 0i = P(A i \H 0 ) = P(X A i \ X~N(0.1, )) = 1/4, para i=1,2,3,4. 16

17 Cálculo dos limites dos intervalos de classe: TESTES DE HIPÓTESES NÃO PARAMÉTRICOS a 3 : p 03 = P(X A 3 \X~N(0.1, )) = 0.25 P(X<a 3 \ X~N(0.1, )) =0.75 P(Z< a )=0.75 a 3 =4.924; 7.2 a 1 a 2 =0.1 a 3 Da simetria da distribuição normal: a 2 =0.1 e a 1 =0.1-( )=

18 Tabela II: Diferença entre a data de chegada e a data planeada para 30 navios. Classes Frequências observadas p 0i Frequências esperadas A 1 =]-, [ A 2 =[-4.724,0.1[ A 3 =[0.1, 4.924[ A 4 =[4.924, + [

19 O valor observado da estatística de teste é Q obs = (8 7.5) (8 7.5) (7 7.5) (7 7.5) =

20 A estatística teste, sob o pressuposto de H 0 ser verdadeira, tem aproximadamente distribuição Qui-quadrado com m-1=4-1=3 graus de liberdade. Para α=0.05: R.C.=[7.81, + [. Como Q obs R.C., somos levados a não rejeitar a hipótese de que a diferença entre os tempos de chegada e os tempos planeados tem distribuição N(0.1, ). 20

21 Teste de Kolmogorov-Smirnov O teste de Kolmogorov-Smirnov (K-S) ao contrário do teste do Qui-quadrado, não se aplica a dados qualitativos nem a variáveis discretas, pois a tabela disponível para este teste só é exacta caso a distribuição em teste seja contínua. No entanto, tem a vantagem de não estar dependente de classificações dos dados, que além de serem sempre algo arbitrárias envolvem perdas de informação. De facto, no ajustamento de uma distribuição contínua a uma amostra usando o teste do Qui-quadrado, temos de proceder à agregação dos dados em classes, sendo por isso mais adequado utilizar o teste K-S. 21

22 Por outro lado, o teste K-S só pode ser aplicado quando a distribuição indicada na hipótese nula está completamente especificada (o que não sucede com o teste do Qui-quadrado). No caso de pretendermos, por exemplo, efectuar um ajustamento de uma distribuição normal, sem especificar µ e σ, podemos recorrer a outro teste, neste caso o teste desenvolvido por Lilliefors (teste de normalidade de Lilliefors) que será abordado mais tarde. Além disso, o teste do Qui-Quadrado está orientado essencialmente para grandes amostras, enquanto que o teste K-S é aplicável a pequenas amostras. 22

23 Função de distribuição empírica e função de distribuição da amostra Seja (X 1, X 2,...,X n ) uma amostra aleatória de uma certa população X e (x 1, x 2,...,x n ) uma sua realização. A função de distribuição empírica é definida por Fˆ 1 n ( x) = #{x i : x i x}, - < x <+, n onde #{x i : x i x} é o número de valores x i que são inferiores ou iguais a x. 23

24 A função de distribuição da amostra é definida, para as variáveis aleatórias (X 1, X 2,...,X n ), por 1 F n ( x) = #{X i : X i x}, - < x <+. n ˆ Note-se que F n ( x) é uma função de distribuição do tipo discreto associado a uma particular amostra, enquanto que F n (x) é, para cada - < x <+ fixo, uma variável aleatória, função de (X 1, X 2,...,X n ), ou seja, é uma estatística. 24

25 Exemplo: Consideremos a amostra constituída pelas observações: 5, 7, 8, 8, 10 e 11. A função de distribuição empírica ˆF 6, associada a esta amostra, é dada por Fˆ 6(x) = 0 1/ 6 2 / 6 4 / 6 5 / 6 1 se se se se se se x < 5 5 x < 7 7 x < 8 8 x < x < 11 x

26 A representação gráfica de ˆF 6, em forma de escada, é apresentada a seguir: ˆF 6 Gráfico I: Representação gráfica da f.d. empírica. 26

27 Seja F a função de distribuição da população e F 0 a função de distribuição proposta, contínua e completamente especificada. Hipóteses a testar: H 0 : F(x)=F 0 (x), - <x<+ H 1 : F(x) F 0 (x) No teste de Kolmogorov-Smirnov considera-se a estatística D n = sup F ( x) F0 ( x) < x<+ como uma medida da discrepância entre a função de distribuição da amostra F n e a função de distribuição proposta F 0. n 27

28 Ao substituir em D n a função de distribuição da amostra F n pela função de distribuição empírica Fˆ n, obtém-se o valor observado da estatística teste: d n = sup Fˆ ( x) F0 ( x) < x<+ n. Uma vez que F 0 é uma função (contínua) crescente e Fˆ n é uma função em escada, o supremo d n ocorre num ponto onde se verifica um salto de observação x i ) ou imediatamente antes desse ponto. Isto é, Fˆ n (numa d n { ( ) ˆ ( ), ( ) ˆ ( ) } F x F x F x F x = max 0 i n i 0 i n i i= 1,..., n. 28

29 sup ˆ ( x) F0 ( x) < x<+ F n F 0 (x) ˆ F n ( x) Gráfico II: Ajustamento de uma f.d hipotética F 0 à f.d. empírica Fˆ n. 29

30 Assim, se H 0 for verdadeira, a distância vertical máxima entre as imagens das duas distribuições não deve de ser muito grande, e logo espera-se que D n tome um valor pequeno. Então, rejeita-se H 0, para um nível de significância α, se o valor observado d n da estatística teste D n for superior ou igual ao ponto crítico D n,α onde D n,α é tal que, P(D n D n,α \ H 0 é verdadeira)= α Os valores críticos D n,α podem ser consultados numa tabela. 30

31 Exemplo 3: Um certo Politécnico do país efectuou um contrato com uma determinada empresa que ficou responsável pelo abastecimento da carne que compunha as refeições na cantina dessa Escola. O contrato refere uma média de 290 gramas de carne por refeição, por estudante. No entanto, alguns alunos queixaram-se acerca da comida, em particular acerca da quantidade de carne servida por refeição. Os alunos falaram com o cozinheiro chefe, que lhes disse que a quantidade de carne servida por refeição a cada estudante tinha aproximadamente distribuição normal de média 290 gr com um desvio padrão de 56 gr. 31

32 Após esta conversa com o cozinheiro, alguns alunos concordaram em recolher as suas refeições ao longo de vários dias, resultando assim uma amostra de 10 refeições, que foram levadas para um laboratório afim de serem pesados os pedaços de carne nelas contidos. Os dados obtidos são os seguintes: Ao nível de significância de 5%, há evidência para rejeitar a hipótese de que o cozinheiro seguia as regras que afirmou em relação à quantidade de carne servida? 32

33 Denote-se por X a quantidade, em gramas, de carne servida por refeição a cada estudante. As hipóteses a testar são, neste caso, H 0 : X N(290, 56 2 ) H 1 : X ~/ N(290, 56 2 ). A estatística de teste é D 10 = sup F 10 (x)-f 0 (x). x O ponto crítico da estatística de teste D 10 é, para α=0.05, D 10,0.05 =

34 Cálculo do valor observado da estatística D 10. x i ( x ) F ( ) ˆ10 i F z i = ˆ10 x i x i F 0 (x i ) =P(Z z i ) (Z~N(0,1)) F 0 (x i )- F ˆ10 ( x i ) F 0 (x i )- F ( ) 198 0,1 0-1,64 0,0505 0,0495 0, ,2 0,1-0,64 0,2611 0,0611 0, ,3 0,2-0,5 0,3085 0,0085 0, ,4 0,3-0,32 0,3745 0,0255 0, ,5 0,4-0,27 0,3936 0,1064 0, ,6 0,5-0,21 0,4168 0,1832 0, ,7 0,6-0,09 0,4641 0,2359 0, ,9 0,7-0,05 0,4801 0,4199 0, ,9 0,04 0,516 0,484 0,384 ˆ10 x i 34

35 F 0 (198) = P(X 198) = P(Z ) = P(Z -1.64) = = F 0 (254) = P(X 254) = P(Z ) = P(Z -0.64) = = Como d 10 =0.484>0.409, ao nível de significância de 5%, rejeitamos a hipótese de a quantidade de carne servida por refeição a cada estudante seguir distribuição N(290, 56 2 ). 35

36 Teste de Normalidade Lilliefors Sejam X 1, X 2,...,X n uma amostra aleatória de uma população X com distribuição F desconhecida. Pretende-se testar se X tem distribuição N(µ, σ 2 ) sem especificar µ e σ, isto é, para algum µ e algum σ. Hipóteses a testar H 0 : X ~ N(µ, σ 2 ) H 1 : X ~/ N(µ, σ 2 ) 36

37 Este teste processa-se como o teste de Kolmogorov-Smirnov, mas os dados originais são estandardizados, usando estimativas de µ e σ: Z i X S X i = (i=1,..n). Hipóteses a testar: H 0 : Z ~ N(0, 1) H 1 : Z ~/ N(0, 1) 37

38 Sendo F 0 a função de distribuição N(0,1), a estatística do teste de Lilliefors é D * n = sup Fn ( z) F0 ( z) < z<+ onde F n é a função de distribuição da amostra depois de estandardizada, i.e., definida para as variáveis aleatórias Z 1, Z 2,...,Z n. Mais uma vez, o valor observado da estatística teste D * n, * d n, é obtido substituindo na estatística a função distribuição da amostra estandardizada pela função distribuição empírica. 38

39 A hipótese H 0 é rejeitada, para um nível de significância α, se o valor observado d * n for superior ou igual ao ponto crítico D * n,α P( D D * n,α \ H 0 é verdadeira)= α. * n, com D n,α tal que, Os pontos críticos são consultados na tabela elaborada por Lilliefors. 39

40 Exemplo 4: Um distribuidor pretende estimar o tempo médio de entrega dos seus produtos a um cliente bastante importante. Foi recolhida uma amostra aleatória de cinco tempos: 29, 33, 35, 36 e 36. O senhor quer estimar o tempo médio pretendido através de um intervalo de confiança, mas não sabe nada acerca da distribuição do tempo de entrega X, e além disso, a dimensão da amostra é muito pequena (n=5). Poderá fazê-lo? Sabemos que caso X tenha distribuição normal o intervalo pode ser calculado usando a estatística T= X µ tn-1. S 40

41 Assim, interessa testar, em primeiro lugar, as hipóteses H 0 : X ~ N(µ, σ 2 ) H 1 : X ~/ N(µ, σ 2 ) Uma vez que nada sabemos acerca de µ e σ, podemos utilizar o teste de Lilliefors, recorrendo às estimativas x =33.8 s=2.95. D O valor crítico da estatística teste, ao nível de significância de 0.05 é * 5,0.05 =0.337, e assim a distribuição normal é rejeitada se * d

42 Cálculo do valor observado da estatística * D 5, * d 5 : x i z i = x i F ( z ) ( ) ˆ5 i F F 0 (z i ) ˆ5 z i =P(Z z i ) (Z~N(0,1)) F 0 (z i )- F ( z ) ˆ5 i F 0 (z i )- F ( ) 29-1,63 0,2 0 0,0516 0,1484 0, ,27 0,4 0,2 0,3936 0,0064 0, ,41 0,6 0,4 0,6591 0,0591 0, ,75 1 0,6 0,7734 0,2266 0,1734 ˆ5 z i Como * d 5 =0.2591<0.337, então, ao nível se significância de 5%, não rejeitamos a hipótese de a população em estudo ter distribuição normal. 42

43 Tabelas de Contingência Teste do Qui-quadrado de Independência Suponha que numa amostra aleatória de tamanho n de uma dada população são observados dois atributos ou características A e B (qualitativas ou quantitativas), uma com r e outra com s modalidades ou categorias, respectivamente A 1, A 2,..., A r e B 1, B 2,..., B s. 43

44 Cada indivíduo da amostra é classificado numa e numa só categoria (ou classe) de A e numa e numa só categoria (ou classe) de B. A classificação dos elementos da amostra dá origem a uma tabela de dupla entrada, designada por tabela de contingência r s, com o seguinte aspecto: B 1 B 2... B s A 1 O 11 O O 1s A 2 O 21 O O 2s M M M O M A r O r1 O r2... O rs 44

45 Nesta tabela cada O ij (i=1,...,r e j=1,...,s) é uma variável aleatória que representa na amostra o número de elementos classificados simultaneamente nas categorias A i de A e B j de B. Além disso, temos as variáveis aleatórias: O i O ij = s j= 1 (i=1,...,r) que representa o número de elementos na amostra com modalidade A i ; O j O ij = r i= 1 com modalidade B j. (j=1,...,s) que representa o número de elementos na amostra 45

46 Tem-se, n = r s O i= 1 j= 1 ij r = O i= 1 i s = O j= 1 j, onde n é a dimensão da amostra que se supõe fixa. O objectivo a que nos propomos é o de tentar inferir sobre a existência ou não de qualquer relação ou associação entre os atributos (variáveis) A e B, mais concretamente, inferir se A e B são ou não independentes. Hipóteses a testar: H 0 : A e B são independentes H 1 : A e B não são independentes 46

47 Denote-se por: p ij =P(A i B j ) (i=1,..,r e j=1,...,s) a probabilidade (desconhecida) de um indivíduo da população ser classificado simultaneamente nas categorias A i de A e B j de B; p i = P( Ai ) (i=1,...,r) a probabilidade (desconhecida) de um indivíduo da população ser classificado na categoria A i de A; p j = P( B j ) (j=1,...,s) a probabilidade (desconhecida) de um indivíduo da população ser classificado na categoria B j de B. 47

48 Tem-se, r s 1 = p = p = p. i= 1 j= 1 ij r i= 1 i s j= 1 j Ora, se os atributos são independentes, verifica-se a conhecida relação, P ( Ai B j ) = P( Ai ) P( B j, ) isto é, p ij = p i p j. Assim, as hipóteses anteriores podem ser formuladas do seguinte modo: H 0 : p ij = H 1 : p ij p i pi p j (para todo i e j) p j (para algum i j). 48

49 Os verdadeiros valores das probabilidades dos dados amostrais, por p i e p j são estimadas, a partir p o i ˆ i = e n p j = o j ˆ, n onde o i e o j são os valores observados das variáveis aleatórias O i e O j, respectivamente, para uma amostra concreta. e ij =n p ij número esperado de indivíduos na classe A i de A e B j de B. 49

50 Quando H 0 é verdadeira, i.e, p ij = p i p j, temos e ij =n p ij =n p i p j estimado por eˆ ij = n pˆ pˆ i j A estatística do teste de independência é ( O eˆ = r 2 s 2 ij ij χ, i= 1 j= 1 eˆ ij que, sob o pressuposto de H 0 ser verdadeira, tem distribuição assintótica do Qui-quadrado com (r-1)(s-1) graus de liberdade. ) 50

51 Vimos que quando H 0 é verdadeira e ij pode ser estimado por eˆ ij = npˆ pˆ i j, e logo a diferença entre o ij (frequência observada) e ê ij (estimativa da frequência esperada supondo a independência) não deve ser grande. Assim, a estatística teste, tal como está definida, mede o afastamento dos dados em relação à hipótese de independência. Trata-se então de um teste unilateral à direita. 51

52 Exemplo 1: Um supermercado quer testar ao nível de significância de 5% a hipótese de que o modo de pagamento dos clientes nesse estabelecimento é independente do período do dia em que fazem as compras. Existem três modos de efectuar os pagamentos: por cheque, dinheiro e cartão de crédito. A seguinte tabela de contingência 3 3 apresenta os resultados obtidos numa amostra de 4000 clientes: PERÍODO DO DIA MODO DE Manhã Tarde Noite PAGAMENTO Cheque Dinheiro Cartão de Crédito

53 Denotando por A o atributo Modo de pagamento e por B o atributo Período do dia em que faz as compras, as hipóteses as testar são H 0 : A e B são independentes H 1 : A e B não são independentes Uma vez que A e B assumem cada uma 3 modalidades, sob H 0, a estatística teste tem distribuição assintótica do Qui-quadrado com (r-1)(s-1)=(3-1)(3-1)= 4 graus de liberdade. Ao nível de significância de 0.05, a região crítica é então [9.49, + [. 53

54 Como vimos, para obtermos o valor observado da estatística teste, temos de calcular as frequências esperadas: Assim, por exemplo, o ˆ ij = npˆ i pˆ i o j j =n n n e o. o = n i. j ê 11 =( )/4000=750, ê 12=( )/4000=1500 ê 13 =( )/4000=

55 Frequências esperadas PERÍODO DO DIA MODO DE Manhã Tarde Noite Totais PAGAMENTO Cheque Dinheiro Cartão de Crédito Totais

56 Valor observado da estatística teste: χ 2 obs = ( ) 2 + ( ) ( ) ( ) =60. Uma vez que 60 excede o valor crítico 9.49, ao nível de significância de 0.05, rejeitamos a hipótese de que o modo de pagamento é independente do período do dia em que as compras são feitas. 56

57 Medidas de Associação No teste do Qui-Quadrado apresentado, se for rejeitada a hipótese de independência entre os atributos, pode interessar medir a intensidade da associação entre os mesmos, através de uma medida adequada. Uma vez que a estatística do teste mede o afastamento em relação à hipótese de independência, o seu valor observado também poderá servir para avaliar a força da relação entre os atributos. No entanto, houve necessidade de introduzir algumas modificações, devido a diversas razões, por exemplo o facto do χ 2 não tomar valores apenas no intervalo [0,1], o que é salutar numa medida de associação. 57

58 Coeficiente de Contingência de Pearson: C = 2 χ 2 χ + n Este coeficiente varia entre 0 e ( q 1) q onde q=min{r,s} e portanto nunca assume o valor 1. Valores pequenos de C indicam fraca associação entre os atributos, enquanto que valores grandes de C indicam forte associação. O facto deste coeficiente não assumir o valor 1 no caso de associação completa é uma sua limitação. Para obviar este problema, Tshuprow propôs o seguinte coeficiente. 58

59 Coeficiente de Tshuprow: 2 T = χ n ( r 1) ( s 1) Este coeficiente varia entre 0 e 1, tomando o valor 0 no caso de existir independência e o valor 1 quando r=s e houver associação completa. Por último, referimos o coeficiente proposto por Cramer que atinge o valor 1 quando há associação completa. 59

60 Coeficiente V de Cramer: V = 2 χ n( q 1), com q=min{r,s} 0 V 1. Para o exemplo anterior, rejeitamos a hipótese de independência entre o modo de pagamento e o período do dia em que as compras eram efectuadas. Para ter uma ideia da intensidade de associação entre estes dois atributos, calcula-se, por exemplo, o coeficiente V de Cramer. Assim, tem-se V= = Verificamos, segundo o coeficiente V que, apesar de haver associação entre os atributos, esta pode considerar-se fraca. 60

61 Teste de Homogeneidade Suponha que são recolhidas amostras aleatórias de s populações (subpopulações ou estratos) B 1, B 2,..., B s, nas quais se observa um atributo A com r categorias A 1, A 2,..., A r. Neste contexto, surge também uma tabela de contingência r s da forma apresentada na tabela I, mas com leitura diferente. Assim, cada O ij (i=1,...,r e j=1,...,s) é uma variável aleatória que representa o número de elementos classificados na categorias A i de A, na amostra da população B j. 61

62 O i O ij = s j= 1 (i=1,...,r) é uma variável aleatória que representa o número de elementos na categoria A i de A em todas as amostras. O j O ij = r i= 1 (j=1,...,s) é uma constante prefixada (e não uma variável aleatória como acontece no teste de independência), pois é o tamanho da amostra recolhida na população B j. Neste caso, cada B j rotula uma subpopulação cujos elementos se distribuem pelas r modalidades do atributo A, e o que se pretende saber é se existe homogeneidade, isto é, se não há diferença entre as populações no modo como os seus elementos se distribuem pelas modalidades do atributo A. 62

63 Suponhamos, por exemplo, que dispomos dos resultados de vacinação contra a cólera num conjunto de 279 indivíduos escolhidos aleatoriamente entre os vacinados, e num conjunto de 539 indivíduos escolhidos aleatoriamente entre os não vacinados: Vacinados Não Vacinados Atacados 3 66 Não Atacados Totais

64 Isto corresponde a ter duas amostras, uma em cada coluna da tabela, obtidas de modo independente e de dimensões, respectivamente o 1=279 e o 2=539. Hipóteses a testar: H 0 : os atacados e não atacados distribuem-se de forma idêntica (homogénea) nos vacinados e não vacinados H 1 : os atacados e não atacados distribuem-se de modo diferente nos vacinados e não vacinados As proporções de atacados e não atacados são dadas, respectivamente, por o. o = =0.084 e 2 = n 818 n =

65 Assim, sob o pressuposto de H 0 ser verdadeira, em cada um dos grupos dos vacinados e não vacinados, deviam ser atacados (não atacados) uma proporção de indivíduos igual a (0.916), isto é: nos vacinados espera-se que sejam: atacados eˆ o 11 e não atacados o 1. =.1 = =23.44 indivíduos n eˆ o 21 o 2. =.1 = =255.56; n 65

66 nos não vacinados espera-se que sejam atacados eˆ o 12 e não atacados o 1. =.2 = = indivíduos n eˆ o 22 o 2. =.2 = = n O quadro seguinte apresenta as frequências esperadas sob o pressuposto de homogeneidade: Vacinados Não Vacinados Atacados Não Atacados Totais

67 À semelhança do teste de independência, a estatística do teste é s ( O eˆ = r 2 2 ij ij χ, i= 1 j= 1 eˆ ij que, sob o pressuposto de H 0 ser verdadeira, tem distribuição assintótica do Qui-Quadrado com (r-1)(s-1) graus de liberdade. ) As frequências observadas O ij e as estimativas das frequências esperadas ê ij calculadas sob o pressuposto de H 0 ser verdadeira, devem diferir pouco se H 0 for de facto verdadeira. Assim, valores muito grandes da estatística teste traduzem um grande afastamento dos dados em relação à hipótese nula, conduzindo à rejeição desta. Mais uma vez, a estatística teste mede o afastamento dos dados em relação à hipótese de homogeneidade. 67

68 χ Calculo do valor observado da estatística teste: = TESTES DE HIPÓTESES NÃO PARAMÉTRICOS ( ) ( ) ( ) ( ) =29.8 O quantil de probabilidade da distribuiçãoχ 2 1 é Como o valor observado da estatística teste é 29.8 > 7.88 então, para um nível de significância 0.005, rejeita-se a hipótese de homogeneidade entre as duas amostras, isto é, a população dos vacinados difere da dos não vacinados no que se refere ao facto de terem ou não sido atacados. 68

69 AJUSTAMENTO ENTRE DUAS AMOSTRAS INDEPENDENTES Objectivo: Dadas duas amostras aleatórias e independentes provenientes de duas populações X e Y, pretende-se testar a hipótese H 0 de que as duas distribuições populacionais são idênticas, isto é, as duas amostras podem ser consideradas como provenientes de populações com a mesma distribuição. 69

70 Hipóteses a testar: H 0 : As duas amostras são retiradas de populações com a mesma distribuição H 1 : As duas amostras são retiradas de populações com distribuições diferentes Denotando por F e G as funções de distribuição de X e Y, respectivamente, as hipóteses podem ser formuladas da seguinte maneira: H 0 : F(x)=G(x), para todo o x H 1 : F(x) G(x), para algum x 70

71 Teste do Qui-quadrado Os valores possíveis da característica em estudo são repartidos por m classes mutuamente exclusivas A 1, A 2,...,A m. A hipótese H 0 que se pretende testar é a de que as duas populações em estudo têm a mesma distribuição, isto é, não há diferença entre as duas populações no modo como os seus elementos se distribuem pelas diversas classes. Por outras palavras, as duas populações são homogéneas. Trata-se então do teste do Qui-quadrado de homogeneidade para duas populações (s=2). 71

72 Teste de Kolmogorov-Smirnov Admite-se que X e Y são variáveis aleatórias contínuas. Seja n 1 o tamanho da amostra de X e n 2 o tamanho da amostra de Y Estatística de teste: F n x e ( x) onde ( ) 1 amostras. 2 D' = sup Fn ( x) G ( x) 1 n2 < x<+ G n são as funções de distribuição de cada uma das 72

73 Substituindo as funções de distribuição das amostras pelas funções de distribuição empíricas obtém-se o valor observado da estatística de teste: D' = sup Fˆ ( ) ˆ n x G ( x) 1 n2 < x<+. Para um nível de significância α, a hipótese H 0 é rejeitada se o valor observado da estatística de teste for superior ao ponto crítico tal que: P. D' D' α \ H é verdadeira) = α ( 0 Os valores críticos podem ser consultados numa tabela. D ' α, onde D ' α é 73