3. TESTES DE QUALIDADE DE AJUSTAMENTO

Transcrição

1 Testes da qualdade de ajustameto 3 TESTES DE QULIDDE DE JUSTMENTO 3 Itrodução formação sobre o modelo da população dode se extra uma amostra costtu, frequetemete, um problema estatístco forma da dstrbução pode ser o objectvo da vestgação ou, etão, (a ferêca clássca) a formação acerca da forma deve ser postulada a hpótese ula para que as coclusões sejam váldas compatbldade de um cojuto de valores observados com a dstrbução ormal ou qualquer outra dstrbução é aalsada através dos testes de qualdade de ajustameto Estes são usados quado apeas a forma da população está em causa, a esperaça de que a hpótese ula ão seja rejetada Esta costturá uma afrmação acerca da forma da fução dstrbução da população dode se extrau a amostra Preferecalmete, a dstrbução em H deve ser completamete especfcada, cludo todos os parâmetros Se apeas for especfcada alguma famíla de dstrbuções, devem estmar-se os parâmetros descohecdos (por um qualquer método de estmação) partr dos dados amostras, tedo em vsta a realzação do teste Em ambos os casos, a hpótese alteratva é bastate geral, cludo dfereças apeas a localzação e/ou dspersão e/ou forma, pelo que a rejeção da hpótese ula ão os forece (demasada) formação específca Neste capítulo serão apresetados testes (ão-paramétrcos) que permtem verfcar hpóteses acerca da forma da dstrbução da população de ode provém uma qualquer amostra, ou avalar se dferetes amostras são proveetes de uma população comum Estes testes são deomados por testes de qualdade de ajustameto 3 justameto de uma amostra a uma dstrbução teórca 3 Teste de qu-quadrado O teste qu-quadrado permte avalar a aderêca etre uma dstrbução de frequêcas, assocada a uma amostra, costtuída por observações expressas uma qualquer escala e uma dstrbução teórca Os requstos exgdos para a realzação do teste são: amostra aleatóra; e com uma dmesão míma adequada (esta questão será dscutda mas adate) O teste qu-quadrado para a avalação da qualdade de ajuste basea-se a comparação da dstrbução dos dados amostras com a dstrbução teórca à qual se supõe pertecer a amostra metodologa que se adopta o teste clu os passos que se descrevem de seguda: () s hpóteses ula e alteratva são formuladas os segutes termos: PONTMENTOS DE DPE E Esteves & C Sousa, 7 67

2 Testes da qualdade de ajustameto H : população segue uma determada dstrbução teórca; H : população ão segue tal dstrbução teórca () s observações que costtuem a amostra são agrupadas em classes (ou categoras) ão-sobrepoíves (com ) e a amostra é costtuída por dados quattatvos (ão se cosderam, aqu, os dados qualtatvos), sto é, dados cotíuos, que serão agrupados em classes que, a exemplo do que sucede a costrução de hstogramas, são de defção relatvamete arbtrára equato que para os dados dscretos, as classes a cosderar correspoderão, aturalmete, às categoras as quas os dados se ecotram classfcados ou aos valores partculares que podem tomar () Calculam-se as frequêcas absolutas das observações amostras em cada classe, ( =, K, ) Tas frequêcas, que se desgam por frequêcas observadas, deotam-se por e satsfazem a codção, = (tamaho da amostra) = (v) Determa-se a frequêca das observações que se esperara obter em cada classe se a hpótese ula fosse verdadera, sto é, se os dados fossem proveetes de uma determada dstrbução teórca cohecda Tas frequêcas esperadas, que se deotam por e, são dadas por e = p, ode p represeta a probabldade de, sedo H verdadera, a varável aleatóra tomar valores pertecetes à classe e é o tamaho da amostra Note-se que, tal como as frequêcas observadas, também as frequêcas esperadas satsfazem a codção, e = = (v) estatístca de teste é costruída com base uma medda global de ajustameto etre as frequêcas observadas a amostra,, e as frequêcas esperadas, e Essa medda é dada por ( e ) = = Se H for verdadera, devem regstar-se pequeas dfereças etre as frequêcas e observadas e as frequêcas esperadas e, cosequetemete, deve tomar valores baxos Pelo cotráro, um valor de elevado costtu um díco de que há um desajuste etre a dstrbução de frequêcas amostras e teórcas Pode demostrar-se que, quado H for verdadera e a dmesão da amostra é grade, a estatístca segue uma dstrbução [ gl], com gl = [ ) p] ( graus de lberdade, ode PONTMENTOS DE DPE E Esteves & C Sousa, 7 68

3 Testes da qualdade de ajustameto represeta o úmero de classes e p o úmero de parâmetros da dstrbução populacoal estmados a partr da amostra (v) Uma vez fxado o ível de sgfcâca α, a rejeção ou ão rejeção de H será feta com base a comparação etre o valor que a estatístca de teste toma e [ p ] α Dada a atureza da estatístca tomado valores próxmos de zero, se H for verdadera, e valores tato mas postvos quato mas H se afastar de H o teste será ulateral à dreta e, cosequetemete, o valor crítco, [ p ] procurado a cauda dreta da dstrbução qu-quadrado 6 Sedo H verdadera, a estatístca dstrbução [ p ] α α, deverá ser terá uma dstrbução tato mas próxma da quato maor for a dmesão da amostra e maores forem os úmeros de observações esperadas as dferetes classes ( e ) Como regra prátca, para utlzar este teste: dmesão da amostra deve ser ão-feror a 3 ( 3) ; e frequêca esperada em cada classe deve ser ão-feror a 5 ( 5) Se esta últma codção ão prevalecer, o teste pode ada ser utlzado, embora com moderada cofaça, se ão mas de % dos valores de e forem ferores a 5 e ehum for feror a Quado tal ão se verfcar, procuram-se agregar classes adjacetes, de forma a obter ovas classes que satsfaçam esta codção e Exemplo 3 Cosderem-se os dados da Tabela, ode o modelo ajustado fo y = 74,3 + 4, 9x Na regressão lear, assume-se que os erros (resíduos) seguem, aproxmadamete, uma dstrbução ormal com méda zero e varâca costate ( σ ) pesar do tamaho da amostra ser 3 = <, utlze-se o teste de qu- quadrado para se verfcar se ~ N (, ) 3 hpótese a testar será H : ~ (, N ) x µ σ ε σ Os erros do modelo de regressão apresetam-se a Tabela ε σ, cuja fução desdade de probabldade (fdp) é f ( x) = e, com x IR, µ IR e σ >, ode µ e σ são os parâmetros da dstrbução πσ ormal 6 É possível, através da fução dstrbução estatístca de teste, obter o valor da prova (p-value) com p No Excel, usar a fução =DISTCHI(x, ( ) p) graus de lberdade da PONTMENTOS DE DPE E Esteves & C Sousa, 7 69

4 Testes da qualdade de ajustameto x y ŷ e = y yˆ,99 9, 89,8,93, 89,5 89,53 -,48 3,5 9,43 9,47 -,4 4,9 93,74 93,57,7 5,46 96,73 96,,6 6,36 94,45 94,6 -,6 7,87 87,59 87,9,3 8,3 9,77 9,67 -,9 9,55 99,4 97,45,97,4 93,65 95, -,56,9 93,54 9,7,47,5 9,5 9,47,5 3,98 9,56 88,93,63 4, 89,54 89,38,6 5, 89,85 9,88 -,3 6, 9,39 9, -,83 7,6 93,5 93,,3 8,3 93,4 94, -,6 9,43 94,98 95,66 -,68,95 87,33 88,48 -,5 Tabela 3 Erros obtdos do ajustameto da regressão lear aos dados da Tabela O prmero passo será estmar estes dos parâmetros, recorredo à méda e desvo padrão amostras (o caso da dstrbução ormal, x e s costtuem estmadores ão-evesados de µ e σ ) Da dstrbução amostral dos erros resulta a méda x =, ( ˆ µ =, ) e o desvo-padrão s =, 6 ( ˆ σ =,6 ) e, cosequetemete, a varâca, s = ( ˆ σ =, ) Relembre-se que a varâca podera ser estmada pela MQ E resultate da tabela NOV, este caso hpótese ula será H : ε ~ ( ;,6 N ) da amostra, daí que p = MQE ˆ,8 = σ = (Tabela 4) Nestes termos, a, ode os dos parâmetros da dstrbução foram estmados a partr s = observações (dados cotíuos) deverão ser agrupadas em classes costrução das classes é relatvamete arbtrára Pode-se, cotudo, apotar o segute procedmeto, como lha de oretação: a) = 5, para 5 e, para > 5 ou pela Fórmula de Sturges + 3, 3 log ampltude das classes, h, pode ser dada por h r ; ou b) a =, ode r é a ampltude total dos dados, sto é, a dfereça etre o maor e o meor valor observados Tal como o caso do úmero de classes, a ampltude das PONTMENTOS DE DPE E Esteves & C Sousa, 7 7

5 Testes da qualdade de ajustameto classes deve ser aproxmada para o maor tero Neste exemplo, como =, cosdere-se o úmero de classes = 5 De seguda pretede-se cohecer os lmtes dessas classes sob H Cosdere-se, etão, a dstrbução ( ;, 6 ) N (Fgura 3) 4 3 f(x) -4-4 x Fgura 3 Gráfco da dstrbução ormal com méda e desvo-padrão,6 Uma vez que f ( x) e πσ x µ σ = é uma fdp, sabe-se que a área sob curva é gual a (soma de todas as probabldades, e a probabldade de X estar compreeddo etre a + ) Por coveêca, vamos cosderar a área total dvdda em cco partes guas (ou seja, º de classes = 5) Deotem-se as abcssas que separam cada uma destas áreas, e que serão os lmtes das classes que se pretedem cohecer, por x, x, x 3 e x 4 Para o cálculo de x, ão é muto dfícl eteder que a área à esquerda de x será % da área total que é, ou seja, P ( X < x ) =, Supodo que z é o valor da N (,) que correspode a x (de acordo com a trasformação de Gauss) tem-se (com µ =, e desvo-padrãoσ =, 6 Sedo z o valor da N (,) que correspode a x, ode ( z ) P ( Z z ) x µ x z = = x =,6 z σ,6 ( < ) = Φ ( ) =, = ( < ) P Z z z P X x Φ = < é a fução dstrbução da orma reduzda N(,) ) que 7 O osso objectvo será, portato, calcular z (a abcssa correspodete à área,), utlzado a fução do Excel 7 No Excel será =DISTNORMP( z ) PONTMENTOS DE DPE E Esteves & C Sousa, 7 7

6 Testes da qualdade de ajustameto =INVNORMP(,) =,846 = z, vdo, x =, 6z =, 6 (,846) =,89 (ou etão podera ter recorrer-se à tabela da dstrbução ormal reduzda) 8 No caso do cálculo de x, x 3 e x 4, por racocío aálogo ao ateror: uma vez que P ( X x ), 4 x < = <=> Φ =,4,6, etão =INVNORM(,4;;,6) = -,679; P ( X < x 3 ) =, 6 obtém-se com =INVNORM(,6;;,6) =,679; e para obter P ( X < x 4 ) =,8, vem que =INVNORM(,8;;,6) =,89 Podemos, etão, apresetar uma tabela (Tabela 3) os dados agrupados em classes 9 Classes p e = p [- ;-,89[ 5, 4 [-,89;-,7[ 3, 4 [-,7;,7 [ 5, 4 [,7;,89 [, 4 [,89;+ [ 5, 4 Total Tabela 3 Valores observados e esperados por classes Como as frequêca esperadas são todas ferores a 5 (o que vola um dos pressupostos do teste), vamos cosderar apeas 4 classes, ou seja, = 4 Obtém-se, por racocío aálogo ao ateror, a segute tabela Classes p e = p [- ;-,7[ 5,5 5 [-,7;[ 5,5 5 [ ;,7 [ 5,5 5 [,7;+ [ 5,5 5 Total Tabela 33 Valores observados e esperados por classes 8 Usado a fução =INVNORM(prob, ˆ µ, ˆ σ ) do Excel obteríamos o valor drectamete para =INVNORM(,;;,6) = -,89 (ateção ao arredodameto do desvo-padrão) 9 Obvamete as probabldades para cada classe sob x, sto é, H, sto é, se os erros segurem uma dstrbução N ( ;, 6 ) são todas guas a,, facto que tem a ver com a maera como foram costruídas as classes PONTMENTOS DE DPE E Esteves & C Sousa, 7 7

7 Testes da qualdade de ajustameto Sedo =DISTCHI( assm, ( e ) = = (com p-value = e, ( ) p )) ou seja, ão se rejeta H : ε ~ ( ;,6 N ) =, que se obtém o Excel com Nestes termos, tomado por base os dados da amostra, ão temos razões para afrmar que a suposção ~ N (, ) ε σ esteja correcta, ou seja, os erros ão volam esta hpótese subjacete ao modelo de regressão Deve, cotudo, ter-se em cota que o tamaho da amostra é = < 3, ou seja, o teste de qu-quadrado deve ser utlzado com moderada cofaça Deve-se, portato, utlzar um teste mas seguro como é o caso do teste Kolmogorov-Smrov o qual se apreseta da próxma secção Exemplo 3 Numa experêca com ervlhas, observaram-se 35 lsas e amarelas (L), 8 lsas e verdes (LV), estradas e amarelas (E), 3 estradas e verdes (EV) De acordo com a teora da heredtaredade de Medel, os úmeros deveram apresetar-se a proporção 9:3:3: Pode-se usar o teste de qu-quadrado, com um determado ível de sgfcâca, para se verfcar se os resultados obtdos a experêca (as observações) estão de acordo com a teora de Medel Sedo assm, as hpóteses a testar são: H : s observações estão de acordo com a teora da heredtaredade de Medel; H : s observações ão estão de acordo com a teora da heredtaredade de Medel Para se utlzar o teste de qu-quadrado devem calcular-se as frequêcas esperadas para os dferetes tpos de ervlhas sob a hpótese ula (as proporções referetes à teora de Medel seguem determada dstrbução dscreta) Seja o úmero de ervlhas observadas (de cada tpo) e e o respectvo úmero esperado de ervlhas (que seguem a proporção da Teora de Medel), com =,,3, 4 (para L, LV, E e EV, respectvamete) Etão pode-se costrur a segute tabela: Tpo de ervlhas Frequêcas L LV E EV e 3,75 4,5 4,5 34,75 Tabela 34 Valores observados e esperados uma experêca com ervlhas Para calcular as frequêcas esperadas, sabe-se que o úmero total de observações (de ervlhas) é 4 = = = 556, = Caso os dos parâmetros ão tvessem sdo estmados a partr da amostra, ou seja a hpótese ula estara completamete especfcada, o úmero de graus de lberdade sera gl = PONTMENTOS DE DPE E Esteves & C Sousa, 7 73

8 Testes da qualdade de ajustameto Como as frequêcas esperadas (sob H ) estão a proporção 9:3:3:, ou seja, = 6, etão: e = = 3, 75 serão ervlhas do tpo L, que resulta da regra de três smples e 9 = e e3 ; = = = 4, 5 serão ervlhas dos tpos LV e E; e e 4 = = 34,75 ervlhas do serão 6 6 do tpo EV Dode a estatístca do teste será = ( e ) (35 3,75) (8 4,5) ( 4,5) (3 34,75) =,47 = = , 75 4, 5 4, 5 34, 75 e Como há quatro categoras, e 4 Comparado o valor da estatístca de teste com [ ] =, o úmero de graus de lberdade será gl = = 4 = 3,5 3 = 7,847, ão se rejeta a hpótese ula de que as observações estejam de acordo com a teora da heredtaredade de Medel Repare-se que o p- value =, 954 (embora a cocordâca seja boa, os resultados obtdos poderão estar sujetos a erros de amostragem) 3 Teste de Kolmogorov-Smrov O Teste de Kolmogorov-Smrov (abrevadamete K-S) de qualdade de ajuste deve o seu ome aos matemátcos russos dre N Kolmogorov [93-987] e Ncola V Smrov [ 9] Podem ser apotadas duas vatages deste teste em relação ao teste qu-quadrado, que acaba de ser apresetado Em prmero lugar, quado a dstrbução populacoal é cotíua e se cohecem a forma e os parâmetros da sua fução desdade de probabldade, a dstrbução da estatístca do teste é defda rgorosamete (ao cotráro do que sucede com a estatístca, cuja dstrbução é aproxmada) Esta vatagem é tato mas ítda quato meor for a dmesão da amostra Em segudo lugar, o teste K-S é, a maora das stuações, mas potete do que o teste qu-quadrado Em cotrapartda, o teste K-S exge dstrbuções populacoas cotíuas e completamete especfcadas (o que ão sucede com o teste do qu-quadrado), bem como um maor esforço computacoal Para uma va X, o teste K-S tem por base a aálse da proxmdade ou, se se preferr, do ajustameto etre a fução de dstrbução empírca ou da amostra, S (x), e a fução de dstrbução populacoal (teórca), F ( x ), que é admtda em H Para uma amostra de tamaho, a fução S(x) expressa a soma das frequêcas relatvas dos dados com valores meores ou guas a x, um qualquer valor partcular x da varável X Sedo ( X, X,, ) K X uma amostra aleatóra de uma população cotíua X e X ( ), X (), K, X ( ) a respectva amostra ordeada, tem-se que, a fução PONTMENTOS DE DPE E Esteves & C Sousa, 7 74

9 Testes da qualdade de ajustameto dstrbução empírca S(x) é dada por, x < X () S( x) =, X ( ) x X ( + ) ( =,, K, ), x X ( ) fução de dstrbução empírca, S (x), é, pos, uma fução em degrau que cresce os potos de salto (estatístcas ordas da amostra) estatístca de teste, que se deota por D (que é uma varável aleatóra), correspode ao supremo (ou máxmo) da dfereça, em valor absoluto, etre S (x) e F ( ) cosderados todos os valores possíves de X Em otação smbólca, D = max S( x) F ( x) x x, quado são É possível demostrar que, se a amostra é aleatóra e provém de uma dstrbução cotíua cohecda, a estatístca D só depede da dmesão da amostra,, sedo rrelevate a forma da fução dstrbução da população, F ( x ) Esta é a razão pela qual D é cosderada uma estatístca dstrbuto-free No teste K-S de qualdade de ajuste adopta-se o procedmeto que se descreve em seguda: () s hpóteses ula e alteratva são formuladas os segutes termos: H F( x) = F ( ), : x para todos os valores de X, ou seja, a fução de dstrbução da população da qual provém a amostra é dêtca a uma fução de dstrbução que se assume cohecda, F ( ) ; versus H F ( x ) F ( ) para algum valor de X x : x () Uma vez determada a fução de dstrbução empírca, S (x), calcula-se D O máxmo de S( x) F ( x) ão é ecessaramete o maor valor que S( x) F ( x) toma quado se cosderam apeas os valores observados de X De facto, dados que a fução F ( ) é cotíua e S (x) é uma fução em escada, o valor máxmo daquela dfereça x absoluta deve ser procurado a vzhaça de cada valor observado de X O valor observado d, da varável aleatóra D, será, pos, o maor dos valores segutes: + D = S( x ) F ( x ) e D = S( x ) F ( x ), () O valor de obs D é comparado com o respectvo valor crítco de [ ] D α, uma vez Deve-se ter em cota a frequêca absoluta de cada observação, pos estas estão drectamete relacoadas com os saltos da fução PONTMENTOS DE DPE E Esteves & C Sousa, 7 75

10 Testes da qualdade de ajustameto especfcado o ível de sgfcâca do teste Deverá rejetar-se H, sempre que d obs > d α O valor crítco da estatístca de K-S pode ser obtdo a partr das respectvas tabelas (Tabelas 3 a 37) Note-se que, como a estatístca D é calculada com base o módulo da dfereça etre S (x) e F ( ) x, ão dstgudo etre valores postvos e egatvos, os valores crítcos de D devem ser procurados a cauda dreta da sua dstrbução Tal como se afrmou atrás, o teste K-S é exacto (ou seja, o rsco α está defdo rgorosamete) quado a fução F ( ) se ecotra perfetamete especfcada e, em partcular, x quado se cohecem os respectvos parâmetros O teste pode, o etato, ser utlzado quado os parâmetros de F ( ) são estmados a partr da amostra Porém, estas crcustâcas deverá ter-se x em cota que o ível de sgfcâca com que se realza o teste é meor do que aquele que é especfcado e que a potêca do teste também dmu de uma quatdade ão-cohecda ara ultrapassa esta lmtação do teste K-S, H Lllefors estudou o comportameto da estatístca D as stuações em que a dstrbução populacoal é ormal ou expoecal egatva, mas em que os seus parâmetros são estmados a partr dos dados amostras Na Tabela 33 apresetam-se os valores crítcos da estatístca D para o caso da dstrbução ormal Exemplo 33 Retomado o exemplo 3, ode se estudou o ajustameto de uma dstrbução ormal ( ;, 6 ) N aos resíduos resultates do modelo y = 74,3 + 4, 9x (ajustado aos dados da Tabela ) Não obstate o tamaho da amostra ser = < 3, utlzou-se um teste de qu-quadrado para se verfcar a qualdade do ajustameto, ão se tedo rejetado a hpótese ula Vamos agora utlzar um teste Kolmogorov-Smrov (K-S) para testar, de forma mas aproprada, a hpótese ( ) H : ~ ;,6 ε N Para este teste ão se procede ao agrupameto dos dados em classes Depos de se terem ordeados os resíduos, costró-se a dstrbução de frequêcas absolutas ( f ) e de frequêcas absolutas acumuladas ( F ) a partr das quas se obtém a fução de dstrbução empírca F S( x) =, X ( ) x < X ( + ) (este caso o saltos da fução serão dados por f ) PONTMENTOS DE DPE E Esteves & C Sousa, 7 76

11 Testes da qualdade de ajustameto determação de F ( x) sob H é feta através da fução de dstrbução da ormal, que o Excel correspode a fazer =DISTNORM( e, ˆ µ, ˆ σ,verddeiro) com =,, K,, ou etão, pode-se estadardzar os resíduos, através de d dado por (44), para uma N (,), cujos valores se ecotram tabelados, ou através do Excel fazedo =DISTNORMP( d ) pós a determação dos valores das coluas S( x ) e F ( x ), determam-se + D = S( x ) F ( x ) e D = S( x ) F ( x ), obs obs (Tabela 35) O valor mas elevado das duas últmas coluas essa tabela será o valor da estatístca de teste, ou seja, d =,884 Como os parâmetros da dstrbução foram estmados a partr da amostra (ver exemplo 3), para a obteção do valor crítco, vamos utlzar a Tabela 33 (de Lllefors) Verfca-se que,5 [ ],9 D = > =, 884 ε ~ N( ;,6 ) d, o que leva à ão-rejeção de H e portato ão se pode rejetar que, coclusão dêtca à alcaçada pelo teste de qu-quadrado e f F S( x ) F ( x ) D + obs D -,83,5,48,8,48 -,56,,7,98, -,5 3,5,385,5,385 -,3 4,,65,349,5 -,9 5,5,975,55,5 -,68 6,3,6,398, -,6 7,35,853,647,47 -,48 8,4,35,75,5 -,6 9,45,4399,,399 -,4,5,4849,5,349,3,55,5489,,489,6,6,56,399,,7 3,65,5638,86,36,3 4,7,66,884,384,6 5,75,7,89,,93 6,8,83,3,63,5 7,85,8395,5,395,47 8,9,976,76,676,63 9,95,9383,7,383,97,9687,33,87 Tabela 35 Cálculos ecessáros à obteção do valor da estatístca de K-S tete-se que ( ) F x = Φ,6 e PONTMENTOS DE DPE E Esteves & C Sousa, 7 77

12 Testes da qualdade de ajustameto 33 Comparação etre os dos testes O teste de é especfcamete destado a casos com dados classfcados equato o teste de K-S será usado apeas para amostras aleatóras extraídas de populações cotíuas Todava, quado os dados ão estão classfcados estes dos testes de ajustameto podem ser utlzados dsttamete se os requstos báscos exgdos à aplcação de cada um forem satsfatóros breve comparação feta a segur apeas se ajusta ao caso de dados ão-classfcados Sedo cotíua a dstrbução postulada (teórca), o teste de K-S permte examar a qualdade do ajustameto para cada uma das estatístcas ordas; o teste de apeas faz sso para classes Neste setdo o teste de K-S faz um uso mas completo dos dados dspoíves ão se perdedo tata formação como o teste de Outra das vatages do teste de K-S, resde o facto da dstrbução de amostragem D ser exacta (cohecda e tabelada), equato a dstrbução de + estatístca de é aproxmadamete quado Por outro lado, o teste de K-S pode ser aplcado a amostras de qualquer tamaho, equato a só deve ser utlzada para grade e para frequêcas esperadas em cada classe ão demasadamete pequeas ( 5) e Por fm, o caso da fução de dstrbução teórca ser dscreta, poderão exstr problemas a utlzação do teste K-S 33 justameto etre duas amostras depedetes 33 Teste de qu-quadrado O teste de qu-quadrado utlzado a comparação de duas amostras depedetes pode ser cosderado como uma extesão do teste de qu-quadrado de qualdade de ajustameto de uma amostra a uma dstrbução teórca stuação que será abordada esta secção dfere da que fo estudada aterormete pelo facto do objectvo ser, agora, a comparação etre duas populações a partr das quas se obtêm amostras depedetes Tal como aterormete, apeas se requer que as amostras sejam aleatóras e teham dmesões adequadas metodologa deste teste de qu-quadrado, que se descreve de seguda, é muto semelhate à que fo apresetada aterormete, omeadamete: () Deotado por e as populações a partr das quas se obtêm as amostras, as hpóteses PONTMENTOS DE DPE E Esteves & C Sousa, 7 78

13 Testes da qualdade de ajustameto ulas e alteratvas são formuladas os segutes termos: H : s populações e são dêtcas vs H : s populações e são ão dêtcas 3 () s e observações que costtuem as amostras retradas das populações e, são agrupadas em classes (ou categoras) ão-sobrepoíves (com ); () Para cada amostra, determam-se as frequêcas observadas em cada classe, e ( =, K, ) ; (v) s frequêcas esperadas, e e e, são calculadas o pressuposto de que H é verdadera, do modo que se segue (o procedmeto acma referdo esta sumarado a Tabela 36, pága segute): a Deote-se por o úmero total de observações ( = + ) e por a frequêca das observações a classe ( = + ) b Como se admte que H é verdadera, a probabldade de uma observação ser classfcada a classe (uma observação se ecotrar a classe ) pode ser estmada por c Cosequetemete, a frequêca esperada de observações referetes à população a classe será e = d s frequêcas esperadas e, são obtdas de forma aáloga ou, mas smplesmete, pela subtracção 4, já que ( ) e e = = e (v) estatístca de teste é uma medda global do ajustameto etre as frequêcas observadas as amostras e as respectvas frequêcas esperadas Tal medda é dada por ( ) ( ) = + e e = e = e H F ( x) F ( x) 3 Estas hpóteses podem tomar a segute forma equvalete: : =, para todo o x versus H : F ( x) F ( x), para algum x (Com F (x) e F (x) represetado as fuções de dstrbução das populações e ) 4 Pode-se verfcar que das frequêcas esperadas apeas são depedetes, sto é, a partr de frequêcas esperadas quasquer podem ser obtdas por subtracção as restates frequêcas esperadas, já que e = e = = e = PONTMENTOS DE DPE E Esteves & C Sousa, 7 79

14 Testes da qualdade de ajustameto Frequêcas observadas Frequêcas esperadas Classe Total e e e e M M M M M M e Total Tabela 36 Cálculo das frequêcas esperadas para o teste de qu-quadrado para duas amostras depedetes α [ ] (v) Se H for verdadera, pode demostrar-se que, para amostras de grade dmesão, segue uma dstrbução qu-quadrado com gl = graus de lberdade (uma vez que só exstem termos depedetes os somatóros da expressão da estatístca de teste) (v) Fxado o ível de sgfcâca α, a rejeção ou ão rejeção de H será feta com base a comparação etre o valor que a estatístca de teste toma e o valor crítco α [ ] Tal como o teste de qu-quadrado apresetado aterormete, este teste é ulateral à dreta, pelo que o valor crítco deverá ser procurado a cauda dreta da dstrbução qu-quadrado Como a estatístca de teste terá uma dstrbução tato mas próxma da dstrbução quato maor forem as dmesões das amostras, o teste deve ser coduzdo segudo as mesmas recomedações que foram apresetadas a propósto do teste de qu-quadrado dscutdo a secção3 Note-se apeas que, quado houver ecessdade de agregar classes adjacetes uma das amostras, tal operação deve ser gualmete executada a outra Exemplo 34 Um fabrcate de pêssegos em calda produz dferetes qualdades deste produto e pretede verfcar se o modo como se repartem as vedas da sua marca tedo em cota a qualdade do produto é dêtco os hpermercados e Na Tabela 37 apreseta-se a composção das vedas estes mercados ao logo do últmo ao PONTMENTOS DE DPE E Esteves & C Sousa, 7 8

15 Testes da qualdade de ajustameto Qualdade Hpermercado Hpermercado Total axa Méda-baxa Méda Méda-alta lta 8 8 Luxo Total Tabela 37 Composção das vedas de pêssego em calda os hpermercados e Deotado por e as populações referetes à composção das vedas do produto os hpermercados e, respectvamete, obtém-se (os cálculos ecessáros apresetam-se a Tabela 38): e = = ( e ) (34 988, ) (6 7, 6) = + + = 7, , 7,6 e ( e ) (5 7, ) (3 4, 4) = + + = 3,45 7, 4, 4 e Sedo que a estatístca de teste é ( e ) ( e ) = + = 7, , 45 =, 8 = e = e Cosderado um ível sgfcâca α =, 5, é possível verfcar, a partr da fução do Excel, que [ ] = Como [ ],5 5, 7 =, 8 > 5 =,7 rejeta-se,5 H ao ível de sgfcâca de 5%, ou seja, há dícos de que as vedas do produto em causa, tedo em cota as dferetes qualdades, dferem os dos hpermercados (a aálse da Tabela 37 pode dar uma dea deste facto, mas ateção às proporções ) Neste caso o p-value é 4,6% Total e e , 7, , 87, ,3 733, ,6 67, ,5 96, ,6 4,4 Total , 7, Tabela 38 Cálculo das frequêcas esperadas ecessáras para a obteção da estatístca de qu-quadrado PONTMENTOS DE DPE E Esteves & C Sousa, 7 8

16 Testes da qualdade de ajustameto 333 Teste de Kolmogorov-Smrov dmta-se agora que se pretede avalar se duas amostras aleatóras depedetes provêm de uma úca população cotíua ou, equvaletemete, se provêm de duas populações cotíuas dêtcas Deotem-se por F ( x ) e F ( x ) as fuções de dstrbução assocadas às populações e, respectvamete estrutura deste teste K-S, que é semelhate à do teste K-S dscutdo aterormete, é a segute: () s hpóteses ula e alteratva são H : ( ) ( ) F x = F x, para todo o x (ou seja, as duas amostras provêm de populações com a mesma fução dstrbução) versus H : ( ) ( ) F x F x, para algum x (teste blateral) 5 () Uma vez determadas as fuções de dstrbução das amostras S( x ) e S ( x ), calculase a estatístca de teste D, tal que D = max S ( x) S ( x) obs x Note-se que se recorre à estatístca D tato o caso do teste ser blateral como o caso do teste ser ulateral () Uma vez especfcado o ível de sgfcâca do teste, o valor de D é comparado com o respectvo valor crítco de D α, e, em fução do resultado, H é ou ão rejetada dstrbução de D é cohecda de forma exacta quado H é verdadera e ambas as dstrbuções populacoas são cosderadas cotíuas Deverá rejetar-se H, sempre que d obs > dα Na Tabela 34 apresetam-se os valores da dstrbução da estatístca D (ode e represetam as dmesões das duas amostras) Exemplo 35 O departameto de egehara almetar da uversdade do lgarve fo seleccoado para uma experêca ploto a qual se pretede testar ovos procedmetos Na Tabela 39 apresetam-se valores do tempo despeddo o processameto de uma determada operação, ates e depos de terem sdo troduzdos ovos procedmetos 5 No caso de fazer setdo um teste ulateral, a hpótese alteratva vrá: H : F ( x) > F ( ) ou H : F ( x) F ( x) < para algum x x PONTMENTOS DE DPE E Esteves & C Sousa, 7 8

17 Testes da qualdade de ajustameto tes 4, 4,4 4,7 4,8 4,9 5,7 7,4 7,6 9,7,3,4 5,5 Depos 3,8 5, 6,3 6,6 6,7 6,9 8,5 8,6 8,9 9,5 9,8, Tabela 39 Tempos de processameto, em mutos Estes valores, seleccoados aleatoramete, foram obtdos a partr de croometragem Será que os dados sustetam a hpótese de que a dstrbução do tempo de processameto se modfcou com a trodução dos ovos procedmetos? Na resposta a esta questão utlzar-se-á o teste K-S de ajustameto etre duas amostras depedetes Para testar as hpóteses: H : ( ) ( ) F x F x = para todo o x (em que e deotam, respectvamete, as stuações ateror e posteror à adopção dos ovos procedmetos) versus H : ( ) ( ) F x F x x, obtém-se a estatístca de teste 4 D = =,(3), para algum que fo calculada como se dca a Tabela 3 Note-se que, cotraramete ao que suceda o teste K-S dscutdo a secção 3, agora basta calcular as dfereças absolutas para os valores observados de X uma ou outra amostra S ( x) S ( x) e escolher o valor máxmo de tas dfereças absolutas X S( x ) S ( x ) S ( x) S ( x) 3,8 / / 4, / / 4,4 / / / 4,7 3/ / / 4,8 4/ / 3/ 4,9 5/ / 4/ 5, 5/ / 3/ 5,7 6/ / 4/ 6,3 6/ 3/ 3/ ( ) ( ) ( ) ( ) 8,6 8/ 8/ 8,9 8/ 9/ / 9,5 8/ / / 9,7 9/ / / 9,8 9/ / /, 9/ / 3/,3 / / /,4 / / / 5,5 / / Tabela 3 Excerto dos cálculos evolvdos um teste K-S para duas amostras depedetes PONTMENTOS DE DPE E Esteves & C Sousa, 7 83

18 Testes da qualdade de ajustameto De acordo com a Tabela 36, para um ível de sgfcâca α =, 5 e = = vem D = 84, dode resulta Como d 84 d,5 = =, = =,(3) < d =,583,,5 a hpótese ula ão é rejetada com um ível de sgfcâca de 5% Podemos pos coclur, com 95% de cofaça, que os dados sustetam a hpótese de que a dstrbução do tempo de processameto ão se modfcou com a trodução dos ovos procedmetos Na Tabela 3 apresetam-se os valores crítcos da dstrbução da estatístca D = max S( x) F ( x) para amostras de dmesão e íves de sgfcâca α Para amostras de x grades dmesões ( > 4 ), os valores crítcos de D α podem ser aproxmados pelas expressões apresetadas a Tabela 3 Valores crítcos da estatístca D = max S( x) F ( x), segudo Lllefors, para populações ormas e parâmetros estmados a partr de amostras de dmesão, podem obter-se da Tabela 33 Nas Tabelas 34 e 35 apresetam-se os valores crítcos D α, sob a forma D, x obs para stuações em que a dmesão das amostras e é dferete Os valores p essas tabelas referem-se à probabldade a cauda dreta da dstrbução da estatístca D (com obs D = max S ( x) S ( x) ), para amostras com dmesões e (satsfazedo e x + 6) de duas populações e, sto é, Pr( D > D ) Em testes ulateras α obs deverá cosderar-se p / (os valores de D assm calculados serão correctos se p for pequeo) Valores crítcos da dstrbução da estatístca D para amostras com dmesões tas obs que 9 = (os valores de α dcados para testes ulateras são aproxmados) apresetam-se a Tabela 36 Para amostras cujas dmesões ão estão cotempladas os quadros aterores, os valores crítcos da dstrbução da estatístca de teste podem ser aproxmados através das expressões que costam da Tabela 37 (com = + ) PONTMENTOS DE DPE E Esteves & C Sousa, 7 84

19 Testes da qualdade de ajustameto Níves de sgfcâca α Níves de sgfcâca α,,,5,,,,,5,,,9,95,975,99,995 ( ),684,776,84,9,99,6,59,87,3,344 3,565,636,78,785,89,,53,8,34,337 4,493,565,64,689,734 3,6,47,75,37,33 5,447,59,563,67,669 4,,4,69,3,33 6,4,468,59,577,67 5,8,38,64,95,37 7,38,436,483,538,576 6,4,33,59,9,3 8,358,4,454,47,54 7,,9,54,84,35 9,339,387,43,48,53 8,97,5,5,79,3,33,369,49,457,489 9,93,,46,75,95,38,35,39,437,468 3,9,8,4,7,9,96,338,375,49,449 3,87,4,38,66,85 3,85,35,36,44,43 3,84,,34,6,8 4,75,34,349,39,48 33,8,8,3,58,77 5,66,34,338,377,44 34,79,5,7,54,73 6,58,95,37,366,39 35,77,,4,5,69 7,5,86,38,355,38 36,74,99,,47,65 8,44,79,39,346,37 37,7,96,8,44,6 9,37,7,3,337,36 38,7,94,5,4,58,3,65,94,39,35 39,68,9,3,38,55 ( ) 4,65,89,,35,5 Tabela 3 Valores crítcos da dstrbução da estatístca D α de K-S para uma amostra Níves de sgfcâca (α ),,,5,,,7,,36 Tabela 3 Expressões de aproxmação para os valores crítcos da dstrbução da estatístca de K-S para mostras de grades dmesões (e >4) 6,5,63 6 s expressões apresetadas a Tabela 3 obtêm-se a partr de D [ ] α = l α PONTMENTOS DE DPE E Esteves & C Sousa, 7 85

20 Testes da qualdade de ajustameto Dmesões Níves de sgfcâca (α ),,5,,5, 4,3,39,35,38,47 5,85,99,35,337,45 6,65,77,94,39,364 7,7,53,76,3,348 8,33,44,6,85,33 9,3,33,49,7,3,5,4,39,58,94,6,7,3,49,84,99,,3,4,75 3,9,,4,34,68 4,83,94,7,7,6 5,77,87,,,57 6,73,8,95,3,45 7,69,77,89,6,39 8,66,73,84,,35 9,63,69,79,95,3,6,66,74,9,3 5,49,53,65,8,87 3,3,36,44,6,3 >3,73,768,85,886,3 Tabela 33 Valores crítcos da dstrbução da estatístca D α de K-S, segudo Lllefors, os casos de populações ormas PONTMENTOS DE DPE E Esteves & C Sousa, 7 86

21 Testes da qualdade de ajustameto Dobs p Dobs p Dobs p 4, , 4 5,6 3 6, 5,9 6,79 4 8,33,33 5,43 5,95 3 7, 4 6 4, 8,86 8,6,48 6,7 5,6 8,95, , 6,8 7 4,56, ,6,67 8, 4,3 8 6, ,,67 4,33 4,3, 9 8,36, ,4 6,9 8,3 8,,3 3 3, 4,85 8,9 7,, 6,8 4, ,3,6,4 3,4, , 8,4 8,54 3, 7,6 4, 7,5 4,5,66 4, 4 4,,3 3 36, 36, 3 3 9, 33, 3,3 3 4,57 3,4 3,46 9,9 7,8 8, ,36 4,8 6,6, ,, Tabela 34 Dstrbução da estatístca D de K-S para duas amostras depedetes obs PONTMENTOS DE DPE E Esteves & C Sousa, 7 87

22 Testes da qualdade de ajustameto Dobs p Dobs p Dobs p 4 44, 5 5, 6 6, 4,7 45,4 54, 36, 4,9 5,4 33,35 35,6 48,9 3,63 3,66 44,9 9, , 4,3 8,44 5,3 4,4 4 48, 45, 38,66 44,5 44,4 36,9 4,6 4,9 34,5 36,48 39, , 3, 35,74 4, ,8 34,6 35,53, , 8, 5,357 3, , 5 6 3,4 4,43 49, 5, , 48,5 4,48 36,8 4,3,8 35,5 4, ,3 3,38 4,33 3,5 9,68 35,56 8,3 8,9 34,87 5,66 4,47 33,8 3, , , 5 8 4, 4,5 56, 35,9 4,9 54,3 3, 36,3 49,8 3,4 34,43 47,5 7,79 3,6 45, 5,6 3,93 4, , 8,39 4,55 4, , 38,79 36,4 48,3 36,98 35,8 45,6 35,7 3,56 4, , 3,86 39,8 56, 7,9 36,6 48,9 33,95 4,87 3,76 3,83 Tabela 35 Dstrbução da estatístca D de K-S para duas amostras depedetes (cotuação) obs PONTMENTOS DE DPE E Esteves & C Sousa, 7 88

23 Testes da qualdade de ajustameto Dmesões Níves de sgfcâca (α ) da amostra (teste blateral) Tabela 36 Dstrbução da estatístca =,,,5,, ,,5,5,,5 Níves de sgfcâca (α ) (teste ulateral) D de K-S para duas amostras depedetes (se = ) obs Níves de sgfcâca (α ) (teste blateral),,,5,,,7,,36,5,63,,5,5,,5 Níves de sgfcâca (α ) (teste ulateral) Tabela 37 Dstrbução da estatístca D α de K-S para duas amostras depedetes (para casos ão cotemplados aterormete) PONTMENTOS DE DPE E Esteves & C Sousa, 7 89