MOQ 13 PROBABILIDADE E ESTATÍSTICA. Professor: Rodrigo A. Scarpel

Transcrição

1 MOQ 13 PROBABILIDADE E ESTATÍSTICA Professor: Rodrigo A. Scarpel rodrigo@ita.br

2 Programa do curso: Semanas e 16 Introdução à probabilidade (eventos, espaço amostral, axiomas, propriedades, probabilidade condicional e independência). Teorema da probabilidade total e teorema de Bayes. Variáveis aleatórias. Distribuições de probabilidade. Funções massa, densidade, e distribuição acumulada. Funções de variáveis aleatórias. Valor esperado e variância. Momentos de uma variável aleatória. Função geradora de momentos. Principais distribuições de probabilidade discretas (Bernoulli, Binomial e Poisson). Principais distribuições de probabilidade contínuas (Exponencial negativa e Normal). Feriado (/4) Variáveis aleatórias conjuntas, função distribuição conjunta e marginal. Independência estatística. Covariância e Coeficiente de Correlação. Prova Princípios de estatística. Estimadores e estimativas. Estimação pontual de parâmetros (Métodos dos momentos e da máxima verossimilhança). Estatística Descritiva. Amostras aleatórias. Distribuições amostrais. Teorema do limite central. Variáveis aleatórias Qui-quadrado e t- Student. Propriedades dos estimadores. Intervalos de confiança (estimação por intervalo). Tamanho da amostra. Testes de Hipóteses. Inferência baseada em amostras (entre parâmetros de populações distintas). Testes não-paramétricos (associação, independência e de aderência). Feriado (4/6) Prova Regressão linear simples e correlação. Aplicações de modelos de regressão linear. Conteúdo

3 MOQ 13 TESTES DE ADERÊNCIA E ANÁLISE DE DADOS CATEGORIZADOS Professor: Rodrigo A. Scarpel rodrigo@ita.br

4 O processo de inferência: POPULAÇÃO TESTAR ADERÊNCIA AMOSTRA ESTIMAÇÃO DOS PARÂMETROS HIPÓTESES FAZER INFERÊNCIAS EM RELAÇÃO A POPULAÇÃO Hipóteses: - iid Amostra aleatória - Distribuições populacional e amostral (TLC) - Parâmetros conhecidos ou não (E(X) e Var(X))

5 Testes de aderência e análise de dados categorizados: São testes estatísticos aplicados quando as observações de uma amostra podem ser classificadas como pertencentes a um número finito de categorias, sendo p i a probabilidade de uma observação pertencer a categoria i. Assim, estes testam a hipótese nula que especifica completamente os valores de todos os p i s para verificar a discrepância entre os números observados nas categorias e os números esperados quando H 0 é verdadeira.

6 Testes de aderência e análise de dados categorizados: Def: Experimento multinomial: é uma generalização do experimento binomial (sequência de testes independentes nos quais cada um pode produzir um de dois possíveis resultados, S e F) permitindo que cada teste resulte em um de k possíveis resultados, em que k >. No experimento multinomial seleciona-se n indivíduos de uma população, então p i é a proporção da população que pertence a i-ésima categoria. A hipótese nula dos testes (H 0 ) especificará o valor de cada p i.

7 Testes de aderência e análise de dados categorizados: Em um exemplo binomial, o número esperado de sucessos e fracassos é n.p e n(1-p), respectivamente. Da mesma forma, no caso multinomial, o número esperado de observações na categoria i é np i, i = 1,,k. Se no caso binomial: H 0 : p = p 0 No caso multinomial: H 0 : p 1 = p 10, p = p 0,, p k = p k0 O procedimento do teste envolve o cálculo da discrepância entre os n i s (observados) e os np i0 s (esperados) sendo H 0 rejeitada quando a discrepância for suficientemente grande.

8 Testes de aderência e análise de dados categorizados: Medida de discrepância: o natural é tomar a soma dos desvios quadrados (n 1 -np 10 ),, (n k -np k0 ) mas ao invés de tirar a média, cada desvio quadrado será dividido pelo valor esperado correspondente. Assim, Medida de discrepância = k i= 1 ( ni npi ) ( observado esperado) = np i todas células as esperado

9 Testes de aderência e análise de dados categorizados: Procedimento do teste: H 0 : p 1 = p 10, p = p 0,, p k = p k0 H a : pelo menos um p i é diferente de p i0 Estatística do teste: X = k ( n ) i npi0 np i= 1 i0 Região de rejeição: X X α, k-1

10 Testes de aderência e análise de dados categorizados: Teste de X quando os p i s são funções de outros parâmetros: Quando os p i s são supostos dependentes de um número menor de parâmetros (θ 1,,θ m com m<k), o teste pode ser utilizados para checar se uma amostra provém de uma distribuição de probabilidades específica. Assim, H 0 : p 1 = π 1 (θ), p = π (θ),, p k =π k (θ) em que θ = (θ 1,, θ m ) H a : H 0 não é verdadeira observado esperado Estat. teste: X = esperado todasas células ( ) [ ( )] k Ni nπ ˆ i θ = ( ) i= 1 nπ ˆ θ i Região de rejeição: X X α, k-1-m OBS: Na prática o teste pode ser utilizado se nπ i (θ) 5%, i. O número de gl é reduzido pelo número de θ i estimados.

11 Teste de Aderência: Exemplo H 0 : p 1 = π 1 (θ), p = π (θ),, p k =π k (θ) em que θ = (θ 1,, θ m ) H a : H 0 não é verdadeira Acidentes Freq Oi 0 5 5,0% ,0% 18 18,0% ,0% 4 4 4,0% 5,0% 6,0% 7 1 1,0% 40,0% 35,0% 30,0% 5,0% 0,0% 15,0% 10,0% 5,0% 0,0% ,0% Pi Ei Polinômio (Ei)

12 Testes de aderência e análise de dados categorizados: Teste de homogeneidade: É um teste aplicado quando há I populações e cada uma delas é dividida nas mesmas J categorias. Assim, uma amostra de ni indivíduos é tomada da i-ésima população. Procedimento do teste: H 0 : a proporção de indivíduos na categoria j é a mesma para cada população, ou seja, p 1j = p j = p Ij, j = 1,,, J H a : H 0 não é verdadeira Estatística do teste: X = todas células as I J ( observado esperado) [ nij eij ] esperado = i= 1 j= 1 e ij Região de rejeição: X X α, (I-1)(J-1)

13 Teste de homogeneidade: exemplo H 0 : a proporção de indivíduos na categoria j (intenção de compra) é a mesma para cada população (produto): p 1j = p j = p Ij, j = 1, H a : H 0 não é verdadeira Produto A Produto B Total Comprariam 150 (144) 138 (144) 88 Não comprariam 50 (56) 6 (56) 11 Total χ = ( ) /144 + (50-56) /56 + ( ) /144 + (6-56) /56 = 1,79

14 Testes de aderência e análise de dados categorizados: Teste de independência: É um teste aplicado quando há uma única população e cada indivíduo é categorizado em relação a dois fatores diferentes, havendo I categorias associadas ao primeiro fator e J categorias associadas ao segundo fator. Procedimento do teste: H 0 : p ij = p i.. p.j, i = 1,,, I e j = 1,,, J H a : H 0 não é verdadeira Estatística do teste: X = todas células as I J ( observado esperado) [ nij eij ] esperado = i= 1 j= 1 e ij Região de rejeição: X X α, (I-1)(J-1)

15 EXEMPLO: MINERAÇÃO DE DADOS: ASSOCIAÇÃO ENTRE EVENTOS MARCA AB C DE TOTAL Antarctica Brahma Kaiser Schincariol Skol TOTAL Associação positiva entre classes DE e SCHIN P(SCHIN) = 49/400 = 1,5% P(SCHIN/DE) = 30/116 = 5,8% Associação negativa entre classes DE e SKOL P(SKOL) = 110/400 = 7,5% P(SKOL/DE) = 1,5%

16 Teste de independência: Exemplo O consumo do produto A independe de classe social? H 0 : Consumo do produto A e classe social são independentes H a : Consumo do produto A depende da classe social Consomem o produto A Não consomem Total Valores observados Classe A/B Classe C Total Consomem o produto A Não consomem Total Valores esperados Classe A/B 141,7 108,3 50 Classe C 198,3 151,7 350 Total χ = ( ,7) /141,7 + ( ,3) /198,3 + (70-108,3) /108,3 + ( ,7) /151,7 = 40,79

17 Para casa: Lista de Exercícios 10 (site: Leitura: Devore cap. 14: Testes de aderência e análise Walpole et al. cap. 10 (10.14 a 10.18): Testes de