MOQ-13 PROBABILIDADE E ESTATÍSTICA. Professor: Rodrigo A. Scarpel

Transcrição

1 MOQ-13 PROBABILIDADE E ESTATÍSTICA Professor: Rodrigo A. Scarpel rodrigo@ita.br

2 Programa do curso: Semanas e 16 Introdução à probabilidade (eventos, espaço amostral, axiomas, propriedades, probabilidade condicional e independência). Teorema da probabilidade total e teorema de Bayes. Variáveis aleatórias. Distribuições de probabilidade. Funções massa, densidade, e distribuição acumulada. Funções de variáveis aleatórias. Valor esperado e variância. Momentos de uma variável aleatória. Função geradora de momentos. Principais distribuições de probabilidade discretas (Bernoulli, Binomial e Poisson). Principais distribuições de probabilidade contínuas (Exponencial negativa e Normal). Feriado (2/4) Variáveis aleatórias conjuntas, função distribuição conjunta e marginal. Independência estatística. Covariância e Coeficiente de Correlação. Prova Princípios de estatística. Estimadores e estimativas. Estimação pontual de parâmetros (Métodos dos momentos e da máxima verossimilhança). Estatística Descritiva. Amostras aleatórias. Distribuições amostrais. Teorema do limite central. Propriedades dos estimadores. Intervalos de confiança (estimação por intervalo). Tamanho da amostra. Princípios de testes de hipóteses. Testes de Hipóteses. Inferência baseada em 2 amostras (entre parâmetros de populações distintas). Testes não-paramétricos (associação, independência e de aderência). Feriado (4/6) Prova Regressão linear simples e correlação. Aplicações de modelos de regressão linear. Conteúdo

3 PRINCÍPIOS DA ESTATÍSTICA Professor: Rodrigo A. Scarpel

4 Probabilidade x Estatística: PROBABILIDADE POPULAÇÃO AMOSTRA ESTATÍSTICA Em probabilidade assume-se que população em estudo é conhecida Em estatística, amostras são utilizadas para se chegar a conclusões

5 Princípios da Estatística: Em probabilidade estudamos os modelos probabilísticos que auxiliam na redução da realidade: TESTAR ADERÊNCIA REALIDADE MODELO ESTIMAÇÃO DOS PARÂMETROS HIPÓTESES FAZER INFERÊNCIAS EM RELAÇÃO À REALIDADE

6 Princípios da Estatística: No procedimento descrito: A REALIDADE é a POPULAÇÃO (totalidade das observações na qual estamos interessados) Na redução da realidade a HIPÓTESE é que cada observação em uma população é um valor de uma variável aleatória X, com distribuição de probabilidade f(x). Assim, Quando nos referirmos a uma população f(x) queremos dizer uma população cujas observações são valores de uma variável aleatória que tem uma distribuição de probabilidade f(x) O valor esperado e a variância da variável aleatória é o valor esperado e a variância da população correspondente

7 Princípios da Estatística: Objetivo: Fazer inferências em relação à população (caracterizar e eventualmente definir regras de decisão sobre uma população conhecendo apenas parte dela) POPULAÇÃO TESTAR ADERÊNCIA AMOSTRA ESTIMAÇÃO DOS PARÂMETROS HIPÓTESES FAZER INFERÊNCIAS EM RELAÇÃO A POPULAÇÃO

8 Princípios da Estatística: Def: Amostra é um subconjunto da população. O processo de amostragem deve assegurar a representatividade da amostra em relação à população de onde foi retirada. Métodos de amostragem: Amostragem aleatória: iid Amostragem estratificada Amostragem por agrupamentos

9 Princípios da Estatística: Def: Ao selecionar uma amostra de tamanho n de uma população f(x), define-se a variável aleatória X i, i =1,,n, para representar o i-ésimo valor amostral. As variáveis aleatórias X 1, X 2,, X n serão uma amostra aleatória da população f(x), com valores numéricos x 1, x 2,, x n se os valores amostrais foram obtidos repetindo-se o experimento n vezes independentemente, sob as mesmas condições. Portanto: Os X i s são independentes Todas X i tem a mesma distribuição de probabilidade Quando as amostras são feitas com reposição ou de uma população infinita, essas condições são satisfeitas (as amostras são iid).

10 Princípios da Estatística: Distribuição de probabilidade de uma amostra aleatória: Como X 1, X 2,, X n é uma amostra aleatória da população f(x), sua distribuição de probabilidade conjunta é POPULAÇÃO ( x x,... x ) f ( x ). f ( x ) f ( ) f... 1, 2 n = 1 2 x n HIPÓTESES: f(x) e independência AMOSTRA ESTIMAÇÃO DOS PARÂMETROS Portanto, essa distribuição é caracterizada pelos parâmetros populacionais E[X] e Var[X] que são constantes não afetadas ou influenciadas pelas observações da amostra aleatória.

11 MÉTODOS DE ESTIMAÇÃO DE PARÂMETROS Professor: Rodrigo A. Scarpel

12 Métodos de estimação pontual de parâmetros: Um método de estimação de parâmetros sugere como obter estimadores em casos específicos (quando faz-se alguma hipótese sobre a distribuição da população, por exemplo). Dois dos métodos mais utilizados em estimação de parâmetros são: Método da máxima verossimilhança Método dos momentos

13 Método da máxima verossimilhança: O MLE é um método para estimação dos parâmetros a partir de uma amostra aleatória proposto por Fisher em Def: Função de Verossimilhança: seja X 1,,X n uma amostra aleatória com f.d.p. conjunta f(x 1,,x n ; θ 1,, θ m ) em que θ 1,, θ m tem valores desconhecidos. Quando x 1,,x n são os valores observados e a f.d.p. conjunta é vista como em função de θ 1,, θ m esta é chamada de função de verossimilhança. Procedimento: a estimativa de máxima verossimilhança de θ 1,, θ m são os ^ valores de θ i que maximizam a função de verossimilhança. Por esse método obtém-se os valores de θ 1,, θ m que maximizam o valor que torna a amostra observada a mais provável. ^ ^

14 Método dos momentos: A idéia básica deste método é igualar os parâmetros obtidas a partir das amostras aos parâmetros esperados da população (por exemplo, a média amostral ao valor esperado populacional). Def: Momento populacional: seja X 1,,X n uma amostra aleatória de uma população com f.d.p. f(x). Para k=1,2,3, o k-ésimo momento populacional (ou seja, da distribuição f(x)) é E[X k ]. Def: Momento amostral: seja X 1,,X n uma amostra aleatória de uma população com f.d.p. f(x). Para k=1,2,3, o k-ésimo momento amostral é M k = N i= 1 X N k i

15 Método dos momentos: Procedimento: Seja X 1,X 2,,X n uma amostra aleatória de uma distribuição com f.d.p. f(x;θ 1,, θ m ), em que θ 1,, θ m são parâmetros cujos valores são desconhecidos. ^ Os estimadores de momento θ 1,, θ m são obtidos igualando-se os primeiros m momentos amostrais aos m momentos populacionais correspondentes e resolvendo para θ 1,, θ m. ^ DISTRIBUIÇÃO E[X] VAR[X] m Binomial [X~Bin(n,p)] n.p n.p.(1-p) 1 Poisson [X~Poi(λ)] λ λ 1 Normal [X~N(µ,σ 2 )] µ σ 2 2 Uniforme [X~Uni(a, b)] (a +b)/2 (b-a ) 2 /12 2 Exponencial [X~Exp( λ )] 1/λ 1/λ 2 1 Gamma [X~Gamma(a,b)] a.b a.b 2 2 Obs: n é conhecido

16 ESTATÍSTICA DESCRITIVA Professor: Rodrigo A. Scarpel

17 Análise exploratória de dados: Uma vez coletados, é necessário fazer sua análise exploratória com o objetivo de: Checar sua qualidade (presença de outliers). Formas: Estatísticas de sumarização (de posição e de dispersão) Análise gráfica (histograma, box-plot) A análise exploratória de dados é importante pois além de proporcionar o maior entendimento do problema e dos dados coletados, previne contra erros (conclusões equivocadas).

18 Histograma: - Gráfico de barras contíguas; - Base é proporcional ao intervalo da classe; - Área é proporcional a frequência da classe; - Pode-se usar tanto a frequência (n i ) como a frequência relativa (f i )

19 Histograma: Detecção de outliers

20 Medidas de posição: São utilizadas quando se quer resumir os dados apresentando apenas um ou alguns valores que sejam representativos de toda série. Média (aritmética): é a soma das observações divididas pelo número delas, ou seja, X = n i= 1 n X i = k j= 1 n j n X j = k j= 1 f j X j em que n é o número de obsevações, x 1,...,x n são as observações, n j é o número de informações iguais a x j, f j é a frequência relativa da observação x j. Mediana: realização que ocupa a posição central da série de observações, quando estão ordenadas em ordem crescente.

21 Medidas de posição: Média Mediana A comparação entre a média e a mediana indica a assimetria da distribuição. MEDIANA: Muito interessante para grande massa de dados. Menos suscetível a valores extremos (mais indicada que a média em casos de grande dispersão)

22 Medidas de dispersão: São utilizadas quando se quer dar informação sobre a variabilidade do conjunto de observações. Variância: Desvio padrão: ( ) 1 ) ( = = n X X X s n i i ( ) ) ( 1 ) ( X s n X X X s n i i = = =

23 Quantis e box-plot: QUARTIS: Q1, Q2, Q3 Dividem os valores ordenados em quatro subconjuntos com iguais números de elementos. DECIS: D1, D2,, D10 Dividem os valores em 10 subconjuntos. PERCENTIS:P1,P2,,P100 Dividem os valores em 100 subconjuntos.

24 Para casa: Lista de Exercícios 6 (site: Leitura: Devore caps. 1 e 6.2 (Métodos de Estimativa Pontual) ou Walpole et al. caps. 1 e 9.14 (Estimação de MV)