Aula 1 - Revisão de Probabilidade e Estatística

Transcrição

1 Aula 1 - Revisão de Probabilidade e Estatística Matheus Rosso e Camila Steffens 1 de Março de 2018 Conteúdos 1. Introdução à probabilidade 2. Probabilidade condicional e independência 3. Variáveis aleatórias unidimensionais 4. Caracterização de variáveis aleatórias 5. Variável aleatória discreta importante 6. Variáveis aleatórias contínuas importantes 7. Teoria assintótica 8. Amostragem 9. Estimação de parâmetros 10. Inferência 1

2 1 Introdução à probabilidade Modelagem matemática: abordagem determinística: y = α + βx (1) Abordagem não-determinística: y = α + βx + ɛ (2) Onde ɛ é uma variável aleatória que segue uma dada distribuição de probabilidade. O termo aleatório ɛ implica que sua realização é aparentemente acidental, não determinada precisamente por uma fórmula matemática. No entanto, ɛ pode ser determinado em um experimento aleatório. Isso significa que se conhece o conjunto de todos os possíveis resultados desse experimento. Além disso, a repetição indefinida do experimento resulta na detecção de algum padrão. Definição 1.1 Um experimento aleatório E é um procedimento que pode ser repetido infinitamente e que tem um conjunto bem definido de resultados. Exemplos de experimentos aleatórios: 1. E1: lançamento de um dado e observação do número mostrado na face de cima. 2. E2: lançamento de uma moeda e distinção da face voltada para cima entre cara ou coroa. 3. Peças produzidas em uma linha de produção em um dado dia, a partir das quais são contadas as peças defeituosas. Definição 1.2 Para um dado experimento aleatório E, o espaço amostral S é o conjunto de todos os seus resultados possíveis. Exemplos de espaços amostrais: 1. S1: {1, 2, 3, 4, 5, 6}. 2. S2: {Cara, Coroa}. 3. {0, 1, 2,..., N}, onde N é o máximo de peças que podem ser produzidas em um dia. 2

3 Definição 1.3 Um evento é um subconjunto qualquer do espaço amostral. Exemplos de eventos: 1. A1: {1, 3, 5}. 2. A2:. 3. A3: {n N 0 < n N/3}. Uma noção primitiva de probabilidade parte da repetição do experimento E e da contagem de ocorrências de um dado evento A. Definição 1.4 Repetindo-se o experimento E n vezes, e sendo n A o número de vezes que evento A ocorreu, f A = n a /n é a frequência relativa de tal evento. A noção mais formal de probabilidade considera um n adequado, sendo que a adequação se refere a uma fidedigna representação do grau de possibilidade de ocorrência de um evento. Definição 1.5 Dado um experimento E e um espaço amostral associado S, para cada evento A associa-se um número real P (A), a probabilidade de A, que tem as seguintes propriedades: 1. 0 P (A) 1; 2. P (S) = 1; 3. Para eventos A e B mutuamente exclusivos, P (A B) = P (A) + P (B). P (A) e f A são próximos na medida em que f A for baseado em um número suficientemente grande de repetições. Propriedades da probabilidade: 1. P ( ) = Sendo A o evento complementar de A, P (A) = 1 P (A). 3. P (A B) = P (A) + P (B) P (A B). 4. P (A B C) = P (A) + P (B) + P (C) P (A B) P (A C) P (B C) + P (A B C). 5. Se A B, então P (A) P (B). 3

4 2 Probabilidade condicional e independência Definição 2.1 A probabilidade de B condicionada à ocorrência de A é: P (B A) = P (A B) P (A) (3) com P (A) > 0. Dada uma partição do espaço amostral em eventos mutuamente excludentes B i, onde i {1,..., K}, define-se: P (A) = P (A B 1 ) P (A B K ) Logo: P (A) = P (A B 1 ).P (B 1 ) P (A B K ).P (B K ) O teorema de Bayes parte disto para definir: Onde i {1,..., K}. P (B i A) = P (A B i).p (B i ) i P (A B i).p (B i ) (4) Definição 2.2 A e B são eventos independentes se, e somente se: P (A B) = P (A).P (B) (5) Para a Econometria: a definição em (5) implica em P (A B) = P (A) e em P (B A) = P (B). Esta noção de independência de eventos está na raiz da independência entre variáveis aleatórias, importante para as hipóteses iniciais do modelo de regressão linear clássico (MRLC). 3 Variáveis aleatórias unidimensionais A noção de variável aleatória é a mais importante da teoria da probabilidade, no que toca à Econometria. Os processos em Economia são fundamentalmente aleatórios, o que é captado pelo icônico termo de erro ɛ. Sendo ɛ uma V.A., e na medida em que funções de V.A. são também V.A., os parâmetros que serão estimados ao longo do curso são V.A., o que condiciona o seu tratamento matemático e possibilita um amplo conjunto interpretativo. 4

5 Definição 3.1 Dado um experimento aleatório E e um espaço amostral associado S, uma função X que associa a cada elemento s S um número real, X(s), é denominado uma variável aleatória. Isto é, uma variável aleatória assume valores numéricos e tem seu resultado determinado por um experimento. Obs.1: a função X deve ser unívoca, isto é, a cada s S corresponde um único valor X(s). Obs.2: variáveis aleatórias são representadas pro letra maiúscula (X) e um resultado particular é representado por letra minúscula (x). Exemplos: 1. X 2 : número de caras em n repetições de E2: X 2 (Cara, Cara) = 2, X 2 (Cara, Coroa) = 1, etc. 2. Se n = 10, por exemplo, uma variável aleatória seria o número de vezes que Cara aparece nessas 10 repetições. Antes de jogarmos a moeda, não sabemos quantas vezes Cara ocorrerá. 3. Mercado acionário: (a) Experimento: funcionamento de um mercado acionário em um dado dia e observação do preço de fechamento de um ativo. (b) Espaço amostral: preço de fechamento, p R +. (c) Variável aleatória: cada elemento do espaço amostral consiste em um possível valor a ser assumido pela V.A. preço de fechamento, logo, o espaço amostral é o contradomínio da V.A. (d) Função de variável aleatória: a variação do preço do ativo, (p t p t 1 )/p t 1, também é uma V.A., na medida em que, com p t 1 dado, p t é uma V.A. 3.1 Variável aleatória discreta: Definição 3.2 Uma variável aleatória discreta é aquela que assume um conjunto finito, ou infinito numerável 1, de possíveis valores. Neste caso, a distribuição de probabilidade é descrita pela função de probabilidade. 1 Valores possuem correspondência um-a-um com o conjunto de inteiros positivos 5

6 Definição 3.3 Dado X uma V.A. discreta, para cada possível valor x i em X, p(x i ) = P (X = x i ) é a probabilidade de que X assuma o valor específico x i, sendo tal que: 1. p(x 1 ) 0; 2. i p(x i ) = 1. Definição 3.4 A função p é a função de probabilidade de X. Ela resume a relação entre possíveis valores de X e as probabilidades correspondentes. f(x) = p Para qualquer número real x, f(x) é a probabilidade de que a variável aleatória X assuma o valor x. 3.2 Variável aleatória contínua: Definição 3.5 Uma variável aleatória contínua possui como contradomínio um conjunto infinito, por exemplo, um intervalo de valores. Por isso, diz-se que qualquer valor real ocorre com probabilidade 0 (zero). Neste caso, a função de probabilidade deve ser definida em um intervalo, e não para um valor específico X = x i. A distribuição de probabilidade é descrita por duas funções principais: a densidade de probabilidade e a distribuição acumulada. Definição 3.6 X é uma variável aleatória contínua se existir uma função f, denominada função densidade de probabilidade 2, tal que: 1. f(x) 0; 2. + f(x)dx = 1; 3. Define-se: P (a X b) = b a f(x)dx (6) Ou seja, a probabilidade de X assumir um valor entre a e b é a área abaixo da função densidade de probabilidade entre os pontos a e b, conforme representado na figura abaixo. 2 pdf em inglês 6

7 A função de distribuição acumulada 3, F, parte da função de densidade: F (x) P (X x) = x f(s)ds (7) 4 Caracterização de variáveis aleatórias À semelhança da definição (5), duas V.A. (X,Y) são independentes se, e somente se: P (X = x i, Y = y j ) = p(x i, y j ) = p(x i ).q(y j ) (8) f(x, y) = g(x).h(y) (9) Onde p(x i, y j ) em (8) é a distribuição conjunta de X e Y, caso sejam discretas, e f(x, y) em (9) é a distribuição conjunta de X e Y, caso sejam contínuas. As funções g(x) e h(y) são ditas funções de densidade de probabilidade marginal de X e de Y, respectivamente. Teorema 4.1 X e Y são variáveis aleatórias independentes se, e somente se: p(x i y j ) = p(x i ) (10) g(x y) = g(x) (11) em que g(x y) é função densidade de probabilidade condicional de X dado Y. 3 cdf em inglês 7

8 Se duas variáveis aleatórias (X,Y) são independentes, então o fato de conhecermos o resultado de X não muda as probabilidades dos possíveis resultados de Y. Além disso, funções de V.A independentes são também independentes. 4.1 Medidas relacionadas às V.A A V.A. é o objeto de interesse de quem investiga um experimento aleatório. A descrição probabilística desta variável envolve seu conjunto de valores possíveis e a sua distribuição de probabilidade. Algumas medidas, por sua vez, resumem as principais propriedades de uma distribuição. Valor esperado: média ponderada de todos os valores possíveis de X, em que os pesos são definidos a partir da função de densidade de probabilidade. Caso X seja discreta: E(X) = i x i p(x i ) (12) Caso seja contínua: E(X) = + xf(x)dx (13) Lembre que qualquer função de uma V.A será também uma V.A. Seja g(x) uma função de X. Então o valor esperado de E[g(x] é definido, no caso contínuo, como 4 : E[g(X)] = + g(x)f(x)dx (14) Valor esperado condicional: parte da distribuição condicional, definida de modo análogo à probabilidade condicional: E(X y j ) = i x i p(x i y j ) (15) Caso X e Y sejam discretas; caso sejam contínuas: E(X y) = Propriedades do valor esperado: + xg(x y)dx (16) 1. E(k) = k, com k R. 2. E(k.X) = k.e(x), com k R. 4 Note que, de forma geral, g[e(x)] E[g(X)]. 8

9 3. E(X + Y ) = E(X) + E(Y ). Resultado importante: E( i X i) = i E(X i). E(kX + b) = k.e(x) + b, com k, b R. 4. Se X e Y são independentes, E(XY ) = E(X).E(Y ). 5. Com X e Y independentes, E(X Y ) = E(X) e E(Y X) = E(Y ). 6. E[c(X) X] = c(x), para qualquer função de X, representada por c(x). 7. E[a(X)Y + b(x) X] = a(x).e[y X] + b(x). 8. Lei das expectativas iteradas: E X [E(Y X)] = E(Y ). Obs.: E X [E(Y X)] = E(Y X)f(x)dx, uma vez que E(Y X) é uma função da V.A. X, trata-se também de uma V.A. Obs.: analogamente, E X [E(Y X, Z) X] = E(Y X). Para a Econometria: a lei das expectativas iteradas é fundamental na configuração do MRLC. Variância: consiste em uma medida da distância da variável aleatória X de seu valor esperado. Como é função de uma V.A, a variância também se trata de uma V.A. V ar(x) = E[(X E(X)) 2 ] = E(X 2 ) [E(X)] 2 (17) Variância condicional: V ar(x y) = E[(X E(X y)) 2 y] = E(X 2 y) [E(X y)] 2 (18) Propriedades da variância: 1. V ar(x + k) = V ar(x), com k R. 2. V ar(k.x) = k 2 V ar(x), com k R. V ar(kx + b) = k 2.V ar(x), com k, b R. 3. V ar(x) = E[(X k) 2 ] [E(X) k] Se X e Y são independentes, então V ar(x + Y ) = V ar(x) + V ar(y ). Resultado importante: V ar( i X i) = i V ar(x i). 5. Se X e Y são independentes, então V ar(x Y ) = V ar(x). 9

10 Para a Econometria: a propriedade da variância 4 é importante não somente para a Econometria de cross-section, como também para a Econometria de séries de tempo. Desvio Padrão: é simplesmente a raiz quadrada da variância, o que resulta em uma medida de variação comparável à V.A. em magnitude. Propriedades do desvio padrão: 1. Sd(X + k) = Sd(X), com k R. 2. Sd(k.X) = k Sd(X), com k R. Covariância: consiste em uma medida de relação linear entre duas V.A. Cov(X, Y ) = E[(X E(X))(Y E(Y ))] = E(XY ) E(X).E(Y ) (19) Correlação linear: medida de relação linear entre duas V.A que independe das unidades de medida dessas V.A. Corr(X, Y ) = Cov(X, Y ) V ar(x).v ar(y ) (20) Propriedades da covariância e da correlação: 1. Se X e Y são independentes 5, então Cov(X, Y ) = Corr(X, Y ) = Se E(Y X) = E(Y ), então Cov(X, Y ) = Cov(a 1 X + b 1, a 2 Y + b 2 ) = a 1 a 2.Cov(X, Y ), com a 1, a 2, b 1, b 2 R Corr(X, Y ) Corr(a 1 X + b 1, a 2 Y + b 2 ) = Corr(X, Y ), se a 1.a 2 > Corr(a 1 X + b 1, a 2 Y + b 2 ) = Corr(X, Y ), se a 1.a 2 < Se E(Y X) = AX + B, então: V ar(y ) E(Y X) = E(Y ) + Corr(X, Y ) (X E(X)) (21) V ar(x) Para a Econometria: a propriedade 5 consiste no substrato estatístico do modelo de regressão linear clássico (MRLC). 5 Lembre que, nesse caso, E(XY ) = E(X).E(Y ). No entanto, Cov(X, Y ) = Corr(X, Y ) = 0 não implica independência (pense no exemplo X = Y 2 ). 10

11 5 Variável aleatória discreta importante Uma variável aleatória que pode assumir apenas valores 0 (zero) e 1 (um) é chamada variável aleatória Bernoulli (ou binária). Geralmente, representamos X = 1 se sucesso e X = 0, caso contrário. Para descrever o comportamento de uma V.A binária, só precisamos definir a P(X = 1). Função densidade de probabilidade: θ, se X = 1 P(X) = 1 θ, se X = 0 Aplicação: regressão logística, em Econometria II. 6 Variáveis aleatórias contínuas importantes Distribuições importantes: normal, t-student, qui-quadrado, uniforme. Aspectos a se atentar de uma distribuição: gráfico padrão, função densidade de probabilidade, aplicações. 11

12 6.1 Distribuição normal: Função densidade de probabilidade: f(x) = 1 2πσ exp[( 1/2)( x µ σ )2 ] (22) Onde µ é a média populacional [E(X)] e σ 2 é a variância populacional. Então X Normal(µ, σ 2 ) Aplicações: supondo uma distribuição normal para o termo de erro, os coeficientes do MRLC também seguem uma distribuição normal. Assim, é possível estabelecer uma análise de inferência para tais parâmetros. Obs.: para uma amostra suficientemente grande, o teorema central do limite (a ser visto adiante) garante a utilização da distribuição normal. Obs.: supõe-se conhecimento da variância populacional para a utilização da distribuição normal. Distribuição Normal Padrão: uma variável aleatória Z tem distribuição normal padrão se a média for 0 e a variância 1. Então, Z Normal(0,1). Propriedades da Distribuição Normal: 1. Se X Normal(µ, σ 2 ), então X µ σ Normal(0,1). 12

13 2. Se X Normal(µ, σ 2 ), então ax + b Normal(aµ + b, a 2 σ 2 ). 3. Se X e Y possuem distribuição conjunta normal, então elas são independentes se, e somente se, Cov(X, Y ) = 0. No caso da distribuição normal, a volta também vale. 4. Qualquer combinação linear de variáveis aleatórias independentes e identicamente distribuídas normalmente possui distribuição normal. 6.2 Distribuição t-student: caso não se conheça a variância populacional da V.A. de distribuição normal, utiliza-se a distribuição t. Obs.: para um tamanho de amostra suficientemente grande, a distribuição t converge para a normal, logo, pode-se utilizar a distribuição normal. 6.3 Distribuição qui-quadrado: Função densidade de probabilidade: f(x) = Onde n é o número de graus de liberdade e Γ(.) é a função gama. 1 2 n/2.γ(n/2) xn/2 1 exp( x/2) (23) Aplicação: diversos testes na Econometria utilizam esta distribuição. consiste no teste da variância. O mais imediato deles 13

14 6.4 Distribuição uniforme: Função densidade de probabilidade: Aplicações: muito útil em simulações. f(x) = 1 b a (24) 14

15 7 Teoria assintótica O crescimento do tamanho da amostra complexifica a teoria de probabilidade, porém, felizmente, simplifica a prática em Econometria. Desigualdade de Tchebycheff: seja uma V.A. X, a desigualdade é dada por: Onde ɛ > 0. P ( X c ɛ) E[(X c)2 ] ɛ 2 (25) Alternativamente: P ( X c < ɛ) 1 E[(X c)2 ] ɛ 2 (26) Lei dos grandes números: indica a convergência da frequência relativa para a probabilidade. Em uma configuração de distribuição binomial, onde p = P (A): Com n, encontra-se que f A p p. P ( f A p < ɛ) 1 p(1 p) n.ɛ 2 (27) Convergência em probabilidade da média amostral: dada a V.A. em que consiste a média amostral: Com n, encontra-se que X p µ. P ( X µ < ɛ) 1 σ2 n.ɛ 2 (28) Sequência de V.A. i.i.d.: uma sequência de V.A. {X 1,..., X n } é dita independente e identicamente distribuída se for independente e seguir uma mesma distribuição (mesma forma e mesmos parâmetros). Para a Econometria: amostragem aleatória, ou tratar-se de uma sequência de variáveis i.i.d., consiste em uma hipótese fundamental para o MRLC. A partir disto, diversos procedimentos têm sua validade garantida. Teorema central do limite: dada uma sequência de variáveis aleatórias independentes, {X 1,..., X n }, definem-se: X = i X i e µ = i E(X i ). Assim, o TCL implica: X µ i V ar(x N(0, 1) (29) i) 15

16 Caso a sequência {X 1,..., X n } seja i.i.d., com E(X i ) = µ e V ar(x i ) = σ 2 para i {1,..., n}, então: n(x µ) d N(0, σ 2 ) (30) Conforme n. 8 Amostragem Estatisticamente, é equivalente a noção de uma amostra aleatória e a de uma sequência de V.A. i.i.d. Em termos práticos, uma amostra aleatória consiste na realização empírica repetida n vezes de uma V.A. Em virtude da equivalência apontada acima, as observações de uma amostra aleatória são independentes e têm uma mesma distribuição. Logo, a ocorrência de X i = x i não afeta a realização de X j = x j. Além disso, E(X i ) = E(X j ) = µ e V ar(x i ) = V ar(x j ) = σ 2. Define-se uma estatística uma função Y = H(X 1,..., X n ) de uma amostra aleatória. Principais estatísticas: i 1. Média amostral: X = X i n. i 2. Variância amostral: s 2 = (X i X) 2. (n 1) 3. Covariância amostral: cov(x, Y ) = ( i X i X)( i Y i Y ). (n 1) 4. Correlação amostral: corr(x, Y ) = cov(x, Y ). s 2 X.s2 Y 5. Mínimo da amostra: m = min{x 1,..., X n }. 6. Máximo da amostra: M = max{x 1,..., X n }. 7. Amplitude da amostra: M m. 8. Número de observações: n. Para a Econometria: as estatísticas acima compõem o instrumental básico das estatísticas descritivas que devem compor um trabalho empírico. Programas como o Stata dispõem de uma ampla variedade de aplicações que partem destes conceitos básicos. 16

17 9 Estimação de parâmetros Métodos de estimação (estimadores pontuais): dado o modelo linear y = α + βx + ɛ: 1. Método dos momentos: E(x.e) = 0, onde e = y a bx, para a, b R. 2. Mínimos quadrados ordinários: min ê 2, onde e = y a bx, para a, b R. a,b i 3. Máxima verossimilhança: max ln(f(e X)), onde e = y a bx, para a, b R. a,b i Para a Econometria: demonstra-se a equivalência entre os dois primeiros métodos, e, supondo normalidade para o termo de erro, demonstra-se a equivalência entre os três métodos. Propriedades de estimadores: dados estimadores ˆθ e θ para o parâmetro verdadeiro θ: 1. Não tendenciosidade: E(ˆθ) = θ. 2. Eficiência: V ar(ˆθ) V ar(θ ) para qualquer estimador θ. 3. Consistência: lim n P ( ˆθ θ > δ) = 0, para qualquer δ > Inferência Os testes de hipóteses permitem aferir a significância de uma dada variável incluída no MRLC, enquanto que os intervalos de confiança proveem uma amplitude para as estimativas pontuais. Hipóteses convencionais: H 0 : β = β 0 (hipótese nula, a ser rejeitada ou não rejeitada) H 1 : β β 0 (hipótese alternativa) Procedimento para um teste de hipóteses: distribuição normal para referência: 1. Estimação do parâmetro. 2. Estabelecimento das hipóteses. 3. Cálculo da estatística de teste: ET = ˆβ β 0 ep( ˆβ) (31) 17

18 4. Comparação de ET com o valor tabelado; caso ET valor tabelado, rejeita-se a H 0 ao nível de significância escolhido; caso ET valor tabelado, não é possível rejeitar H 0 ao nível de significância escolhido. Obs.: caso ep( ˆβ) considere uma variância estimada, utiliza-se a distribuição t. Caso se conheça a variância da distribuição normal de referência, ou caso a amostra seja suficientemente grande, utiliza-se a distribuição normal. Intervalo de confiança padrão: distribuição normal para referência: P ( z α/2 ET z α/2 ) = 1 α (32) Interpretação: construindo-se a ET um número suficientemente grande de vezes, a cada 1 α intervalos, encontra-se ET [ z α/2, z α/2 ]. 11 Bibliografia Probabilidade Aplicações à Estatística, Paul L. Meyer. Statistical Inference, George Casella e Roger L. Berger. 18