Lecture Notes Estatística. Rodrigo Leandro de Moura. 1ª versão: 19/10/2010

Transcrição

1 Lecture Notes Estatística Rodrigo Leandro de Moura 1ª versão: 19/10/2010 Parte I Análise de dados Estatística descritiva 1. Definições 1.1. População É o conjunto de todos os elementos (unidades observacionais) que constituem a abrangência do estudo. Exemplo: Conjunto dos 5564 municípios brasileiros Conjunto de todos os alunos de uma turma Conjunto de todos os discursos do Lula 1.2. Amostra Mais barata e mais rápida que o censo. É um subconjunto da população. (AAS = Amostra aleatória simples) Amostra Propabilística Não probabilística AAS com reposição AAS sem reposição Conglomerados Outras Cotas Exemplo: Conjunto de municípios da região sudeste Unidade observacional É a portadora da(s) característica(s) (ou propriedade(s)) que se deseja investigar. Exemplo: Um município Aluno de uma sala Discurso do Lula 1.4. É a apresentação simbólica da característica ou propriedade que se deseja investigar. Exemplo: 1

2 d3 = Nunca antes na história desse país... (traço característico da unidade observacional) Sexo Variável qualitativa X Nº de irmãos Variável quantitativa Grau de escolaridade do pai Qualitativa (mas pode ser transformada em quantitativa (anos de estudo)) 1.5. Medidas estatísticas Parâmetros da população Estatísticas amostrais Distribuição de frequência Gráficos Permitem reduzir os dados. Exemplo: 1.6. Inferência É o processo de generalizar na população os resultados obtidos em uma amostra. Exemplo: 2. Níveis de mensuração A classificação de escalas métricas não é única. Diferentes autores classificam os fenômenos de modo diferente. Stevens (1946) define quatro níves de mensuração: Nominal Ordinal Intervalar Razão 2.1. Escala nominal É a escala de medidas com nível mais baixo de mensuração obtida quando as variáveis são utilizadas simplesmente para classificar. Neste caso os valores assumidos pelas variáveis são meramente rótulos. Exemplo: Estado civil, sexo Escala ordinal Quando as categorias de uma variável nominal podem ser ordenados, isto é, permitem uma relação do tipo maior que ou menor que. Exemplo 2

3 Escolaridade Freq. Absoluta Freq. Relativa 1º Grau 2º Grau Podemos usar como estatística a mediana e moda Escala intervalar Freq. Acumulada Absoluta Freq. Acumulada relativa Quando os fenômenos são representados por variáveis que assumem valores num contínnuo, como o conjunto dos nº racionais, dizemos que essas variáveis são quantitativas e a descrição dos dados se torna mais informativa. Uma possível classificação para essas variáveis pode ser feita em função do tipo de valores que elas podem assumir: discretos ou contínuos. Esta escala incorpora todas as propriedades das escalas ordinal e nominal e, além disso, ela especifica uma correspondência 1 1 entre os elementos do domínio observável e o conjunto dos números reais, permitindo assim que a distância entre as observações tenha um significado código. Nesta escala, como a origem (zero) e a unidade de medida são indeterminadas, pode-se proceder a uma mudança da escala, isto é, mudar a origem e a unidade, através de uma transformação linear do tipo y = ax + b, cujos a e b são conhecidos. Assim, podemos distinguir entre uma medida que é igual, diferente, maior e quanto maior do que a outra. Exemplo: 0 o F origem, unidade: 1 o F Fazendo uma transformação linear do tipo y=(5/9)*(x-32) transformamos o F em o C. No entanto, a origem não se mantém fixa. Podemos usar como estatísticas a média, mediana e moda Escala de razão Esta escala representa o nível mais rico de mensuração que se pode obter na busca do conhecimento de um objeto. Além de incorporar todas as propriedades da escala intervalar, esta escala ainda permite que se estabeleçam relações de razão e proporção entre os valores observados de suas variáveis. Isso é possível pela existência de uma origem fixa, ou zero absoluto, e pela existência de uma unidade de medida. Grande parte das medidas físicas (comprimento, peso, etc.) e demográficas (idade, taxas de crescimento, natalidade, mortalidade, etc.) são representadas através de variáveis com níveis de mensuração expressas na escala de razão. Assim, podemos distinguar entre uma medida que é igual, diferente, maior, quanto maior e quantas vezes maior do que outra. Exemplo: altura. Origem: 0cm. Unidade: 1 cm. 3

4 Assim, um indivíduo com 190 cm é 2x mais alto do que um com 95 cm. Mesmo se usarmos 1 m como unidade esta relação continua valendo pois 1.9m=2x0. 95m. Ou seja, a estrutura da escala razão não é alterada por transformações da forma y=cx, c>0. Podemos usar as mesmas estatísticas na escala razão e intervalar: média, mediana e moda. 3. Análise exploratória de dados Objetivo: resumir dados para análise Distribuição de frequência Simples Aplicada a dados qualitativos e quantitativos. Exemplo: Construa uma distribuição de frequência com os dados números de irmãos: 2;2;3;1;1;1;1;1;2;2;3;1;1;1;0;2;2;1;1;3;1;1;1;1 Nº de irmãos Freq. Absoluta Freq. Relativa Freq. Acumulada Freq. Rel. Acum /24 1 1/ / / / / / /24 Total *Frequência acumulada: Só vale para dados quantitativos (não tem como acumular sexo, por exemplo) Classes Aplicada a dados quantitativos Renda (em s.m.) Freq. Absoluta [1;3[ 5 [3;5[ 10 [5;7[ 4 [7;9[ 1 Total Medidas estatísticas Medidas de posição 4

5 Média (µ): = - A média terá a mesma unidade de medida dos dados originais. Exemplo dos irmãos: = Ou fazendo pela freq. acumulada: = = 1,16ã = = 1,16ã Exemplo do salário mínimo: Considerando a média de cada classe de renda como a média da renda naquela classe: = = 4,1.. Mediana (Md): é o nº do meio (numa fila por tamanho, por exemplo: pegando o aluno do meio 50% dos alunos é menor que ele e os outros 50% são maiores se o nº de alunos for par, pode-se fazer a média dos dois centrais). A unidade de medida é a mesma dos dados originais. Ex. dos irmãos: Ordenando os dados: 0; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 2; 2; 2; 2; 2; 2; 3; 3; 3. Moda (mo): é a obserbação mais frequente num conjunto de dados: Ex: 2, 0, 1, 3, 5, 1 Mo = 1 Ex: 2, 0, 1, 3, 5 Mo = não existe Ex: 1, 1, 0, 5, 4, 4 Mo = 1 e 4 (bimodal) Média dos elementos das posições 12 e 13 = 1 Exemplo dos irmãos: Nº de irmãos Freq. Absoluta Mo = 14 Exemplo do salário: Renda (em s.m.) Freq. Absoluta [1;3[ 5 [3;5[ 10 [5;7[ 4 [7;9[ 1 Mo = média (3 e 5) = 4 5

6 Medidas de dispersão: não pode ser negtiva Exemplo: Avaliar 4 turmas: Turma A: 1, 3, 5, 7, 9 µ = 5; Md = 5; Mo = Turma B: 3, 4, 5, 6, 7 µ = 5; Md = 5; Mo = Turma C: 3, 5, 7 µ = 5; Md = 5; Mo = Tumar D: 5, 5, 5, 5 µ = 5; Md = 5; Mo = Como escolher a melhor turma? Mede-se por dispersão. Desvio médio: A: ( )/5 = 12/5 Turma mais dispersa B: ( )/5 = 6/5 Está na mesma unidade de medida dos dados originais. C: (2+0+2)/3 = 4/3 D: ( )/4 = dispersão 0 Variância: ² = ( )² A: ( )/5 = 40/5 = 8 B: ( )/5 = 10/5 = 2 Está na mesma unidade de medida dos dados originais elevado ao quadrado. C: ( )/3 = 8/3 D: 0/4 = 0 Desvio padrão: = ² É a raíz quadrada da variância e está na mesma medida dos dados originais. 6

7 Coeficiente de variação (cv) = Medida relativa de variação. É adimensional: pode-se comparar Kg com cachos, por exemplo. ** Se os dados forem oriundos de uma amostra, podemos calcular as estatísticas amostrais** Média amostral: = =1 Variância amostral: ² = =1 ( )² 1 Ex.: Considere dois portifólios de aplicações financeiras: um com rentabilidade média de 24% e σ=6% e outro com rentabilidade média de 18% e desvio padrão de 5%. Qual o de menor risco? 1) µ = 0,24 σ = 0,06 cv = % 2) µ = 0,18 σ = 0,05 cv = % O de menor risco é o de menor cv, ou seja, o portifólio 2 Se cv 20%, considere as medidas heterogêneas Se cv 20%, considere as medidas homogêneas Medidas de forma: Assimetria: = ³ 7

8 α > 0 assimetria positiva ou à direita (µ>md>mo) α < 0 assimetria negativa ou à esquerda (µ<md<mo) α = 0 simétrica (µ=md=mo) Outras medidas descritivas/de análise: Separatrizes: Quartis, decis,..., percentis - Discreta: Ex: 3, 5, 2, 4, 7, 9, 1 Ordenar: 1, 2, 3, 4, 5, 7, 9 1º 2º 3º 4º 5º 6º 7º 1º quartil = Q1 = q(25) ou q(0.25) = 25% das observações estritamente menores que Q1 Dividindo o tamanho amostral por 4: 7/4=1.75 observações devem estar abaixo de q(25). Se fossemos arredondar, teríamos que ter 2 observações abaixo do 1º quartil. Mas, note que isso representa 2/7*100%=28% das observações. Ou seja, q(25)=q(28)? Assim, façamos o seguinte procedimento, que determinará mais precisamente o Q1. 8

9 Determinar a posição do 1º quartil x 25% 75% 1º xº 7º (7-x)= 3(x-1) 7 x = 3x 3 X = 2,5 posição do 1º Q Interpolação: Q1 = 2,5 2, Q = 2, º quartil = Q2 = Md = q(50) ou q(0.5) = 50% das observações estritamente menores que Q2 Md = 4 3º quartil = Q3 = = q(75) ou q(0.75) = 75% das observações estritamente menores que Q3 Determinar a posição do 3º quartil y 75% 25% 1º yº 7º (y-1) = 3 (7-y) y = 5,5 posição do 3º Q Interpolação: , Q = 5, Q3 = 6 9

10 Uma medida de dispersão alternativa ao desvio-padrão é a distância interquartil, definida como: No exemplo acima, teríamos: d q =Q3-Q1 d q =6-2.5=3.5 - Por Classes Renda (em s.m.) Freq. Absoluta [1;3[ 5 [3;5[ 10 [5;7[ 4 [7;9[ 1 Total 20 Gráfico da Distribuição de Freqüências 1º quartil Pelo gráfico visualizamos claramente que Q1=3 2º quartil Pelo gráfico, notamos que falta 25% para completar 50%. Assim: = 50% 25% Md=4 3º Quartil = Q3 10

11 Pelo gráfico visualizamos claramente que Q3=5 (*) Para dados bivariados temos ainda (se a variável for quantitativa): Covariância (Cov) Cov >0 Cov = 0 Cov <0, = ( )( ) Unidade de medida da cov. É o produto das unidades de medida Correlação de Pearson, (, ) = 1 1 = 1 é correlação perfeita negativa nos dados 3.3. Análise Gráfica Setor (para variáveis quantitativas e qualitativas) Os dados somam 100% Usado para medir partes de algo Ângulo proporcional às partes Linhas (para variáveis quantitativas) 11

12 Usado para analisar a evolução de uma variável Colunas ou barras Usado para evolução ou partes Histograma: nos dá a forma da distribuição da série/dados. Para isso, precisamos calcular a densidade da freqüência: fi/δi ou ni/ Δi, onde fi=freqüência relativa, ni= freqüência absoluta, Δi=amplitude o i-ésimo intervalo. Com o uso da densidade, podemos considerar para intervalos com amplitudes diferentes. 12

13 Gráfico Box-plot (mais elaborado) * L s = Q3 +1,5 (Q3 Q1) Q3 E s (Extremo superior) = é o maior valor da série que não é maior que o limite superior (L s ) Q2 Se Md/Q2 cortar a caixa no meio a série é simétrica Q1 E i (Extremo inferior) = é o menor valor da série que não é menor que o limite inferior (L i ) * L i = Q1-1,5(Q3 Q1) *: Pontos exteriores. São observações destoantes das demais e podendo ser ou não outliers. Valores adjacentes: valores compreendidos entre o L s e L i. Box plot dá uma idéia da posição (mediana, q1, q3), dispersão (d q ), assimetria (distância entre os quantis e destes em relação aos extremos, ou seja, posição relativa dos quantis), caudas e dados discrepantes da amostra. 13

14 Retomando o exemplo: Ex: 3, 5, 2, 4, 7, 9, 1 Ordenar: 1, 2, 3, 4, 5, 7, 9 1º 2º 3º 4º 5º 6º 7º Q1=2.5, Q2=4,Q3=6 L s = Q3 +1,5 (Q3 Q1)= *3=10 L i = Q1-1,5(Q3 Q1)= *3=-2. E s =9, E i =1 O Box-Plot será: 9 10 Q3 Q2 4 Q Transformação de variáveis (padronização) = 14

15 Parte II Inferência Idéias básicas Dois tipo de levantamento: Censitários vai acabar? Os levantamentos censitários, ou seja, os censos, são realizados quando investigamos toda a população. Por amostragem: Os levantamenos por amostragem são realizados em um subconjunto da população de interesse. *No Brasil há dois levantamentos censitários considerados oficiais: Censo demográfico Censo agropecuário ( não vai acabar? É difícil estavelecer amostras neste caso) População (Censo) Amostra Tempo Leva mais tempo Leva menos tempo Custo Mais custoso Menos custoso Erros alheios à amostragem (mentira/pergunta mal feita) Sim Não Erros amostrais (auto-seleção) Não Sim Foco do nosso estudo: surgem ao coletarmos uma amostra, em vez de pesquisar a população inteira. Tipos de amostragem Probabilísticas: Não probabilísticas Amostra Aleatória Simples é cara: tem que ter um cadastro Com reposição Sem reposição Amostra de conglomerados Por cotas Classifica a população em função das propriedades relevantes para o estudo (realizando alguma estimativa), determina a proporção da população a ser pesquisada (divide em cotas) e determina uma cota a cada pesquisador. Ex: IBOPE, Uma ilustração sobre a técnica amostral: 15

16 Seja uma população de tamanho N = 3 com os valores: 1, 2, 3. Essa população tem média = = 2 e variância populacional ² = ()² = 2/3 Vamos selecionar todas as amostras aleatórias simples de tamanho n = 2, com reposição dessa população (teremos (3x3) = 9 amostras): Conclusões importantes: Amostras Média amostral () 1 (1,1) 1 2 (1,2) 1,5 3 (1,3) 2 4 (2,1) 1,5 5 (2,2) 2 6 (2,3) 2,5 7 (3,1) 2 8 (3,2) 2,5 9 (3,3) 3 1. AAS de tamanho n, por definição, é o conjunto de n variáveis aleatórias independentes,,,, cada uma com a mesma distribuição de x. Ou seja, as observações da amostra são variáveis aleatórias. Como depende das observações, logo é também uma v.a. 2. = = = [ ] = = 3. = ² = ² = [ ] = ² = ² ² ² 4. Freq. Gráfico 1 1 1, , *Se tivermos uma amostra com reposição de tamanho grande, obtida de uma população grande também, então, a média da amostra também terá a cara de uma distribuição normal (mesmo que a população não seja normal) aplicação do TLC: (; ). *No caso da amostra ser sem reposição: 1. é uma v.a. 2. = 3. = ² 16

17 4. ; ², pelo TLC. *Tipos de tabela da Dist. Normal (Gráficos) *No caso de uma v.a. a probabilidade é a freqüência relativa. Ex: X P -2 0,4-1 0,3 0 0,2 1 0,07 2 0,03 1 Média =,, = 0,97 = () = () () = = TLC: a convergência de para uma normal é grande, mesmo os dados originais não tendo cara de normal Distribuições derivadas da Normal ~(0,1) = x²~ () Qui-quadrada: = + ~ Gráfico = = 2 Graus de liberdade Esta relação é válida para x 1 e x 2 independentes *Tabela: prob Graus de liberdade 17

18 t de Student ~ (0,1) ~ () = ~ = 0 Para x e y independentes = F de Snedecor ~ () ~ () = ~ (, ) *Tabela: Graus de liberdade do numerador Graus do denominador Ex.: ~(4,10) < < = 0,95 > = 0,025 h = 4,47 < = 0,025 1 > 1 = ( > 1 ) 0,113 < < 4,45 = 0,95 < 1 = 0,975 ~ 10,4, 1 = 8,84 = 0, ~? (; ) Se população for normal Amostra grande e população grande Se a população não é normal e se a amostra for pequena: ~? 2. ² = ( ) ~? 18

19 ² ² ~ () 3. ~? σ² não é conhecido ~( 1) 4. ~? ~ 5. ~? = = =? ( ) ~ / sp é a raiz quadrada da variância ponderada 6. ~? é a dist. Proporção amostral Se ~(, ), 1 = () ~ ; Estimação A partir de agora começamos realmente a falar de estatística De uma maneira muito geral, o que pretendemos fazer é o seguinte: dada uma amostra aleatória de alguma distrivuição com certos parâmetros desconhecidos, como podemos fazer para descobrir alguma coisa sobre eles? 19

20 Normalmente nós sabemos qual a distribuição da amostra no que diz respeito a estes parâmetros desconhecidos e tentaremos obter maneiras de encontrar estimadores ( chutes ) destes parâmetros. Também é preciso que tenhamos uma idéia clara das propriedades desejáveis destes estimadores para sabermos, segundo algum critério, se o estimado encontrado é vom ou ruim. São problemas de estimação, por exemplo: A média µ de uma população A variância ou desvio padrão de uma população A proporção de ítens numa população A diferença de médias de duas populações Como estimar estas quantidades? Alguns estimadores razpáveis nestas situações são: A média amostral A variância amostral ou o desvio padrão amostral A proporção amostral A diferença entre duas médias amostrais Notação:,,,..,,,..,,, Propriedades dos estimadores a) Não tendenciosidade: um estimador é dito não tendencioso de se: = Exemplo: a média da amostrada definida como = = Σ é um estimador não tendencioso da méda da população µ. = = 1 Σ = 1 Σ = Σ[ ] b) Consistência: um estimador é dito consistente de se: = Σ = lim ( < ) = 1, > 0 =! A verificação da consistência de um estimador pode ser feita pela observância das seguintes condições: 20

21 A. lim [] = B. lim [] = 0 Exemplo: A estatística de média de uma amostra é um estimador consistente da média populacional. Verificação: A. lim [] = lim =! ² B. lim [] = lim = 0! c) Eficiência: Dada uma família de estimadores não tendenciosos de, i estimador mais eficiente será aquele que tenha a menor variância, isto é: <, ã é Exemplo: Sejam dois estimadores da média populacional: e, os quais são não tendenciosos: = = A média da amostra é mais eficiente do que a para a estimação da média populacional. Prova: = =, > () é A. Estimação pelo método dos momentos Definição: Seja (,,, ) uma amostra aleatória de X. Chama-se momento ordinário de ordem s da amostra a estatística: = 1 ( ), = 1,2,, O método dos momentos é um dos mais simples métodos de estimação. Este método consiste em igualar os momentos amostrais aos momentos populacionais. Exemplo: Suponha uma amostra aleatória de tamanho n de uma população com distribuição exponencial. 21

22 = ; 0 1º momento da população: 1 1º momento da amostra: Igualando, tem-se: 1 = = = 1/ *Lembre-se que o s-ésimo momento da distribuição é ( ) *Exercícios: Seja ~( ; ) 1º momento populacional: = = 0 1º momento amostral: Σ / = Igualando: 0 =??? Não consegui com o 1º momento, tento com o 2º 2º momento populacional: = = + ()² Como = e = 0 = ² + 0² = º momento amostral:σ / Então: 3 = Σ ² = 3 Σ = 3 Σ ***Quando não lembrar da distribuição: = í Σ 22

23 = ² 1 2 = 3 ~ 0; 1º momento populacional: = 1º momento amostral: Σ / = Igualando: = = 2 = Suponha que foi selecionada uma amostra aleatória de tamanho n=3 com os valores: = 1, = 15, = 2. = Nem sempre é um bom estimador Se ~, dois parâmetros para estimar: e. Vamos utilizar os dois primeiros momentos. 1º momento populacional: 1º momento amostral: Σ = 2º momento populacional: ² + ² = + 2º momento amostral: Σ ² = e ² = Σ ² = ² + ² = Σ ² = Σ * É melhor um estimador consistente tendencoso do que um não tendencioso e não consistente, porque o consistente é, no limite, se a amostra for grande, bom. B. A função de verossimilhança (likelihood function) 23

24 Esta é uma função relativamente simples com um nome indigesto! Likelihood em inglês é uma palavra de uso corrente que indica plausibilidade. Ao contrário, verossimilhança em português não significa nada. Seja,,, uma amostra aleatória de densidade (), a função de verossimilhança é a densidade conjunta escrita como função do parâmtero Θ. Θ =,,, = (, Θ) A partir da verossimilhança podemos encontrar um estimador, o estimador de máxima verossimilhança (MLE). O MLE é obtido a partir da maximização da verossimilhança, geralmente feita através da equação: (Θ) Θ = 0 Note que é equivalente maximizar (Θ) ou o seu logaritmo natural ln (Θ). Esta última função é chamada log verossimilhança e é frequentemente mais fácil de maximizar do que (Θ). A equivalência da maximização de (Θ) e ln (Θ) decorre do fato de (Θ) ser sempre 0 (pois é produto de densidades) e do logaritmo ser uma função bijetora. Por que maximizar a verossimilhança? Suponha uma amostra aleatória de uma densidade qualquer que é completamente conhecida, exceto pelo parâmetro Θ. Ao observarmos = ; = ; ; =, a densidade conjunta dos é completamente espcificada, exceto pelo valor de Θ. Então porque não chutar para Θ o valor que torna esta função um máximo? Num certo sentido esse chute para Θ é o valor que mais concorda com os dados que observamos. Exemplo: Suponha que obtemos uma amostra aleatória de tamanho 5 de densidade Poisson com média Θ. Os valores observados são: x 1 =6, x 2 =1, x 3 =2, x 4 =1, x 5 =0. Determine o estimador de máxima verossimilhança (EMV) de Θ e forneça uma estimativa para Θ. Θ = = Θ = Θ Θ Θ = Θ Θ = 5Θ + Σ Θ ln ( ) 24

25 (Θ) Θ Θ = Σ 5 Θ = = 5 + Σ Θ 0 = 0 = = 2 Exemplo: Seja (x 1, x 2,..., x n ) uma amostra aleatória iid de tamenho n extraída de uma população com distribuição normal (µ, σ²). Encontre o EMV de µ e de σ²., = () = 1 ()² 2 ², = 2 ln2 1 2 Σ( )² (, ) = 1 Σ = 0 (, ) = ² Σ = 0 1 ()² 2 ² = = 1 Σ ² = 1 Σ( )² Princípio da invariância de um estimador de máxima verossimilhança. Seja (x 1, x 2,..., x n ) uma A.A. da densidade (, Θ) e (Θ) a função de verossimilhança. Seja Θ o estimador de máxima verossimilhança de Θ e suponha que queremos encontrar o MLE para (Θ), sendo. uma função injetora conhecida. Então o estimador de máxima verossimilhança para (Θ) é (Θ), sendo Θ estimador de máxima verossimilhança de Θ. Exemplo: Obtenha o EMV do parâmetro P da V.A. geométrica a seguir e o da função: : 1 = Se ~, = = (1 ), = 1,2,3 = 1 1 = 25

26 ln () ln = ln + 2 ln1 = 1 1 Σ = 0 Σ 1 = 0 Σ + = 0 Σ = 0 = Σ = 1 = 1 Logo: = 1 = 1 1 Se eu quiser o estimador de, onde = (1 ) não preciso derivar tudo novamente em relação a (1 )! Exemplo: Seja Y 1, Y 2,..., Y n uma amostra aleatória iid, de tamanho n, extraída de uma população com distribuição uniforme [0; Θ]. Determine o EMV de Θ. 1 = Θ, 0 < < Θ 0, Θ = 1 Θ 1 Θ = 1 Θ Θ é maximizado quando Θ for o menor valor possível. (max,,, ; ) Valores possíveis Θ = max (,,, ) *Valor esperado de um máximo: E(máx) max,,, = max,,, = max,,, = ( ) = 1 Θ = Θ.. Θ = Θ 1 Θ = Θ = Θ = + 1 Θ 26

27 Estimação por intervalo *Estimação da média da população (µ) (Crio um intervalo para µ de modo a não ultrapassar um certo erro) Seja o erro cometido na estimação da média da população = ε. Então a probabilidade de que esse erro não ultrapasse um dado é: < = 1 Isto resulta em um intervalo com (1-α)% de confiança. 1º caso: Sabemos que, ~ (0, ). Então: < = 1 = 1 = 1 = 1 = 1 + = 1 + = 1 Ou seja: um intervalo de (1-α)% de confiança para µ é: ± Repare que o erro amostral está na mesma unidade de medida da amostra. Repare que esse intervalo só pode ser calculado se σ é conhecido, o que nem sempre é verdade. * Intervalo de confiança de 90%: tenho 100% de certeza de que se eu tirar todas as amostras, em 90% delas a µ vai estar dentro do intervalo. Confiança z 90% 1,645 27

28 95% 1,96 99% 2,575 mais preciso, a confiança deve ser menor! À medida que a confiança aumenta, o z aumenta. Para ser 2º caso: Se eu não conheço σ da população substituo pelo desvio padrão da amostra (s): Antes Depois = 1 Sendo que ~ () O intervalo de (1-α)% de confiança para µ será, então: * Obs: = ~(,) ~ ± = = = 0,1 / Sei que Exemplo: ² ~ ( 1) Sejam,,, uma amostra aleatória. Dado que = 3,23, = 1,17 e = 1,1, construa um intervalo de confiança para µ (Repare que se tenho σ é preferível usá-lo!) 28

29 ± Se σ não fosse conhecido: ± Conheço o σ. Utilizando 99% de confiança (2,575): = 3,23 ± 1,1 10 3,23 ± () = 2,575 1,1 10 = 0,896 Determine n para que com 99% de confiança o erro amostral seja no máximo 0,5:, 1,1 0,5 2,575 0,5 32,1 33 * Para a variância da população (σ²) Sabemos que ² ² ~.., então temos que determinar 1 = 1 e tal que: Logo: (Gráfico) Pivô = = = 1 Limite inferior Limite superior * Para a proporção da população (π) Sabemos que se: = nº de sucessos; ~ ; ; (; 1 ) 29

30 Então, 1 ; Seja P a proporção amostral, então: = Devemos determinar z, tal que: 1 ; e 1 (0,1) 1 = 1 Logo: 1 1 = = = = 1 Um intervalo de confiança para π seria: 1 ± Como π não é conhecido: 1 ± Sendo π a proporção da população e P a proporção da amostra. * Testes de Hipóteses 30

31 Hipóteses: Para realizar um teste de hipóteses partiremos sempre da premissa de que uma delas é verdadeira. Essas hipóteses são mutuamente exclusivas e exaustivas. A hipótese que iremos considerar verdadeira é chamada de hipótese nula (H 0 ) e, a hipótese que a ela se contrapõe é denominada de hipótese alternativa (H 1 ). Exemplo: Erros de 1ª e 2ª espécie : o réu é inocente : o réu é culpado Erro tipo 1: consiste em rejeitar H 0 quando H 0 é verdadeiro. No nosso exemplo esse seria o erro cometido de rejeitar que o réu é inocente e culpá-lo quando na verdade é inocente. Erro tipo 2: consiste em aceitar H 0 quando H 0 é falso. No nosso exemplo esse seria o erro cometido em aceitar que o réu é inocente quando na verdade ele é culpado. Perceba que o Erro Tipo 1 é mais importante para ser controlado. Seja α a probabilidade de cometermos um erro do tipo 1. Essa probabilidade é o nível de significância do teste. O nível de confiança de um teste é, portanto, igual a (1-α). A probabilidade de cometermos erro do tipo 2 é designado por β e a decisão correta de rejeitar H 0 quando ela for de fato falsa é igual a (1-β) e é chamado de potência do teste. Resumindo: Decisão H 0 Aceitar H 0 Rejeitar H 0 OK! Erro tipo 1 Verdadeira 1 α α Nível de confiança Nível de significância Erro tipo 2 OK! Falsa Β 1 β Potência do teste Principais tipos de testes (Gráficos) A. Teste Bilateral : = :, ou seja, para rejeitar tanto faz ser maior ou menor que o valor 31

32 B. Unilateral Inferior : = : < C. Unilateral Superior : = : > Teste para a média da população - µ Exemplo: A experiência de muitos anos de observação estabeleceu uma média de 160 dias para o tratamento de uma certa doença com uma dispersão de 13 dias. Um hospital garantia possuir um tratamento mais eficaz sem alteração da dispersão. Foi retirada uma amostra de 100 pacientes portadores dessa doença. Nessa amostra aconstatou-se que o período médio de cura era igual a 150 dias. Utilizando 10% de significância, que conclusão podemos tirar? 1º Passo: Formulação das hipóteses : = :, um teste unilateral pois só nos interessa saber se o tempo de cura é de fato menor 2º Passo: Definir a estatística de teste Vamos utilizar a média amostral para estimar a média populacional µ. Sabemos que a estatística a seguir é Normal (0,1): / ~(0,1) E em considerando H 0 como verdadeiro teremos: 160 3º Passo: Substituindo pelos valores amostrais que temos: = / 150 =

33 4º Passo: Determinar a região crítica Olhando na tabela = -1,28 (Gráfico) 5º Passo: Decisão Como Z calculado = -7,69 é menor que o valor crítico (Z tabela =-1,28), rejeitamos H 0 com nível de significância de 10% Poder de um teste Quando construímos um teste de hipóteses, o erro do tipo I, isto é, a probabilidade de rejeitar H o quando H 0 é verdadeiro, α é fixada. Fixamos o valor de α e então construímos a região de rejeição de H 0 desse modo: é } = Isso é possível pois quando admitimos que H 0 é verdadeira estamos também admitindo que os parâmetros que definem a distribuição da estatística usada na condução do teste são conhecidas e iguais a H 0. Lembre-se que a igualdade ocorre sempre na definição da hipótese nula independente do tipo de teste considerado, seja ele unilateral ou bilateral. A dificuldade de calcular o erro do tipo II, β, que é definido como é }, é que, como podemos observar, a hipótese alternativa especifica um conjunto de valores para o parâmetro: Θ > Θ ; Θ < Θ Θ Θ Logo, β = probabilidade do erro tipo II, só pode ser calculado se um valor alternativo para Θ for especificado. Desse modo: Θ = { Θ = Θ } Definição: Poder ou potência do teste é a probabilidade de rejeitar H 0 dado um valor qualquer de Θ. Θ = Θ = 1 (Θ) O que seria ideal? Seria ideal que a função potência de um teste fosse: GRÁFICO Na prática a função potência tem a seguinte forma: GRÁFICO 33

34 Exemplo: Uma máquina produz ovos com diâmetro que segue uma distribuição normal com média µ e variância igual a 100mm². A máquina foi regulada para µ=92mm. Seleciona-se uma amostra de 25 ovos e verifica-se que a média amostral,, é igual a 90mm. Teste se a produção está sob controle. 1º Passo: Definição das hipóteses: : = 92 : 92 2º Passo: escolha da estatística do teste: Vamos utilizar para estimar µ: 92 ~ 0,1 3º Passo: Incluindo os dados do problema: = = 1 4º Passo: Escolhendo α e construindo a região crítica. Fixando α = 1% GRÁFICO Z tabela = ±2,575 5º Passo: Crítica de decisão: Como Z calculado = -1, não podemos rejeitar H 0! * Cálculo do poder do teste: Θ = Θ), para, por exemplo, um Θ 0 = Θ = Θ) = < 2,58 > 2,58 Θ = < 86,84 > 97,16 Θ = 95) = 95 86, ,16 95 = < + > < 4,08 + > 1,08 = 0, ,1401 =, GRÁFICO 34

35 Pvalor = P(Z<-1) = 0,1587 para a normal é fácil calcular Pvalor 15%, no exemplo, como é bilateral: Pvalor = 30% GRÁFICO Teste para a média da população Caso em que σ² não é conhecido Implementação do Teste: 1º Passo: definição das hipóteses : = : : = : > () : = : < GRÁFICOS 2º Passo: Definição da estatística de teste. Vamos utilizar para estimar µ. Sabemos que: ~ (0; 1), mas σ² não é conhecido, logo: Supondo H 0 como verdadeiro, temos: 3º Passo: Introduzindo os dados do problema: = ~. 4º Passo: Determinação do nível de significância de α e construção da região crítica: 5º Passo: Decisão se t calculado encontra-se na região de rejeição, rejeite H 0 Teste para a proporção populacional (π) 35

36 1º Passo: definição das hipóteses : = : : = : > () : = : < 2º Passo: Definição da estatística de teste. Vamos utilizar a proporção amostral O para estimar a proporção populacional π: (1 ) ~ 0,1 ~, 1 Supondo H 0 como verdadeiro temos: (1 ) GRÁFICOS 3º Passo: Introduzindo os dados do problema: = (1 ) 4º Passo: Determinação do nível de significância de α e construção da região crítica: 5º Passo: Decisão idem teste anterior Teste para a variância da população 1º Passo: definição das hipóteses : ² = : ² : ² = : ² > () : ² = : ² < 2º Passo: Definição da estatística de teste. Vamos utilizar s² para estimar σ². Sabemos que: 1 ² ~ () 36

37 Supondo H 0 como verdadeiro temos: 1 ² 3º Passo: Introduzindo os dados do problema: 1 ² = ² 4º Passo: Determinação do nível de significância de α e construção da região crítica: GRÁFICOS 5º Passo: Decisão Se Z² calculado encontra-sena região de rejeição, rejeite H 0 Acabamos aqui a inferência para 1 população. Teste para igualdade entre duas variâncias populacionais 1º Passo: definição das hipóteses : = : : = : > () : = : < 2º Passo: Definição da estatística de teste. Vamos utilizar as variâncias amostrais s 1 2 e s 2 2 oara estimar as variâncias populacionais σ 1 2 e σ 2 2. Sabemos que: = 1 ~ () e = 1 Logo: = Supondo H 0 como verdadeiro temos: 1 1 = 3º Passo: Introduzindo os dados do problema: 37

38 = 4º Passo: Determinação do nível de significância de α e construção da região crítica: GRÁFICOS 5º Passo: Decisão Se F calculado encontra-sena região de rejeição, rejeite H 0. Teste para igualdade duas médias populacionais independentes (µ 1 - µ 2 ) a) Caso em que σ 1 2 e σ 2 2 são conhecidas 1º Passo: definição das hipóteses : = 0 : 0 : = 0 : > 0 () : = 0 : < 0 2º Passo: Definição da estatística de teste. Vamos utilizar ( ) para estimar (µ 1 - µ 2 ). Logo: ~, + Então: = = = + = + ( ) + ~ (0,1) Supondo H 0 como verdadeiro temos: + 3º Passo: Introduzindo os dados do problema: 38

39 = + 4º Passo: Determinação do nível de significância de α e construção da região crítica: GRÁFICOS 5º Passo: Decisão Se Z calculado encontra-sena região de rejeição, rejeite H 0. b) Caso em que σ 1 2 e σ 2 2 não são conhecidas. b1. σ 1 2 = σ 2 2 (variâncias desconhecidas mas iguais) 1º Passo: Definição das hipóteses: : = 0 : 0 : = 0 : > 0 () : = 0 : < 0 2º Passo: Definição da estatística de teste. Vamos utilizar ( ) para estimar (µ 1 - µ 2 ). ~, + Como σ 1 2 e σ 2 2 são desconhecidas e o teste de igualdade de variância foi realizado e as variâncias foram consideradas iguais, podemos calcular: ² = ( + 2) â Nesse caso seja: = ( ) + ~ 0,1 e = ( + 2)² ² ~ ( ) Então: = = + 2 ( ) ( + 2)² ²( + 2) = ( ) = 39

40 = ( ) ~ ( ) Supondo H 0 como verdadeiro temos: = º Passo: Introduzindo os dados do problema: = º e 5º Passos: Iguais aos anteriores (Def. do nível de significância e região crítica e Decisão). b2. σ 1 2 σ 2 2 (variâncias desconhecidas mas diferentes) 1º Passo: Definição das hipóteses: : = 0 : 0 : = 0 : > 0 () : = 0 : < 0 2º Passo: Definição da estatística de teste. Vamos utilizar ( ) para estimar (µ 1 - µ 2 ). ~, + Como σ 1 2 e σ 2 2 são desconhecidas e o teste de igualdade de variância foi realizado e as variâncias não foram consideradas iguais, podemos calcular: ² = ( + 2) â Nesse caso seja: ( ) + h(1937) = + ( 1) + ( 1) = = 40

41 É claro que o nº de graus de liberdade deve ser arredondado. Supondo H 0 como verdadeiro temos: + 3º, 4º e 5º Passos: Iguais aos anteriores (Introduzir os dados, def. o nível de significância e região crítica e Decisão). Exercício P. 365 (Bussab), adaptação: Uma fábrica de embalagens está estudando dois processos para combate à corrosão de suas latas especiais. Para verificar o efeito do tratamento, foram utilizadas amostras aleatórias cujos resultados estão no quadro abaixo (em % de corrosão eliminada). Qual é a conclusão sobre os dois tratamentos? (A) Método Tamanho da Amostra Média Variância A B E também: (B) Método Tamanho da Amostra Média Variância A 21 21,15 0,0412 B 12 21,12 0,1734 * 1ª Parte (A) Trata-se de duas populações distintas. Iremos aplicar o teste para verificar se µ 1 = µ 2. Antes porém, como as variâncias populacionais σ 1 ² e σ 2 ² não são conhecidas, precisamos testar se σ 1 ² = σ 2 ². Teste das variâncias 1º Passo: Definir as hipóteses: : / = 1 : / 1 41

42 2º Passo: Definir a estatística de teste. Para isso usaremos s A 2 e s B 2 para estimar σ 1 ² e σ 2 ². Sabemos que: Se H 0 for verdadeira: = = ~, 3º Passo: Introduzir os dados do problema: = 10 = 0, º Passo: Definir o nível de significância e construir a região crítica. Assumindo um α = 5%, a hipótese nula não é rejeitada se 0,31 < F Calculado < 3,33 Gráfico 1, = 1 3,15 = 0,31 5º Passo: Conclusão. Não rejeito H 0 ou seja, utilizando 5% de significância, posso considerar as duas variâncias iguais. Teste para a entre médias 1º Passo: Definir as hipóteses: : = : 2º Passo: Definir as estatísticas de teste e supor H 0 verdadeiro. Vamos utilizar e para estimar µ A e µ B. Como as variâncias podem ser consideradas iguais eu posso calcular: 42

43 ² = ( + 2) E então: = = 155 ( ) ~ Supondo H 0 verdadeiro: º Passo: Dados do problema: = , = 0,83 4º Passo: Com α = 5%, não rejeito H 0 se -2,06 < t calculado < 2,06 5º Passo: Conclusão Não rejeito a hipótese das médias serem iguais ao nível de significância de 5%. * 2ª Parte (B) Trata-se de duas populações distintas. Iremos aplicar o teste para verificar se µ 1 = µ 2. Antes porém, como as variâncias populacionais σ 1 ² e σ 2 ² não são conhecidas, precisamos testar se σ 1 ² = σ 2 ². Teste das variâncias 1º Passo: Definir as hipóteses: : / = 1 : / 1 2º Passo: Definir a estatística de teste. Para isso usaremos s A 2 e s B 2 para estimar σ 1 ² e σ 2 ². Sabemos que: = = 43

44 Se H 0 for verdadeira: ~, 3º Passo: Introduzir os dados do problema: = 0,0412 0,1734 = 0,2376 4º Passo: Definir o nível de significância e construir a região crítica. Assumindo um α = 5%, a hipótese nula não é rejeitada se 0,389 < F Calculado < 2,68 Gráfico 1 = 1, 2,57 = 0,389 5º Passo: Conclusão. Rejeito H 0 ou seja, utilizando 5% de significância, não posso considerar as duas variâncias iguais. Teste para a entre médias 1º Passo: Definir as hipóteses: : = : 2º Passo: Definir as estatísticas de teste e supor H 0 verdadeiro. Vamos utilizar e para estimar µ A e µ B. ( ) + ~ ( ) ( ) ; = = = 14, Supondo H 0 verdadeiro: 44

45 + 3º Passo: Dados do problema = 21,15 21,12 0, , = 0,272 4º Passo: Considerando um α = 5%, não rejeitamos H 0 se -2,131 < t Calculado < 2,131 5º Passo: Conclusão. Não rejeito H 0 utilizando α = 5%. * No mesmo exercício: quer ver antes e depois da aplicação do produto para corrosão (uso dif. De média) Embalagens Antes Depois Variação Trabalho com uma população ao invés de 2! = 5, ² = 3,5 1º Passo: 2º Passo: Vou utilizar para estimar µ : = 0 : 0 45

46 Supondo H 0 como verdadeiro: 3º Passo: Dados: 5 3,5 5 ~ = 5,98 4º Passo: Considerando α = 5%, não rejeito H 0 se -2,776 < t Calculado < 2,776 5º Passo: Conclusão. Rejeito H 0 a um α = 5%. Parte III Números Índice Para que servem? Para comparar grandezas em épocas diversas. Como calcular? As técnicas de cálculo serão apresentadas em seguida. Preço relativo é a relação dos preços de um determinado período com os preços de um período denominado Período-Base. Índice de preços relativos = Fica livre da unidade de medida Onde: p it = preço relativo do produto i no período t p io = preço relativo do produto i no período o ou base Em geral os índices são apresentados multiplicados por 100: = 100 O período de comparação é a base do número índice e deve estar sempre em destaque: 46

47 Exemplo: Ano Produto 1 Produto 2 Preço Quantidade Preço Quantidade O índice de preços relativos dos dois produtos, de 2002 a 2005, tomando o ano de 2004 como base é: Ano Produto 1 Produto ,7 = 12/18 * ,3 = 15/18 * = 18/18 * ,3 = 24/18 * Aumento de 33,3% nos preços em relação a 2004 Repare que o índice relativo ao ano base é igual a 100 Quantidade Relativa. = 100 análogo ao índice de preço relativo Agregação dos Índices I. Índice símples de preços relativos ou Índice de Bradstreet = No exemplo anterior, com o ano 2004 como base: 100 Ano Índice Simpes de preços relativos 2002 (12 + 5)/( ) *100 = 44, ( )/( ) * 100 = 65, ( )/( ) * 100 = ( )/( ) * 100 = 142,11 = 100 (A parte marcada funciona como um ponderador) 47

48 II. A média aritimética dos Relativos No exemplo anterior, com o ano 2004 como base: Ano Média aritmética dos índices de preços relativos 2002 (66,7 + 25)/2 = 45, (83,3 + 50)/2 = 66, ( )/2 = (133, )/2 = 141,67 Dá a mesma importância aos dois produtos Como aprimorar o cálculo do Índice de Preços Simples? Incorporanto a informação de quantidade: III. O Índice de Preços de Laspeyres = 100 = 100 Repare que: - O peso está em destaque na primeira equação. Assim, o índice de preços de Laspeyres é definido como a média aritmética dos preços relativos ponderados pela participação do produto na despesa no período base. - O numerador é o valor da cesta de produtos se fossem adquiridas as mesmas quantidades do ano base (o) com os preços praticados no ano t. - O denominador é o valor da cesta de produtos no ano base (o). - Tendência de sobreestimar a alta de preços. No exemplo anterior, com ano base em 2004: Ano Índice de Preço de Laspeyres 2002 I 02 =( )/ ( ) *100 = I 03 =( )/ ( ) *100 = I 04 =( )/ ( ) *100 = I 05 =( )/ ( ) *100 = 144 I 05 = 144 indica que o valor das quantidades aumentou 44% como resultado do aumento de preços entre 2004 e

49 IV. Índice de Preços de Paasche = = 100 = O peso está em destaque na primeira equação. Assim, o índice de preços de Paasche é definido como a média aritmética dos preços relativos ponderados pela participação do valor da do produto, se fosse adquirido a mesma quantidade do ano t com o preço praticado no ano base (o), no valor total da cesta de produtos, avaliados nas quantidades do ano t e preço do ano base (o). - Outra forma de interpretação é a dada na segunda equação: Consiste na média harmônica do preços relativos ponderada pela participação do produto na despesa no período atual (peso destacado). - Pesos variam a cada período, onerando a pesquisa. Por isso, muitas vezes utiliza-se apenas o Laspeyres pois só precisa-se pesquisar o preço no período. - Assim, por exemplo, o IPC é calculado usando Laspeyres. - Tendência de subestimar a alta de preços. No exemplo anterior, com ano base em 2004 Ano Índice de Preço de Paasche 2002 I 02 =( )/ ( ) *100 =36, I 03 =( )/ ( ) *100 =59, I 04 =( )/ ( ) *100 = I 05 =( )/ ( ) *100 =142,74 49

50 V. Índice de Preço de Fisher ç = ç ç - Como o L superestima e o P subestima, o índice de Fischer usa ambos,sendo obtido através de uma média geométrica. Índice de Quantidade: Troca P por Q e vice versa (mede a variação real (do crescimento/volume econômico) na economia) Índice de Valor (P * Q = Valor): mede a variação nominal de uma economia. = 100 No exemplo anterior, para o ano de 2005, considerando o ano de 2004 como base, seria: = 141, Mas nem sempre I p * I Q = I V. Para os relativos individuais: Já para os agregados... Vamos utilizar o índice de Paasche: =! Índ. Preç. Paasc. Índ.Preç. Lasp. - Esperava-se que a multiplicação de um índice de preços por um de quantidade seja igual a um índice de valor. Mas isso não ocorre no caso de Laspeyres nem de Paasche. No entanto, I q P * I P L = I V Igualmente vale: I p P * I q L = I V = Ex.: Qual a variação real do crescimento ecônomico (no ano de 2005)?! 50

51 I q L = I V /I p P = / = %. * Índice de quantidade = índice de volume = variação real da economia * Índice de valor = variação nominal da economia Valor corrente ou nominal ano o I quantidade ou I volume Valor cte ou Preços do ano o I preços Valor Corrente ano t , , Variação real Preço ou Deflator da inflação Propriedades Desejáveis dos Números Índices I. Identidade, = 100 O número índice deve ser igual a 100 quando o período considerado for igual ao período base, isto é, quando t = o. II. Reversibilidade no tempo (não é satisfeito por Laspeyres e Paasche), = 1, Esta propriedade equivale à afirmação de que se houver um acréscimo de 25% entre os períodos r e s, haverá uma queda de 20% entre os períodos s e r. III. Circularidade ou encadeamento (não satisfeito por Laspeyres, Paasche e Fisher), =,,, Esta propriedade equivale à afirmação de que se houve um acréscimo de preços ou quantidades nas épocas intermediárias, o acréscimo de todo o período é obtido multiplicandose os acréscimos intermediários. IV. Decomposição das causas 51

52 , =,, Esta propriedade equivale à afirmação de que se os valores aumentarem 56% e se a variação de preços revelar um acréscimo de 30%, o nº índice de quantidade deverá acusar um acréscimo de 20%. Propriedade Relativos Laspeyres Paasche Fisher Laspeyres Modificado I S S S S S II S N N S S III S N N N S IV S N N S N Índice de Laspeyres modificado (usado no cálculo do IPCA) * Laspeyres não satisfaz a propriedade III, o que é inconveniente. Usa-se, portanto: = No nosso exemplo, tomando 2004 como base 100 Ano , , Índice de Preço de Laspeyres Modificado Mudança de Base Ano Base = = 100 (100/120)*100 (104/120)*100 (97/120)*100 (112/120)*100 = 83,33 = 86,67 = 80,83 = 93,