Lecture Notes Estatística. Rodrigo Leandro de Moura. 1ª versão: 10/08/2010

Transcrição

1 Lecture Notes Estatística Rodrigo Leandro de Moura 1ª versão: 10/08/2010 Parte I Análise de dados Estatística descritiva 1. Definições 1.1. População É o conjunto de todos os elementos (unidades observacionais) que constituem a abrangência do estudo. Exemplo: Conjunto dos 5564 municípios brasileiros Conjunto de todos os alunos de uma turma Conjunto de todos os discursos do Lula 1.2. Amostra Mais barata e mais rápida que o censo. É um subconjunto da população. (AAS = Amostra aleatória simples) Amostra Propabilística Não probabilística AAS com reposição AAS sem reposição Conglomerados Outras Cotas Exemplo: Conjunto de municípios da região sudeste Unidade observacional É a portadora da(s) característica(s) (ou propriedade(s)) que se deseja investigar. Exemplo: Um município Aluno de uma sala Discurso do Lula 1.4. É a apresentação simbólica da característica ou propriedade que se deseja investigar. Exemplo: 1

2 d3 = Nunca antes na história desse país... (traço característico da unidade observacional) Sexo Variável qualitativa X Nº de irmãos Variável quantitativa Grau de escolaridade do pai Qualitativa (mas pode ser transformada em quantitativa (anos de estudo)) 1.5. Medidas estatísticas Parâmetros da população Estatísticas amostrais Distribuição de frequência Gráficos Permitem reduzir os dados. Exemplo: 1.6. Inferência É o processo de generalizar na população os resultados obtidos em uma amostra. Exemplo: 2. Níveis de mensuração A classificação de escalas métricas não é única. Diferentes autores classificam os fenômenos de modo diferente. Stevens (1946) define quatro níves de mensuração: Nominal Ordinal Intervalar Razão 2.1. Escala nominal É a escala de medidas com nível mais baixo de mensuração obtida quando as variáveis são utilizadas simplesmente para classificar. Neste caso os valores assumidos pelas variáveis são meramente rótulos. Exemplo: Estado civil, sexo Escala ordinal Quando as categorias de uma variável nominal podem ser ordenados, isto é, permitem uma relação do tipo maior que ou menor que. Exemplo 2

3 Escolaridade Freq. Absoluta Freq. Relativa 1º Grau 2º Grau Podemos usar como estatística a mediana e moda Escala intervalar Freq. Acumulada Absoluta Freq. Acumulada relativa Quando os fenômenos são representados por variáveis que assumem valores num contínnuo, como o conjunto dos nº racionais, dizemos que essas variáveis são quantitativas e a descrição dos dados se torna mais informativa. Uma possível classificação para essas variáveis pode ser feita em função do tipo de valores que elas podem assumir: discretos ou contínuos. Esta escala incorpora todas as propriedades das escalas ordinal e nominal e, além disso, ela especifica uma correspondência 1 1 entre os elementos do domínio observável e o conjunto dos números reais, permitindo assim que a distância entre as observações tenha um significado código. Nesta escala, como a origem (zero) e a unidade de medida são indeterminadas, pode-se proceder a uma mudança da escala, isto é, mudar a origem e a unidade, através de uma transformação linear do tipo y = ax + b, cujos a e b são conhecidos. Assim, podemos distinguir entre uma medida que é igual, diferente, maior e quanto maior do que a outra. Exemplo: 0 o F origem, unidade: 1 o F Fazendo uma transformação linear do tipo y=(5/9)*(x-32) transformamos o F em o C. No entanto, a origem não se mantém fixa. Podemos usar como estatísticas a média, mediana e moda Escala de razão Esta escala representa o nível mais rico de mensuração que se pode obter na busca do conhecimento de um objeto. Além de incorporar todas as propriedades da escala intervalar, esta escala ainda permite que se estabeleçam relações de razão e proporção entre os valores observados de suas variáveis. Isso é possível pela existência de uma origem fixa, ou zero absoluto, e pela existência de uma unidade de medida. Grande parte das medidas físicas (comprimento, peso, etc.) e demográficas (idade, taxas de crescimento, natalidade, mortalidade, etc.) são representadas através de variáveis com níveis de mensuração expressas na escala de razão. Assim, podemos distinguar entre uma medida que é igual, diferente, maior, quanto maior e quantas vezes maior do que outra. Exemplo: altura. Origem: 0cm. Unidade: 1 cm. 3

4 Assim, um indivíduo com 190 cm é 2x mais alto do que um com 95 cm. Mesmo se usarmos 1 m como unidade esta relação continua valendo pois 1.9m=2x0. 95m. Ou seja, a estrutura da escala razão não é alterada por transformações da forma y=cx, c>0. Podemos usar as mesmas estatísticas na escala razão e intervalar: média, mediana e moda. 3. Análise exploratória de dados Objetivo: resumir dados para análise Distribuição de frequência Simples Aplicada a dados qualitativos e quantitativos. Exemplo: Construa uma distribuição de frequência com os dados números de irmãos: 2;2;3;1;1;1;1;1;2;2;3;1;1;1;0;2;2;1;1;3;1;1;1;1 Nº de irmãos Freq. Absoluta Freq. Relativa Freq. Acumulada Freq. Rel. Acum /24 1 1/ / / / / / /24 Total *Frequência acumulada: Só vale para dados quantitativos (não tem como acumular sexo, por exemplo) Classes Aplicada a dados quantitativos Renda (em s.m.) Freq. Absoluta [1;3[ 5 [3;5[ 10 [5;7[ 4 [7;9[ 1 Total Medidas estatísticas Medidas de posição 4

5 Média (µ): = - A média terá a mesma unidade de medida dos dados originais. Exemplo dos irmãos: = Ou fazendo pela freq. acumulada: = =1,16ã = =1,16ã Exemplo do salário mínimo: Considerando a média de cada classe de renda como a média da renda naquela classe: = =4,1.. Mediana (Md): é o nº do meio (numa fila por tamanho, por exemplo: pegando o aluno do meio 50% dos alunos é menor que ele e os outros 50% são maiores se o nº de alunos for par, pode-se fazer a média dos dois centrais). A unidade de medida é a mesma dos dados originais. Ex. dos irmãos: Ordenando os dados: 0; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 1; 2; 2; 2; 2; 2; 2; 3; 3; 3. Moda (mo): é a obserbação mais frequente num conjunto de dados: Ex: 2, 0, 1, 3, 5, 1 Mo = 1 Ex: 2, 0, 1, 3, 5 Mo = não existe Ex: 1, 1, 0, 5, 4, 4 Mo = 1 e 4 (bimodal) Média dos elementos das posições 12 e 13 = 1 Exemplo dos irmãos: Nº de irmãos Freq. Absoluta Mo = 14 Exemplo do salário: Renda (em s.m.) Freq. Absoluta [1;3[ 5 [3;5[ 10 [5;7[ 4 [7;9[ 1 Mo = média (3 e 5) = 4 5

6 Medidas de dispersão: não pode ser negtiva Exemplo: Avaliar 4 turmas: Turma A: 1, 3, 5, 7, 9 µ = 5; Md = 5; Mo = Turma B: 3, 4, 5, 6, 7 µ = 5; Md = 5; Mo = Turma C: 3, 5, 7 µ = 5; Md = 5; Mo = Tumar D: 5, 5, 5, 5 µ = 5; Md = 5; Mo = Como escolher a melhor turma? Mede-se por dispersão. Desvio médio: A: ( )/5 = 12/5 Turma mais dispersa B: ( )/5 = 6/5 Está na mesma unidade de medida dos dados originais. C: (2+0+2)/3 = 4/3 D: ( )/4 = dispersão 0 Variância: ²= ( )² A: ( )/5 = 40/5 = 8 B: ( )/5 = 10/5 = 2 Está na mesma unidade de medida dos dados originais elevado ao quadrado. C: ( )/3 = 8/3 D: 0/4 = 0 Desvio padrão: =² É a raíz quadrada da variância e está na mesma medida dos dados originais. 6

7 Coeficiente de variação (cv) = Medida relativa de variação. É adimensional: pode-se comparar Kg com cachos, por exemplo. ** Se os dados forem oriundos de uma amostra, podemos calcular as estatísticas amostrais** Média amostral: = =1 Variância amostral: ²= =1 ( )² 1 Ex.: Considere dois portifólios de aplicações financeiras: um com rentabilidade média de 24% e σ=6% e outro com rentabilidade média de 18% e desvio padrão de 5%. Qual o de menor risco? 1) µ = 0,24 σ = 0,06 cv = % 2) µ = 0,18 σ = 0,05 cv = % O de menor risco é o de menor cv, ou seja, o portifólio 2 Se cv 20%, considere as medidas heterogêneas Se cv 20%, considere as medidas homogêneas Medidas de forma: Assimetria: = ( ) ³ 7

8 α > 0 assimetria positiva ou à direita (µ>md>mo) α < 0 assimetria negativa ou à esquerda (µ<md<mo) α = 0 simétrica (µ=md=mo) Outras medidas descritivas/de análise: Separatrizes: Quartis, decis,..., percentis - Discreta: Ex: 3, 5, 2, 4, 7, 9, 1 Ordenar: 1, 2, 3, 4, 5, 7, 9 1º 2º 3º 4º 5º 6º 7º 1º quartil = Q1 = q(25) ou q(0.25) = 25% das observações estritamente menores que Q1 Dividindo o tamanho amostral por 4: 7/4=1.75 observações devem estar abaixo de q(25). Se fossemos arredondar, teríamos que ter 2 observações abaixo do 1º quartil. Mas, note que isso representa 2/7*100%=28% das observações. Ou seja, q(25)=q(28)? Assim, façamos o seguinte procedimento, que determinará mais precisamente o Q1. 8

9 Determinar a posição do 1º quartil x 25% 75% 1º xº 7º (7-x)= 3(x-1) 7 x = 3x 3 X = 2,5 posição do 1º Q Interpolação: Q1 = 2,5 2, Q =2, º quartil = Q2 = Md = q(50) ou q(0.5) = 50% das observações estritamente menores que Q2 Md = 4 3º quartil = Q3 = = q(75) ou q(0.75) = 75% das observações estritamente menores que Q3 Determinar a posição do 3º quartil y 75% 25% 1º yº 7º (y-1) = 3 (7-y) y = 5,5 posição do 3º Q Interpolação: , Q =5, Q3 = 6 9

10 Uma medida de dispersão alternativa ao desvio-padrão é a distância interquartil, definida como: No exemplo acima, teríamos: d q =Q3-Q1 d q =6-2.5=3.5 - Por Classes Renda (em s.m.) Freq. Absoluta [1;3[ 5 [3;5[ 10 [5;7[ 4 [7;9[ 1 Total 20 Gráfico da Distribuição de Freqüências 1º quartil Pelo gráfico visualizamos claramente que Q1=3 2º quartil Pelo gráfico, notamos que falta 25% para completar 50%. Assim: =50% 25% Md=4 3º Quartil = Q3 10

11 Pelo gráfico visualizamos claramente que Q3=5 (*) Para dados bivariados temos ainda (se a variável for quantitativa): Covariância (Cov) Cov >0 Cov = 0 Cov <0 (,)= ( )( ) Unidade de medida da cov. É o produto das unidades de medida Correlação de Pearson, = (,) 1 1 = 1 é correlação perfeita negativa nos dados 3.3. Análise Gráfica Setor (para variáveis quantitativas e qualitativas) Os dados somam 100% Usado para medir partes de algo Ângulo proporcional às partes Linhas (para variáveis quantitativas) 11

12 Usado para analisar a evolução de uma variável Colunas ou barras Usado para evolução ou partes Histograma: nos dá a forma da distribuição da série/dados. Para isso, precisamos calcular a densidade da freqüência: fi/δi ou ni/ Δi, onde fi=freqüência relativa, ni= freqüência absoluta, Δi=amplitude o i-ésimo intervalo. Com o uso da densidade, podemos considerar para intervalos com amplitudes diferentes. 12

13 Gráfico Box-plot (mais elaborado) * L s = Q3 +1,5 (Q3 Q1) Q3 E s (Extremo superior) = é o maior valor da série que não é maior que o limite superior (L s ) Q2 Se Md/Q2 cortar a caixa no meio a série é simétrica Q1 E i (Extremo inferior) = é o menor valor da série que não é menor que o limite inferior (L i ) * L i = Q1-1,5(Q3 Q1) *: Pontos exteriores. São observações destoantes das demais e podendo ser ou não outliers. Valores adjacentes: valores compreendidos entre o L s e L i. Box plot dá uma idéia da posição (mediana, q1, q3), dispersão (d q ), assimetria (distância entre os quantis e destes em relação aos extremos, ou seja, posição relativa dos quantis), caudas e dados discrepantes da amostra. 13

14 Retomando o exemplo: Ex: 3, 5, 2, 4, 7, 9, 1 Ordenar: 1, 2, 3, 4, 5, 7, 9 1º 2º 3º 4º 5º 6º 7º Q1=2.5, Q2=4,Q3=6 L s = Q3 +1,5 (Q3 Q1)= *3=10 L i = Q1-1,5(Q3 Q1)= *3=-2. E s =9, E i =1 O Box-Plot será: 9 10 Q3 Q2 4 Q Transformação de variáveis (padronização) = 14

15 Parte II Inferência Idéias básicas Dois tipo de levantamento: Censitários vai acabar? Os levantamentos censitários, ou seja, os censos, são realizados quando investigamos toda a população. Por amostragem: Os levantamenos por amostragem são realizados em um subconjunto da população de interesse. *No Brasil há dois levantamentos censitários considerados oficiais: Censo demográfico Censo agropecuário ( não vai acabar? É difícil estavelecer amostras neste caso) População (Censo) Amostra Tempo Leva mais tempo Leva menos tempo Custo Mais custoso Menos custoso Erros alheios à amostragem (mentira/pergunta mal feita) Sim Não Erros amostrais (auto-seleção) Não Sim Foco do nosso estudo: surgem ao coletarmos uma amostra, em vez de pesquisar a população inteira. Tipos de amostragem Probabilísticas: Amostra Aleatória Simples é cara: tem que ter um cadastro Com reposição Sem reposição Amostra de conglomerados Não probabilísticas Por cotas Classifica a população em função das propriedades relevantes para o estudo (realizando alguma estimativa), determina a proporção da população a ser pesquisada (divide em cotas) e determina uma cota a cada pesquisador. Ex: IBOPE, Uma ilustração sobre a técnica amostral: 15

16 Seja uma população de tamanho N = 3 com os valores: 1, 2, 3. Essa população tem média = =2 e variância populacional ²= () () ()² =2/3 Vamos selecionar todas as amostras aleatórias simples de tamanho n = 2, com reposição dessa população (teremos (3x3) = 9 amostras): Conclusões importantes: Amostras Média amostral () 1 (1,1) 1 2 (1,2) 1,5 3 (1,3) 2 4 (2,1) 1,5 5 (2,2) 2 6 (2,3) 2,5 7 (3,1) 2 8 (3,2) 2,5 9 (3,3) 3 1. AAS de tamanho n, por definição, é o conjunto de n variáveis aleatórias independentes,,,, cada uma com a mesma distribuição de x. Ou seja, as observações da amostra são variáveis aleatórias. Como depende das observações, logo é também uma v.a. 2. ()= = = = = 3. ()= ² = ² = = ² = ² ² ² 4. Freq. Gráfico 1 1 1, , *Se tivermos uma amostra com reposição de tamanho grande, obtida de uma população grande também, então, a média da amostra também terá a cara de uma distribuição normal (mesmo que a população não seja normal) aplicação do TLC: (; ). *No caso da amostra ser sem reposição: 1. é uma v.a. 2. ()= 3. ()= ² 16

17 4. ; ², pelo TLC. *Tipos de tabela da Dist. Normal (Gráficos) *No caso de uma v.a. a probabilidade é a freqüência relativa. Ex: X P -2 0,4-1 0,3 0 0,2 1 0,07 2 0,03 1 Média = (,) (,) = 0,97 ()= () ()=( ()) () ()= ()= TLC: a convergência de para uma normal é grande, mesmo os dados originais não tendo cara de normal Distribuições derivadas da Normal ~(0,1) =x²~ () Qui-quadrada: = + ~ () Gráfico ()= ()=2 Graus de liberdade Esta relação é válida para x 1 e x 2 independentes *Tabela: prob Graus de liberdade 17

18 t de Student ~ (0,1) ~ () = ~ ()=0 Para x e y independentes ()= F de Snedecor ~ () ~ () = ~ (,) *Tabela: Graus de liberdade do numerador Graus do denominador Ex.: ~(4,10) (<<)=0,95 (>)=0,025 h =4,47 (<)=0,025 1 >1 =(>1 ) (0,113<<4,45)=0,95 < 1 =0,975 ~ (10,4), 1 =8,84 =0, ~? (; ) Se população for normal Amostra grande e população grande Se a população não é normal e se a amostra for pequena: ~? 2. ² = ( ) ~? 18

19 ()² ² ~ () 3. ~? σ² não é conhecido ~( 1) 4. ~? ~ 5. ~? = = ( )=? ( ) ~ / sp é a raiz quadrada da variância ponderada 6. ~? é a dist. Proporção amostral Se ~(,),(1 ) = ~;() Estimação A partir de agora começamos realmente a falar de estatística De uma maneira muito geral, o que pretendemos fazer é o seguinte: dada uma amostra aleatória de alguma distrivuição com certos parâmetros desconhecidos, como podemos fazer para descobrir alguma coisa sobre eles? 19

20 Normalmente nós sabemos qual a distribuição da amostra no que diz respeito a estes parâmetros desconhecidos e tentaremos obter maneiras de encontrar estimadores ( chutes ) destes parâmetros. Também é preciso que tenhamos uma idéia clara das propriedades desejáveis destes estimadores para sabermos, segundo algum critério, se o estimado encontrado é vom ou ruim. São problemas de estimação, por exemplo: A média µ de uma população A variância ou desvio padrão de uma população A proporção de ítens numa população A diferença de médias de duas populações Como estimar estas quantidades? Alguns estimadores razpáveis nestas situações são: A média amostral A variância amostral ou o desvio padrão amostral A proporção amostral A diferença entre duas médias amostrais Notação:,,,..,,,..,,, Propriedades dos estimadores a) Não tendenciosidade: um estimador é dito não tendencioso de se: = Exemplo: a média da amostrada definida como = = Σ é um estimador não tendencioso da méda da população µ. == 1 Σ = 1 Σ =Σ b) Consistência: um estimador é dito consistente de se: lim ( <)=1, >0 = Σ = =! A verificação da consistência de um estimador pode ser feita pela observância das seguintes condições: 20

21 A. lim = B. lim =0 Exemplo: A estatística de média de uma amostra é um estimador consistente da média populacional. Verificação: A. lim = lim =! ² B. lim = lim =0! c) Eficiência: Dada uma família de estimadores não tendenciosos de, i estimador mais eficiente será aquele que tenha a menor variância, isto é: <, ã é Exemplo: Sejam dois estimadores da média populacional: e, os quais são não tendenciosos: = = A média da amostra é mais eficiente do que a para a estimação da média populacional. Prova: ( )= ()=, ( )>() é 21