Elementos de Estatística Prof. Marcel de Toledo Vieira e Lupércio França Bessegato Departamento de Estatística Universidade Federal de Juiz de Fora Elementos de Estatística,. Introdução Marcel de Toledo Vieira 1
Introdução Deixamos de viver em uma sociedade industrial para vivermos em uma sociedade da informação. Há uma necessidade constante de levantarmos informações sobre preferências, necessidades e comportamentos, por exemplo. O que é uma pesquisa? o Coleta de informações sobre características de interesse de unidades de uma população, usando conceitos, métodos e procedimentos bem definidos; o Compilação dessas informações numa forma resumida útil. 2 Introdução (cont.) Estaremos considerando pesquisas como sistemas para coleta de informações sobre indivíduos (unidades de análise) ou grupos de indivíduos, normalmente com o objetivo de descrever, comparar ou explicar suas características. Exemplos: o Pesquisas em larga escala do IBGE (Censo Demográfico, PNAD, PME, POF, etc.) o Levantamentos conduzidos pelo INEP (Censo da Educação Infantil, SAEB, etc.) o Pesquisas de mercado e de opinião pública (intenção de voto etc) o Estudos epidemiológicos (mortalidade infantil, desnutrição, cobertura vacinal, incidência de doenças, causas de morte etc). 3
Principais tipos: Principais Tipos de Pesquisa o Censos: coleta de informações sobre todas as unidades da população; o Pesquisas por amostragem: coleta de informações sobre uma parte da população. ATENÇÃO! Pesquisas por amostragem podem ser adotadas na obtenção de informações tanto sobre populações humanas como não humanas (animais, produtos, solo, água, moradia, etc). 4 Amostragem População Amostra Amostragem é o método através do qual as unidades amostrais (participantes de pesquisas, por exemplo) são selecionadas. 5
Censo ou Amostragem? o em igualdade de condições o censo produz resultados mais precisos que uma amostra; o dadas restrições orçamentárias, uma amostra pode produzir resultados mais informativos e precisos; o um censo é recomendado quando: a população é pequena, erros amostrais são grandes, informações são baratas, ou há um alto custo de se tomar uma decisão errada; o uma amostra deve ser sempre utilizada quando a população é grande e/ou os custos (tempo e dinheiro) são altos. 6 Vantagens dos Levantamentos por Amostragem o Menor custo; o Maior velocidade; o Permitem o controle da precisão; o Redução da carga de coleta sobre unidades da população. 7
Vantagens dos Levantamentos Amostrais (cont.) O estudo cuidadoso de uma amostra tem maior valor científico do que o estudo superficial da população como um todo. o Exemplo: ao estudarmos o efeito do flúor na prevenção de cáries em crianças, é melhor submeter uma amostra de crianças a exames periódicos minuciosos, do que examinar rapidamente todas as crianças antes e algum tempo após a aplicação. 8 Tipos de Pesquisa Pesquisas de uma ocasião: coleta de informações uma única vez. Pesquisas transversais repetidas: dados são coletados repetidamente ao longo do tempo, com as mesmas variáveis sendo medidas, para diferentes amostras. Maior fonte de dados em estudos longitudinais, sobretudo na área social (educação, economia, demografia, etc). Investigações de mudanças a nível macro. Exemplos: PNAD, SAEB, PISA, European Social Survey, dentre outras. 9
Tipos de Pesquisa (Continuação) Pesquisas transversais retrospectivas: histórias de eventos são registradas pelos respondentes, mas os dados são coletados através de uma pesquisa transversal em uma ocasião. Exemplos: Pesquisas sobre Fecundidade e Família coordenadas pelas Nações Unidas na década de 90 em países da UE. 10 Pesquisas do Tipo Painel Pesquisas longitudinais prospectivas: envolvem obter informações com o decorrer do tempo. o Estudos do tipo painel (fixo): as mesmas e/ou diferentes variáveis são levantadas para os mesmos respondentes ao longo do tempo. Exemplos: Estudo Longitudinal da Geração Escolar 2005 (Geres); British Household Panel Survey; European Community Household Panel; US Panel Study of Income Dynamics. o Painéis rotativos: grupos de unidades amostrais formam painéis que são incluídos, ou excluídos, da amostra, de acordo com algum esquema de rotação. Exemplos: PME; Labour Force Surveys de diversos países. 11
Principais Tipos de Pesquisa (cont.) As pesquisas podem ainda ser classificadas como: - Descritivas: população é observada e então descrita. - Analíticas: utilizadas para formular e verificar hipóteses através da comparação de sub-grupos. 12 Conceitos Adicionais o População alvo: população de interesse da pesquisa. o População amostrada: população da qual foi retirada a amostra. o Amostra: parcela (subconjunto) da população através da qual são estimadas características da população. o Plano amostral: descrição de métodos e medidas para execução da amostragem. 13
Conceitos Adicionais (cont.) o Parâmetro: uma função do conjunto de valores de uma população, ou seja, uma característica desta população. o Estimativa: qualquer valor calculado tendo como base os dados provenientes de uma amostra. o Inferência: processo de inferir uma característica ou propriedade de uma população a partir de uma amostra de tamanho possivelmente reduzido, selecionada de maneira aleatória (probabilística) daquela população. o Viés ou vício: diferença entre o valor esperado e o valor verdadeiro de um parâmetro (este conceito será explorado posteriormente). 14 Planejamento e Seleção da Amostra Passos Fundamentais avaliação dos custos e dos recursos disponíveis definição das unidades amostrais escolha do cadastro a partir do qual a amostra sera selecionada definição do plano amostral cálculo (ou definição) do tamanho da amostra escolha dos melhores estimadores seleção dos elementos da amostra prevenção de erros não amostrais (por exemplo, não resposta) 15
Outros Conceitos a Definir numa Pesquisa por Amostragem o Unidade de referência: unidade de observação ou unidade sobre a qual as informações são obtidas. o Unidade informante: unidade que fornece a informação. o Unidade de análise: unidade à qual a inferência é dirigida. o Unidade de amostragem: unidade sendo selecionada para amostra. o Domínio de Análise: grupo de unidades agregadas para tabulação e análise (subgrupos de interesse). 16 Exemplo: PNAD/IBGE o Unidade(s) de referência: pessoas, dentro de domicílios. o Unidade informante: pessoa adulta, moradora do domicílio. o Unidade(s) de análise: pessoas, famílias, domicílios. o Unidade(s) de amostragem: município, setor, domicílio. 17
Escolha do Cadastro Critérios: o deve incluir todos os elementos da população o todas as unidades devem estar listadas apenas uma vez o não deve incluir unidades que não pertencem à população alvo o deve ser fácil de ser obtido e de ser utilizado para a seleção da amostra (este critério dificilmente é atendido...) 18 Escolha do Cadastro (cont.) Possíveis soluções para problemas - Cadastro incompleto: - Redefinir a população: restringir pesquisa aos sub-grupos e unidades incluídos no cadastro disponível - Combinar cadastros: usar diferentes listas de forma que todos os grupos e elementos sejam incluídos (cuidado com duplicações!) Cadastro com unidades que não pertencem à população alvo: - Selecionar uma amostra com um tamanho maior que o desejado e descartar os elementos inelegíveis. Necessário estimar previamente a proporção de inelegíveis no cadastro de alguma maneira. - Examinar cuidadosamente o cadastro de forma a identificar as unidades elegíveis antes da seleção da amostra. Esta solução é mais eficiente quando a proporção de inelegíveis é muito alta. 19
Escolha do Cadastro (cont.) Exemplos de cadastros para populações específicas: o Listas existentes, tais como de funcionários de uma empresa, estudantes de uma universidade, membros de um sindicato, endereços eletrônicos, sócios de um clube, assinantes de uma revista, clientes de um plano de saúde, empresas registradas no Estado de Minas Gerais etc. o Quando não há um cadastro da população, áreas geográficas com limites bem definidos podem ser consideradas. o Enumeração de unidades pode também ser feita em campo por observadores. 20 Cadastros Importantes no IBGE Cadastro de Empresas: o Dados de empresas e unidades locais; o Alimentado por pesquisas próprias e registros administrativos; o Usado como principal cadastro para pesquisas econômicas; o Atualizado anualmente. Base Operacional Geográfica o Lista de unidades geo-estatísticas: setores, subdistritos, distritos, municípios, micro-regiões, unidades da federação; o Usado no Censo Demográfico e pesquisas domiciliares (PNAD, PME,...); o Usado no Censo Agropecuário. 21
Um Pouco de História... 22 Antigüidade A Estatística se estruturou como conhecimento científico no século XIX, mas já era conhecida e vinha sendo aplicada de maneira elementar desde a Antigüidade. Embora a palavra Estatística ainda não existisse, há indícios de que em 3000 a.c. já se faziam censos na Babilônia, China e Egito. Antigo Egito: devido às inundações do Nilo, eram realizados anualmente trabalhos cadastrais e censitários com o objetivo de registrar a repartição da propriedade e dos bens, para que pudessem ser restituídos após as cheias. 23
Antigüidade (cont.) Registros bíblicos também indicam a realização de censos do povo hebreu; O livro dos Numeros do Velho Testamento começa com uma instrução a Moises: fazer um levantamento dos homens de Israel que estivessem aptos para guerrear. Na Grécia antiga também eram realizados censos demográficos e da propriedade; Império Romano: eram realizados de maneira periódica e sistemática, censos de bens e de pessoas dos povos colonizados, com o objetivo de cobrança de impostos (a palavra censo deriva de censeré que, em latim, significa taxar ). 24 Idades Média e Moderna Século XI (1086): na Inglaterra, o Rei Guilherme, o Conquistador, ordenou que se fizesse um levantamento estatístico, que incluiu informações sobre terras, proprietários, uso da terra, empregados, animais, que serviu de base para o cálculo de impostos (http://en.wikipedia.org/wiki/domesday_book). John Graunt (1620-1674): verdadeiro precursor da Estatística de nossos tempos. A partir de dados demográficos (nascimentos, mortes, casamentos etc) levantados nas paróquias de Londres descobriu, por inferências, relações e leis demográficas que regem o comportamento de populações numerosas. Século XVII: matemáticos italianos e franceses, sobretuto Pierre de Fermat e Blaise Pascal, iniciaram os estudos das probabilidades, tratando de resolver problemas de jogos de azar. 25
Idade Moderna Século XVIII: A teoria dos erros constitui o primeiro ramo da Estatística que pôde constituir-se como estruturação teóricomatemática. Estabelecimento do método dos mínimos quadrados. Adolfo Quetelet (astrônomo belga; 1796-1894): realizou importantes aplicações Estatísticas, sobretuto em questões socias, demográficas e econômicas, além de ciências biológicas e questões climáticas etc. Uso da Estatística como ciência: deram continuidade a este trabalho Francis Galton, Karl Pearson e Ronald A. Fisher, a figura mais importante da Estatística de todos os tempos. 26 Idade Contemporânea Amostragem como Método Científico Os censos e os levantamentos estatísticos por amostragem passaram a ser realizados em todo o mundo, com maior freqüência, a partir do século XIX. O Brasil possui uma história considerável em se tratando de censos demográficos o primeiro foi realizado em 1872. Kiaer (norueguês; 1895; 1897): demonstrou empiricamente que estimativas precisas de totais e médias de populações finitas poderiam ser obtidas a partir de amostras representativas de tamanho reduzido - método representativo. O International Statistical Institute (ISI) reconheceu em 1903 o método representativo como um método científico. 27
Amostragem como Método Científico (cont.) Assim, a partir dos primeiros trinta anos do século XX começaram a ser discutidas, internacionalmente, questões como a representatividade das amostras e inferência estatística. Encontro do International Statistical Institute (ISI) em Roma (1925): Amostragem oficialmente reconhecida como método científico. Principalmente, entre os anos de 1930 e 1950, pode-se verificar grandes avanços no desenvolvimento dos fundamentos da teoria da amostragem moderna. Com Neyman (1934) foram estabelecidas as idéias dos métodos de aleatorização no processo de amostragem e foram introduzidas as idéias de estratificação com alocação ótima, além do uso da seleção com probabilidades desiguais. 28 Amostragem como Método Científico (cont.) Hansen e Hurwitz (1943) e Midzuno (1951) foram responsáveis pela introdução da amostragem em múltiplos estágios e da seleção com probabilidade proporcional à medidas de tamanho. E Horvitz e Thompson (1952), por sua vez, foram responsáveis pela teoria geral da amostragem com probabilidades desiguais e pelos métodos de estimação que consideravam estas características. 29
Algumas Referências Neyman, J. (1934) On the Two Different Aspects of the Representative Method, Journal of the Royal Statistical Society, 97, 558-625. Hansen, M.M. and Hurwitz, W.N. (1943) On the theory of sampling from finite populations. Annals of Mathematical Statistics, 14, 333-362. Midzuno, H. (1951) On the sampling system with probability proportionate to sum of sizes. Ann. Inst. Statist. Math. 2, 99 108. Horvitz, D. G., and D. J. Thompson. (1952) A generalization of sampling without replacement from a finite universe. Journal of the American Statistical Association, 47, 663 685. 30 A Amostragem Hoje... Atualmente estão disponíveis no software R, pacotes para a seleção de amostras considerando os mais diversos métodos de amostragem (pacote sampling) e para a análise de dados amostrais complexos (pacote survey). Ainda, outros programas comerciais já permitem a análise de dados considerando o plano amostral: SUDAAN, Wesvar, SAS PROC SURVEY, Stata, e SPSS Complex Samples,... Assim, não há mais desculpas para se ignorar o plano amostral nas análises! 31
A Amostragem Hoje... (Cont.) Há ainda diversos livros disponíveis: Sobre Amostragem: Em português: Bolfarine e Bussab (2005), Vicente et al. (2001), Silva (2001). Clássicos: Kish (1965); Cochran (1977); Särndal, Swenson, e Wretman (1992);... Mais recentes: Lohr (2009); Fuller (2009);... Sobre Análise de Dados Amostrais Complexos: Em português: Pessoa e Nascimento Silva (1999). Clássicos: Skinner, Holt e Smith (1989); e Chambers e Skinner (2003). Mais recentes: Lumley (2010); e Heeringa et al. (2010). 32 Outras Referências Bolfarine, H; Bussab, W. O. (2005) Elementos de Amostragem. São Paulo, Edgard Blucher. Chambers, R.L. e Skinner, C.J. (2003) Analysis of Survey Data. Chichester: Wiley. Cochran, W. G. (1977) Sampling Techniques. 3ª ed. New York, Wiley. Fuller, W. A. (2009) Sampling Statistics, New York, Wiley. Heeringa, S.G., West, B.T., Berglund, P.A. (2010). Applied Survey Data Analysis. Chapman and Hall, London. Kish, L. (1965) Survey Sampling. New York, Wiley. Lohr, S. L. (2009) Sampling: Design and Analysis, Duxbury Press. Lumley, T. (2010). Complex Surveys: A Guide to Analysis Using R. Wiley. Pessoa, D.G.C. e Silva, P.L.N. (1998) Análise de Dados Amostrais Complexos. São Paulo: Associação Brasileira de Estatística. Särndal, C.-E., Swenson, B. and Wretman, J. (1992) Model Assisted Survey Sampling. New York, Springer. Skinner, C.J., Holt, T. e Smith, T.M.F. (1989) Analysis of Complex Surveys. Chichester: Wiley. Silva, N. N. (2001) Amostragem Probabilística. São Paulo, Edusp. Vicente, P.; Reis, E.; Ferrão, F. (2001) Sondagens: a Amostragem como Factor Decisivo de Qualidade. 2ª ed. Lisboa, Edições Sílabo. 33
Técnicas de Amostragem Definida a população alvo, é preciso estabelecer a técnica de amostragem, ou seja, o procedimento a ser adotado na seleção dos elementos da amostra. O investigador deve acercar-se de cuidados, com o objetivo de obter uma amostra probabilística, ou seja, que de fato, permita inferências para toda a população da melhor maneira possível. Importante: a possibilidade de realização de inferência estatística de forma satisfatória não apenas da metodologia adotada para a seleção da amostra, mas também do tamanho da mesma. 34 Amostragem e Inferência Estatística (Exemplo) 35
Características Desejáveis de uma Amostra Capacidade de generalizar estimativas da amostra para toda a população (inferência); Menor erro amostral possível, dado o custo, tempo e restrições operacionais; Permitir a mensuração da precisão das estimativas. 36 Exemplos de Planos Amostrais Probabilísticos Exemplos: o amostragem aleatória simples (com ou sem reposição) o amostragem estratificada o amostragem sistemática o amostragem por conglomerados o amostragem em múltiplos estágios 37
Planos Amostrais Probabilísticos Prós: permitem que os resultados possam ser generalizados para a população; erros amostrais podem ser mensurados; e seleção aleatória assegura representatividade da amostra. Dificuldade: necessita alguma forma de listagem ou cadastro da população. 38 Amostragem Aleatória Simples (AAS) Quando as unidades podem ser sorteadas mais de uma vez, temos amostragem aleatória simples com reposição (AASC). o Método mais simples, porém o mais importante. o Através de um procedimento aleatório sorteia-se com igual probabilidade 1/N uma unidade da população. o Repete-se o processo anterior m vezes até que sejam obtidas n elementos, onde m n. o Unidades já selecionadas podem ser repetidas na amostra. o Dados amostrais: y 1, y 2,..., y m Resulta em observações de variáveis aleatórias independentes e identicamente distribuidas (IID). 39
AAS (cont.) Caso contrário temos amostragem aleatória simples sem reposição (AASs). Amostra s de tamanho fixado igual a n N. Procedimento de seleção que garante que todas as amostras de tamanho n têm a mesma probabilidade de serem escolhidas. Importante: Este procedimento simples fornece a base para muitos outros esquemas amostrais mais complexos, e as principais ideias de amostragem podem ser com ele desenvolvidas! 40 o AASs: mais intuitivo; AASs versus AASC cada unidade da população pode aparecer apenas uma vez na amostra. AASC: vantagens matemáticas e estatísticas (independência entre as observações); facilidade na determinação das propriedades dos estimadores dos parâmetros; métodos incluídos na maioria dos livros de estatística assumem AASC. Quando o tamanho da população (N) é grande quando comparado ao tamanho da amostra (n), muitos dos resultados obtidos através de AASs são similares aos obtidos por AASC. 41
Amostragem Sistemática (AS) Consideremos uma população com N unidades, ordenadas de 1 a N. Este procedimento amostral consiste em selecionar cada k-ésima unidade de um cadastro, começando de uma partida aleatória (sorteada). o Uma unidade é selecionada aleatoriamente entre as k primeiras. o As unidades seguintes são obtidas a partir da primeira unidade, selecionadas em intervalos de comprimento k. As unidades são selecionadas sem reposição, e têm a mesma probabilidade (1/k) de serem selecionadas. 42 Exemplo Suponha que para uma população específica, N=500 e n=100. Portanto k=5. A população está assim dividida em 100 grupos de 5 elementos. Uma unidade é selecionada aleatoriamente entre as 5 primeiras unidades. Suponha que a unidade 2 tenha sido selecionada. Assim em cada um dos 99 grupos restantes, será selecionada sempre a segunda unidade, completando assim a amostra sistemática de 100 elementos. o Oferece uma alternativa bastante usada à AAS, para selecionar unidades com equiprobabilidade - normalmente sua eficiência (precisão dos estimadores) é semelhante a da AAS. 43
Amostragem Sistemática Este método de amostragem é muito utilizado na prática, mas deve ser aplicado com cautela. o suponha que os elementos de uma população estejam em fila. o não se deve selecionar os primeiros, os últimos, nem mesmo os do meio. o é necessário percorrer toda a fila e escolher, por exemplo, o vigésimo de cada grupo de 20. 44 Características Requer acesso a cadastro tipo lista. Lista pode ser construída ao mesmo tempo que amostra é escolhida. Unidades selecionadas uma de cada vez. Vantagens: o mais fácil de selecionar que AAS; o espalha a amostra mais uniformemente sobre a população; o fácil de estimar os parâmetros da população (exceto variância). Desvantagens: o custo elevado para pesquisar pessoas (amostra espalhada); o complicações para estimar precisão (variância, CV, etc). 45
Amostragem Estratificada Envolve a divisão da população em estratos (mutuamente exclusivos e exaustivos) de acordo com características conhecidas; De cada estrato são selecionadas unidades (normalmente de forma independente); Resulta em sub-grupos geralmente internamente mais homogêneos que a população como um todo, o que proporciona a redução do erro amostral como um todo; Quanto mais homogêneos os sub-grupos maior a eficiência do plano amostral. 46 Vantagens Características o Normalmente produz um aumento da precisão das estimativas; o Permite estimação tanto para a população como um todo quanto para sub-grupos; o Solução de problemas administrativos. Desvantagens (ou dificuldades e desafios) o Requer conhecimento das variáveis de estratificação para todas as unidades do cadastro antes da amostragem; o Requer re-estruturação do cadastro antes da amostragem. 47
Motivos para Estratificar Estratos formam grupos naturais de interesse (por exemplo, regiões geográficas). Estratos formam grupos de interesse substantivo (por exemplo, regiões geográficas, farmácias e lojas de departamentos, redes de ensino, homens e mulheres, etc). Procedimento resulta no espalhamento da amostra sobre toda a população, e com isso permite aumento da eficiência amostral (redução da variância amostral). 48 Amostragem por Conglomerados o A unidade amostral, conglomerado (regiões, estados, municípios, setores, bairros, endereços, domicílios, famílias, escolas, salas de aula etc) contém mais de uma unidade populacional. o Problemas: dentro de um mesmo conglomerado, as unidades tendem a ter valores muito parecidos (alta correlação) no que diz respeito às variáveis pesquisadas; este fenômeno tende a fazer com que planos amostrais deste tipo sejam menos eficientes. o Quanto maior for a correlação intra-conglomerado menor a eficiência do procedimento. o Quanto maior a heterogeneidade dentro dos conglomerados, maior é a eficiência do procedimento amostral. Isto é o oposto do que é exigido na construção dos estratos! 49
Amostragem em Múltiplos Estágios o Quando os conglomerados são homogêneos se torna menos aconselhável a seleção de todos os seus elementos; o Solução: sub-sorteio de elementos dos conglomerados selecionados; o Procedimento (2 estágios): selecionar no primeiro estágio, conglomerados (unidades primárias de amostragem - UPAs), segundo algum plano amostral; de cada conglomerado selecionado, sortear elementos (unidades secundárias de amostragem - USAs) através do mesmo ou de outro plano amostral. 50 Exemplo: amostragem por conglomerados em dois estágios 51
Amostragem em Três Estágios Unidades primárias de amostragem Unidades secundárias de amostragem Unidades elementares Etapa 1 amostra de UPAs selecionada; Etapa 2 amostra de USAs selecionada de cada uma das UPAs selecionadas na primeira etapa; Etapa 3 amostra de unidades elementares selecionada de cada uma das USAs selecionadas. 52 Exemplos 1) conglomerados = áreas num mapa unidades elementares = fazendas 2) conglomerados = hospitais unidades elementares = enfermeiras 3) UPAs = escolas USAs = turmas unidades elementares = crianças 4) conglomerados = carros cruzando pedágio unidades elementares = passageiros nos carros 5) UPAs = empresas industriais unidades elementares = unidades locais 53