Universidade Federal de Juiz de Fora (UFJF) Departamento de Estatística Sessão Temática: Pesquisa Eleitoral Potencialidades e Desafios da Amostragem Probabilística Marcel de Toledo Vieira, UFJF XI MGEst UFOP, Ouro Preto, 4 e 5 de outubro de 2012.
Sumário Introdução Motivação Pesquisas eleitorais no Brasil e no mundo Amostragem probabilística Amostragem não probabilística Reflexões Considerações finais 2 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Introdução Uma pesquisa eleitoral, como qualquer outro tipo de pesquisa necessita de: um questionário bem desenhado; pesquisadores de campo bem treinados e motivados; supervisão do trabalho de campo bem feita; método de coletade acordo com os objetivos da pesquisa; e procedimentos de crítica dos dados bem definidos. Entretanto, se a amostra for selecionada de forma não probabilística, não se pode garantir a qualidade da inferência direcionada à população alvo da pesquisa. Desta forma, o processo de seleção da amostra é uma fase fundamental de qualquer pesquisa, eleitoral ou não. 3 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Motivação (I) Institutos de estatísticas oficiais, no Brasil e no mundo, utilizam apenas métodos de amostragem probabilística. Porém, grandes institutos de pesquisa privados conduzem no Brasilpesquisas eleitorais por amostragem não probabilística. Margens de erro publicadas são calculadas pressupondo amostragem aleatória simples. Contradição: a legislação brasileira vigente não exige a adoção de métodos probabilísticos, mas exige a publicação das margens de erro! 4 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Motivação (II) Enquanto isso, nos EUA: Amostragem não probabilística nãoé utilizada por grandes empresas de pesquisa desde os anos 1950; Após erroscometidos pelas pesquisas para as eleições presidenciais de 1948, especialistas foram convocados pelo Social Science Research Council; Recomendação: uso exclusivo de métodos probabilísticosde amostragemea eliminaçãodo uso de métodos não probabilísticos; Constataçãode melhoriasnaprecisãodas pesquisas a partir das eleições de 1952. 5 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Motivação (III) E no Reino Unido: Problemascom resultadosdas pesquisasparaas eleições parlamentares de 1992; InvestigaçãoconduzidapelaBritish Market Research Association indicou que os problemas estavam relacionados à adoção de procedimentos não probabilísticos; Depoisdisso, a maioriadas empresasde pesquisas eleitorais britânicas passaram a adotar procedimentoprobabilísticos. 6 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Probabilística (I) Princípio: todas as unidades da população possuem uma probabilidade não nula de ser selecionada. Permitea definição do conjunto de todas as amostras possíveis de ser selecionadas de acordo com o procedimento de seleção empregado. Uma probabilidadep(s) conhecida (ou calculável) é associada a cada amostra s S, onde S é um conjunto bem definido de todas as amostras possíveis. Uma única amostra s (s S) é selecionada usando um mecanismo de aleatorizaçãotal que a amostra s é selecionada com probabilidade p(s). 7 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Probabilística (II) 8 A seleção de uma amostra de forma probabilística nãoimplica na atribuição de probabilidades iguais para todas as unidades da população. Em muitas situações o tamanho da amostra é alocado de forma desproporcionalpara certos estratos que constituem grupos minoritários; Tal prática tem como objetivo, por exemplo, garantir níveis de precisãodesejados para as estimativas produzidas para tais grupos. Selecionar uma amostra de forma probabilística tem também como objetivo a remoçãode qualquer forma de influência humana na seleção. XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Probabilística (III) Desenhos amostrais probabilísticos: amostragem aleatória simples(com ou sem reposição); amostragem estratificada; amostragem sistemática; amostragem por conglomerados; amostragem em múltiplos estágios; amostragem com probabilidades desiguais; e na prática, combinaçõesdos desenhos acima. 9 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Probabilística (IV) Vantagens: Permitem a generalização dos resultados da pesquisa para a população (inferência estatística); erros amostrais podem ser mensurados, o que permite a estimação de parâmetros da população com níveis de confiança conhecidos. Dificuldade: necessita de alguma forma de listagem ou cadastro da população. 10 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Não-Probabilística (I) Muitas pesquisas, incluindo muitas pesquisas eleitorais, adotam métodos de amostragem não probabilística, que incluem por exemplo: amostragem por conveniência; amostragem por cotas; amostragem proposital; enquetes em sites na internet; snowball sampling; dentre outros. Justificativascomuns: limitaçõesde tempo, recursos e mão de obra. 11 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Não-Probabilística (II) Argumentos favoráveis (?) Pesquisas por amostragem (probabilística ou não) estão sujeitas à erros não amostrais, como cobertura do cadastro, não resposta e erros de medida; Tais fontes de erro adicionais relativizariamas propriedades da amostragem probabilística; Quando se possui informações confiáveis sobre a população, correlacionadas às variáveis de interesse, a amostragem por cotas produziria bons resultados. Distribuições populacionais adotadas com frequência para a definição das cotassão referentes às variáveis idade, gênero, raça, e escolaridade. 12 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Não-Probabilística (II) Por outrolado... Se a variável de interesse da pesquisa estiver descorrelacionada com aquelas consideradas para a definição das cotas, sérios vieses são introduzidos; A condução de pesquisas por amostragem não probabilística requer um conhecimento grande sobre distribuições populacionais conjuntas de variáveis; Normalmente, tal conhecimento não está disponível, sobretudo para níveis muito desagregados. A estimação de erros amostrais não é feita de forma adequada e, com isso, nãose tem garantias teóricas das qualidades da amostragem não probabilística. 13 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Amostragem Não-Probabilística (III) Além disso: Por maior que seja o controle da supervisão de campo e do treinamento da equipe, métodos não probabilísticos ainda dão liberdadepara os entrevistadores selecionarem a amostra. Risco de viésde seleção! 14 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
AmostragemNão-Probabilística(IV) Desenhos amostrais não probabilísticos resultam na atribuição de probabilidade nulade seleção à algumas unidades da população. Estimadores tipicamente não viciados sob desenhos probabilísticos, podem se tornar viciados sob amostragem não-probabilística. Nãohá justificativa teórica para a adoção deste tipo de amostragem em pesquisas cujo objetivo é a inferência estatística para uma população alvo. 15 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
AmostragemNão-Probabilística(V) Estudo de Moser e Stuart (1953) comparouresultados obtidos a partir de amostragem probabilística e não probabilística: Variância verdadeira de estimadores sob amostragem probabilística é maiordo que sob amostragem probabilística. Margens de erro verdadeiras seriam maiores do que os resultados nominais calculados sob AAS e publicados. Resultado confirmado por Souza (1990) e Ferraz (1996). Vasconcellos da Silva (2010): grande maioria das pesquisas de boca urna de 2006 erraram muito além das margens de erro publicadas. 16 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Reflexões (I) Um dos problemas fundamentais da Estatística é a generalização(inferência) de resultados encontrados a partir daquilo que observamos (amostra) para aquilo que não observamos (população). Amostragem Probabilística + Inferência Estatística Apesar da importância da Amostragem... No Brasil, e no mundo, muitos Departamentos de Estatística em Universidades nãopossuem especialistas em Amostragem e muitos Estatísticos desconhecem princípios básicos de Amostragem. A falta de atenção à esta área na formação dos Estatísticos pode estar tendo consequências negativas na qualidade das pesquisas eleitorais. 17 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Reflexões (II) Há ainda diversos livros disponíveis: Sobre Amostragem: Em português: Bolfarinee Bussab(2005), Vicente etal. (2001), Silva (2001). Clássicos: Kish(1965); Cochran(1977); Särndal, Swensone Wretman(1992);... Mais recentes: Lohr(2009); Fuller(2009);... Sobre Análise de Dados Amostrais Complexos: Em português: Pessoa e Nascimento Silva (1999). Clássicos: Skinner, Holte Smith (1989); e Chamberse Skinner (2003). Mais recentes: Lumley(2010); e Heeringa et al. (2010). 18 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Considerações Finais (I) São características desejáveis de uma amostra: Capacidade de generalizar estimativas da amostra para toda a população; Menor erro amostral possível, dado o custo, tempo e restrições operacionais; Permitir a mensuração da precisão das estimativas. Pesquisas eleitorais por amostragem nãoprobabilística nãopossuem as características acima. 19 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Considerações Finais (II) Quando utilizar amostragem não probabilística? Estudos qualitativos, pilotos ou exploratórios; Quandonãose tem o objetivode realizar inferência estatística; e Em estudos preliminares, cujas etapas posteriores incluirão a seleção de uma amostra probabilística. As pesquisas eleitorais se enquadram nas situações acima? Para reflexão 20 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Bibliografia Carvalho, José F. ; FERRAZ, Cristiano (2006) A Falsidade das Margens de Erro de Pesquisas Eleitorais Baseadas em Amostragem por Quotas. Boletim da Associação Brasileira de Estatística, São Paulo, p. 13-15, 20 set. 2006. Frankovic, K. It s all about the sample http://www.cbsnews.com/2100-501863_162-3095856.html. Data de acesso: 14/09/2012. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R. (2009) Survey Methodology, Hoboken, Wiley. Kish, L. (1965) Survey Sampling. New York, Wiley. Nicolau, J. Pesquisa por quota e margem de erro http://www.jaironicolaublog.com/2010/09/pesquisa-por-quotae-margem-de-erro_30.html. Data de acesso: 14/09/2012. 21 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Referências Bibliográficas Ferraz, C. (1996) Critica metodológica as pesquisas eleitorais no Brasil. Dissertação de Mestrado. IMECC, Unicamp. MOSER, C.A. and STUART, A. (1953) An experimental study of quota sampling, JRSS (A), 116, 349-405. Silva Vasconcellos, Y. (2010) A Falácia da Margem de Erro das Pesquisas Eleitorais. Resumo de Seminário do Programa de Pós-Graduação em Estatística Aplicada e Biometria, UFV. SOUZA, J. (1990) Pesquisas Eleitorais: Críticas e Técnicas; Centro Gráfico do Senado Federal, Brasília, DF. 22 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012
Livros Citados Bolfarine, H; Bussab, W. O. (2005) Elementos de Amostragem. São Paulo, Edgard Blucher. Chambers, R.L. e Skinner, C.J. (2003) Analysis of Survey Data. Chichester: Wiley. Cochran, W. G. (1977) Sampling Techniques. 3ª ed. New York, Wiley. Fuller, W. A. (2009) Sampling Statistics, New York, Wiley. Heeringa, S.G., West, B.T., Berglund, P.A. (2010). Applied Survey Data Analysis. Chapman and Hall, London. Kish, L. (1965) Survey Sampling. New York, Wiley. Lohr, S. L. (2009) Sampling: Design and Analysis, Duxbury Press. Lumley, T. (2010). Complex Surveys: A Guide to Analysis Using R. Wiley. Pessoa, D.G.C. e Silva, P.L.N. (1998) Análise de Dados Amostrais Complexos. São Paulo: Associação Brasileira de Estatística. Särndal, C.-E., Swenson, B. and Wretman, J. (1992) Model Assisted Survey Sampling. New York, Springer. Skinner, C.J., Holt, T. e Smith, T.M.F. (1989) Analysis of Complex Surveys. Chichester: Wiley. Silva, N. N. (2001) Amostragem Probabilística. São Paulo, Edusp. Vicente, P.; Reis, E.; Ferrão, F. (2001) Sondagens: a Amostragem como Factor Decisivo de Qualidade. 2ª ed. Lisboa, Edições Sílabo. 23 XI MGEst, UFOP, Ouro Preto, 4 e 5/10/2012