! Pesquisas de votos; ! Serviços de qualidade; ! Pesquisas de opinião pública; ! Em quem você vai votar em Outubro?

Transcrição

1 Introdução Tópicos Especiais em E.S.: Surveys Cleidson de Souza LABES - DI - UFPA cdesouza@ufpa.br! Um dos principais exemplos de pesquisa empírica:! Pesquisas de votos;! Serviços de qualidade;! Pesquisas de opinião pública;! Etc! Relativamente simples de ser feito, mas mecanismo bastante poderoso, quando aplicado corretamente. O que é um survey?! Não apenas o questionário propriamente dito, mas também a coleta, comparação e análise dos resultados. Implica em várias atividades:! Definir os objetivos; Planejar e agendar o survey; Projetar o questionário; Validar este questionário; Selecionar participantes; Administrar o questionário; Analisar os dados; e Escrever os resultados. Exemplo de Survey! Áreas onde profissionais acreditavam que eles precisavam de melhor educação:! Quão útil na sua vida profissional foi o assunto <X> que você aprendeu na universidade?! Quão útil seria aprender mais sobre o assunto <X> na faculdade?! (Lethbridge, 1998 e 2000)! Em quem você vai votar em Outubro?! Você sofreu um crime e não-denunciou este ano?

2 Supervisionado Tipos de Surveys: Quanto a Participação do Pesquisador! O entrevistador faz as perguntas e garante que cada informante responderá a todas as perguntas;! IBOPE;! Pode-se garantir que o informante não vai se adiantar no survey o que pode ser importante;! Pode ser usado com pessoas que não responderiam o survey de outra forma;! Pode conter um maior número de perguntas; Não-supervisionado! Não tem um entrevistador associado;! Questionários pela Web, enviados pelo correio ou , deixados para serem respondidos e pegos posteriormente;! Mais barato do que um survey supervisionado;! Dá um senso de segurança para o informante que assim pode responder às perguntas mais facilmente;! O número de perguntas geralmente é menor que o supervisionado; Tipos de Surveys: Quanto ao Objetivo

3 Survey Descritivo! Tenta descrever um fenômeno de interesse, quer produzir uma idéia mais concreta de um produto, processo ou população:! Tipos de ferramentas de gerência de configuração usadas por engenheiros de software;! Ferramenta de modelagem mais usada por engenheiros de software;! configuração dos projetos distribuídos de desenvolvimento de software em uma organização; Survey Experimental! Visa avaliar o efeito de um tratamento, a manipulação de uma variável de controle:! Avaliar qual o método de gerência de projetos é mais efetivo;! Avaliar entre engenheiros de software qual o método de teste que detecta mais problemas;! Este tipo de survey visa o teste de hipóteses, ou seja ele complementa o conceito de Experimentos visto anteriormente. Amostras! Não é efetivo efetuar o survey em uma população inteira, portanto uma amostra é escolhida;! O tamanho da amostra pode ser calculado através de métodos estatísticos;! Deve-se sempre calcular a taxa de respondentes (response rates)! número de pessoas que responderam o survey / número de pessoas que receberam o survey; Amostras (2)! Quando a taxa de respondentes é pequena (<70%), pode-se e deve-se tentar aumentá-la:! Enviar lembretes;! Contactar informantes;! Pode-se fornecer prêmios para aqueles que respondem ao survey! Dinheiro (U$ 1), pequenos presentes, crédito em lojas, etc;! Nos EUA, o governo exige o mínimo de 75%.

4 Quando Usar (mínimo)! Os informantes tem um grau de instrução relativamente alto - sabem ler;! Você acredita que pode obter um taxa de respondentes de no mínimo 70%;! A natureza das perguntas que você quer fazer permite isso;! Não precisa mostrar gráficos, telas, etc. Projeto de Surveys! É similar ao projeto de experimentos, visto que ambos são abordagens quantitativas:! Considerações sobre tamanho e representatividade de amostras;! Existe uma fórmula para calcular o tamanho da amostra;! Representatividade da amostra;! Flexibilidade;! Fundamentação matemática;! Etc.! Testes estatísticos; Projeto de Perguntas! As perguntas devem ser formuladas tal que os informante possam respondê-las facilmente:! Evitar ambigüidades;! As respostas devem ser exclusivas e exaustivas;! Considerar o grau de instrução do informante. Mas, deve-se considerar a inteligência do informante. Não formular perguntas simples por demais;! Evitar abreviações, jargões ou termos técnicos sempre que possível. Quando inevitável, definir os termos para evitar ambigüidades.

5 ! Evitar perguntas que se referem a um passado longínquo: até 1 ano é aceitável. Outra opção é definir o período de tempo sobre o qual o survey se refere: Nos últimos 6 meses, quantas vezes você foi assaltado?! Fazer perguntas que o informante é capaz de responder: Sua empresa avaliou a ferramenta X durante 2005?. Mas, a empresa tem milhares de funcionários.! Deve-se evitar questões negativas. Elas elas são mais difíceis de entender e responder:! Você não usa seu celular pra mandar mensagens porque você não sabe que estas mensagens são mais baratas?! Use escalas bem definidas para as respostas:! concordo totalmente, concordo, neutro, discordo, discordo totalmente;! Se necessário defina a escala. Não use mais de 7 opções de escala;! Pode-se adicionar uma opção neutra para as respostas, mas esta é uma discussão em aberto entre os especialistas.! Meus colegas me repassam informações necessárias ao meu trabalho:! concordo totalmente, concordo, neutro, discordo, discordo totalmente; Tamanho do Survey! Cuidado com a ordem das questões, pois elas podem influenciar o resultado:! Se um repórter norte-americano está trabalhando na URSS, ele deveria ter permissão para informar notícias sem censura?! Se um repórter russo está trabalhando nos E.U.A., ele deveria ter permissão para informar notícias sem censura?! Definir um número apropriado de questões e avisar o informante de quanto tempo ele precisará para respondê-las:! Informantes cansam e podem responder as últimas perguntas menos criteriosamente;! Fazer um piloto para determinar mais realisticamente o tempo necessário para que o informante responda o survey;! O censo demora 1 a 2 horas para ser respondido, mas é feito somente a cada dez anos;

6 Demografia! Frequentemente, questionários incluem questões demográficas sobre o respondente! Sexo, idade, bairro onde mora, experiência profissional, tempo de trabalho em uma empresa, e outras questões relevantes para o objetivo da pesquisa. Piloto ou Pré-Teste! Uma vez que o questionário está definido deve-se fazer um piloto do mesmo, ou seja, distribuir o questionário para um grupo menor que a amostra desejada.! Estimativa mais real do tempo necessário para preenchimento do questionário;! Testar o formulário: encontrar erros nas perguntas, respostas, etc;! Quão menor?! Ex: 60 pessoas quando a amostra for de pessoas;! Não tem resposta prática;! Nunca reuse os informantes que responderam ao piloto;! Nunca utilizes os dados dos informantes que responderam ao piloto;

7 Apresentação de Resultados - Visão Genérica! Sempre inicia com as chamadas estatísticas descritivas, os resultados do survey na amostra;! Porcentagens de pessoas que responderam X, Y, e Z para as respostas;! Combinação de gráficos e tabelas para não ficar cansativo;! Sempre indicar o número de respostas para cada resultado! Posteriormente, adiciona-se o teste de hipóteses ou as correlações entre as respostas:! Investiga-se os dados para verificar resultados interessantes ;! Hipóteses são geradas sobre estes dados interessantes, as quais são confirmadas através de testes estatísticos! Mesmas considerações de experimentos se aplicam aqui: hipótese alternativa, hipótese nula, p-values, etc. Execução do Survey

8 Para questionários nãosupervisionados (via Web por exemplo)! Coloque um espaço entre as questões;! Nada de formatações sofisticadas, quanto mais simples de ler, melhor;! Use fonte 10 ou 12 que sejam fáceis de ler;! Evite itálico;! Use negrito ou sublinhado de maneira consistente e adequada, para enfatizar algo;! Explique o objetivo do estudo e os financiadores do estudo;! Indique nome e telefone de uma pessoa para contato;! Forneça uma estimativa realista de quanto tempo será necessário para responder o questionário; O Melhor comportamento diante do entrevistado! Para ser um bom entrevistador:! Procure ser cordial e bem humorado ao iniciar a sua entrevista;! Apresente-se corretamente vestido diante da pessoa que vai ser entrevistada;! Procure dominar o questionário;! Faça as perguntas seguindo a ordem estabelecida no questionário;! O entrevistador deve fitar a pessoa que está sendo entrevistada, pois se permanecer com olhos no questionário haverá desinteresse por parte do respondente;! Pronuncie as palavras de maneira clara e num tom de voz que permita o fácil e rápido entendimento das perguntas do questionário;! Leia as perguntas do modo que elas estão redigidas;! Não faça entrevistas em grupos, para isto existe uma técnica específica chamada de grupo de foco (focus group);! Anote as respostas no momento da entrevista e da maneira mais completa possível;! Conduza a entrevista. Para isso, coloque-se de frente em relação à pessoa a ser entrevistada, de modo a evitar a leitura do questionário;! Não entreviste parente e pessoa amiga ou conhecida. As entrevistas que se obtém com parentes não são de boa qualidade. Neste caso, as pessoas:! Ou Levam a sério de mais o questionário e respondem com excesso de detalhes;! Ou Respondem a título de brincadeira (o que é mais freqüente);! Escreva de modo rápido, porém legível. A letra do entrevistador deve ser clara e os pensamentos emitidos anotados com exatidão.! Não entreviste mais de uma pessoa de cada família.

9 ! Não entreviste pessoas que não falam português. Para isto seria necessário traduzir o questionário mais de uma vez para evitar erros;! Encoraje o entrevistado a continuar quando você notar que ele tem em mente e que está hesitando em falar;! Não deixe o entrevistado pensar que deu uma resposta errada. Não existe resposta errada.