Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes

Transcrição

1 Universidade de Brasília Programa de Pós-Graduação em Administração - PPGA Grupo de Pesquisa Impacto Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Experimental and Quasi-Experimental Designs for Generalized Causal Inference - Shadish, Cook e Campbell - Cap. 4, p. 5 a p.4

2 Roteiro O Quasi-Experimento Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Desenhos Quasi-Experimentais sem Grupos de Controle e sem Pré-testes

3 Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle O Quasi-Experimento No experimento as explicações alternativas tornam-se pouco plausíveis porque o delineamento assegura que essas explicações alternativas estejam distribuídas aleatoriamente nas condições. No quasi-experimento, como não é feita distribuição aleatória de unidades nas condições, são usados outros princípios para mostrar que explicações alternativas não são plausíveis.

4 Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos 2 Identificação e estudo das ameaças à validade interna. Primazia do controle pelo desenho.. Precedência Temporal Ambígua A falta de clareza sobre qual variável ocorreu pela primeira vez pode produzir confusão sobre qual variável é a causa e qual é o efeito. 2. Seleção Diferenças sistemáticas sobre as condições nas características de respondentes que poderiam também refletir no efeito observado. Padrão coerente correspondente. Razões pelas quais inferências de que a relação entre duas variáveis é causal pode estar incorreta.. História Os eventos que ocorrem simultaneamente com o tratamento podem causar o efeito observado. 4

5 Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos Identificação e estudo das ameaças à validade interna. 4. Maturação Mudanças ao longo do tempo que ocorrem naturalmente poderiam ser confundidas com um efeito do tratamento. Razões pelas quais inferências de que a relação entre duas variáveis é causal pode estar incorreta. 5. Regressão Quando as unidades são selecionadas por seus valores extremos, muitas vezes essas unidades terão menos pontuações extremas em outras variáveis; uma ocorrência que pode ser confundida com um efeito do tratamento. 6. Atrito (mortalidade) Perda diferencial de respondentes por parte dos grupos comparados. 5

6 Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos Identificação e estudo das ameaças à validade interna. 7. Testagem A exposição a um teste pode afetar pontuações em exposições subsequentes, uma ocorrência que pode ser confundida com um efeito do tratamento. Razões pelas quais inferências de que a relação entre duas variáveis é causal pode estar incorreta. 8. Instrumentação A natureza de uma medida pode mudar ao longo do tempo ou condições de uma forma que poderia ser confundido com um efeito de tratamento. 9. Efeitos aditivo e interativo O impacto de uma ameaça pode ser adicionado ao de outra ameaça; ou pode depender do nível de outra ameaça. 6

7 Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos 2 Identificação e estudo das ameaças à validade interna. Primazia do controle pelo desenho. Padrão coerente correspondente. Adicionar elementos de controle do desenho dos quasi-experimentos (por exemplo, observação de mais pré-testes, grupos de controle adicionais), tem o objetivo de evitar confundir uma ameaça à validade com um efeito do tratamento. O controle do desenho também pode fornecer evidências sobre a plausibilidade dessas ameaças. A alternativa usual de controles de desenho são os controles estatísticos. Os controles de desenho e os controles estatísticos podem (e devem) ser usados em conjunto. Entretanto, os autores encorajam o uso de controles de desenho tanto quanto possível, deixando o controle estatístico paa lidar com diferenças menores que tenham permanecido. 7

8 Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos 2 Identificação e estudo das ameaças à validade interna. Primazia do controle pelo desenho. Padrão coerente correspondente. Uma previsão complexa é feita sobre uma determinada hipótese causal e poucas explicações alternativas podem igualar essa previsão. Os exemplos do capítulo 4 incluem o uso de variáveis dependentes nãoequivalentes e o uso de interações preditivas. Quanto mais complexo for o padrão que o desenho prevê para o sucesso, é menos provável que as explicações alternativas possam gerar o mesmo padrão. Sendo assim, o mais provável é que o tratamento teve um efeito real. 8

9 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Um método clássico para apoiar a inferência contrafactual é adicionar um grupo de controle que não recebe tratamento. O grupo de controle selecionado deve ser o mais semelhante possível ao grupo de tratamento. 9

10 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Desenhos somente com Pós-Teste e Grupos Não-Equivalentes Esse desenho é considerado fraco. Por exemplo, Sharpe e Wetherbee (980) compararam as mães que receberam benefícios nutricionais de um projeto do Mississipi com aquelas que não receberam. Os resultados indicaram não haver diferenças significativas nos pós-testes em relação ao peso ao nascer e à mortalidade infantil entre os dois grupos. No entanto, os grupos podem ter diferenças em muitas variáveis relacionadas a esses resultados, como o estado de nutrição anterior. Essa possibilidade de diferenças entre os grupos de pré-teste torna muito difícil separar o tratamento dos efeitos de seleção. Como resolver essas limitações? 0

11 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Na impossibilidade de aplicação de pré e pós-testes na mesma amostra, é possível realizar um pré-teste em uma amostra independente, mas formada aleatoriamente a partir da mesma população de onde fora extraída a amostra para realização do pósteste. Caso isso não ocorra, vieses de seleção podem ser introduzidos nas estimativas dos efeitos do tratamento. Ex.: Epidemologia, saúde pública, marketing, pesquisas de intenção de votos.

12 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Usando proxy pré-testes de preferência, proxies devem ser conceitualmente relacionados ao resultado, e não apenas medidas prontamente acessíveis, tais como idade, sexo, classe social ou raça. Ex.: o uso de pré-testes em cursos de cálculo para estudantes que nunca estudaram cálculo pode gerar muito pouca variabilidade; um proxy pré-teste de aptidão para a matemática ou álgebra seria mais adequado. 2

13 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Combinações Agrupamento de unidades com escores similares na variável de combinação, de forma que os grupos controle e experimental contenham unidades com as mesmas características na variável de combinação. Ex.: Estudo dos efeitos de programas de informações nutricionais sobre as vendas de produtos em uma rede de mercados. 0 lojas em Washington (tratamento) e 0 lojas em Maryland (controle). Assim, 0 pares entre os dois estados foram criados levando em consideração características e o tamanho das lojas, pois essas variáveis predizem vendas de produtos.

14 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Estratificações Quando as unidades são dispostas em contextos homogêneos que contêm mais unidades do que o experimento tem condições. Ex.: Estratificação de gênero; é impossível obter combinações mais próximas do que machos entre uma ampla amostra de machos. Desta forma, um grupo terá muito mais machos do que o número de condições experimentais. Neste caso, os machos poderiam ser estratificados em grupos menos homogêneos a partir de seus escores na variável em análise. 4

15 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Grupos extraídos de uma população similar àquela de onde as unidades de tratamento foram retiradas. Ex.: Em um estudo sobre programas corretivos de redação, um grupo de controle interno foi composto por estudantes que se inscreveram mais tarde no programa (embora fossem elegíveis para o mesmo) para integrarem o grupo experimental. 5

16 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Se os grupos controle diferem entre si tanto quanto diferem do grupo experimental, essas diferenças obviamente não podem ser causadas pelo tratamento. Ex.: Estudo sobre as consequências, em um grupo de jovens negras, de se fazer um aborto. Além deste grupo, outros dois foram formados: um composto por mulheres que tiveram seus filhos e outro, por mulheres que descobriram não estarem grávidas. As jovens que abortaram tiveram um melhor desempenho educacional dois anos após o evento. Se os dois grupos não fossem criados, talvez alguém questionasse a validade do estudo afirmando que o resultado decorreu do fato de filhos (grupo de controle ) demandarem tempo e esforço. 6

17 Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Aperfeiçoando o desenho amostra de préteste independente Usando proxy pré-testes Usando combinações e estratificações Usando controles internos Usando múltiplos grupos controle interação preditiva Uma boa teoria, às vezes, é suficiente para que hipóteses causais altamente diferenciadas sejam criadas. Ex.: a literatura indica que pessoas mais motivadas para transferir compreendem as restrições ambientais como desafio ao processo de transferência de treinamento. A partir disso, grupos podem ser criados a partir dos níveis de motivação dos participantes (alta e baixa motivação). Assim, se o grupo mais motivado, em um contexto limitador, transfere mais do que o grupo menos motivado, em um contexto similar, é provável que a interação estatística predita de fato seja válida. 7

18 Desenhos Quasi-Experimentais sem Grupos de Controle e sem Pré-testes Quando não é possível que grupos controle independentes sejam formados, em algumas ocasiões é possível construir contrastes que tentam imitar a função de um grupo controle independente. Os autores sustentam que: todas essas possibilidades têm grandes fraquezas, de forma que recomendamos que tais contrastes não sejam usados. Apesar disso, o baixo custo dessa estratégia pode auxiliar na compreensão de explicações alternativas remanescentes. 8

19 Desenhos Quasi-Experimentais sem Grupos de Controle e sem Pré-testes Contrastes 2 Extrapolação da regressão Compara escores atuais e projetados no pós-teste. Comparação normatizada Compara o grupo de tratamento com amostras normatizadas. Fontes secundárias Compara grupos de tratamento com amostras extraídas de dados previamente coletado. 9

20 O Desenho Caso-Controle Em alguns casos, por questões éticas, não é possível criar grupos controle, de forma que uma opção é usar o desenho caso-controle. Caso: grupo de indivíduos que possuem os resultados de interesse (infarto). Controle: grupo de indivíduos que não possuem os resultados de interesse (não infarto). Casos e controles são, então, comparados a partir da utilização de dados retrospectivos que permitam investigar se os casos foram mais expostos a hipóteses causais (hábitos alimentares, uso de drogas lícitas e/ou ilícitas etc) do que os controles. 20

21 Roteiro O Quasi-Experimento Princípios para assegurar a implausibilidade de explicações alternativas em quasi-experimentos Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Desenhos Quasi-Experimentais sem Grupos de Controle e sem Pré-testes

22 Universidade de Brasília Programa de Pós-Graduação em Administração - PPGA Grupo de Pesquisa Impacto Desenhos Quasi-Experimentais com Grupos de Controle e sem Pré-testes Experimental and Quasi-Experimental Designs for Generalized Causal Inference - Shadish, Cook e Campbell - Cap. 4, p. 5 a p.4 Out 20