Métodos quasi-experimentais Exemplo de design experimental Ameaças à validade interna e externa Exemplos de designs quasi-experimentais e principais ameaças à validade Mestrado em Educação FCUL- 2005/2006 Disciplina de Metodologias de Investigação Cláudia Faria Diana Boaventura
Design experimental
Design experimental! Problema! Hipóteses! Experiência Experiência envolve uma mudança no valor Variável(eis) independente(s) que provoca uma mudança Variável(eis) dependente(s)
Design experimental O efeito do tratamento é medido no grupo Grupo experimental É comparado com o efeito para outro grupo que não recebeu o tratamento, mas que é em todos os outros aspectos semelhante ao grupo experimental Grupo controlo Devido à possibilidade de o efeito no grupo experimental ser devido à manipulação e não ao próprio tratamento, terá de haver um 3º grupo onde é testado o efeito da manipulação Grupo de controlo do procedimento
Design experimental! Exemplo:! Medir o efeito de uma hormona no comportamento sexual - os sujeitos experimentais têm de receber uma injecção! O efeito da injecção no comportamento sexual pode ser causado pela hormona, mas também por outros factores, como o desconforto provocado pela injecção! Terá de haver um grupo a quem é dado a injecção mas sem a hormona
Design experimental! Exemplo:! Utilização de simulações em computador na aprendizagem de ciências! O efeito da utilização do computador pode por si só desenvolver outras capacidades! Teríamos que ter um outro grupo que utilizasse o computador mas sem simulações
Design experimental! Replicados! utilizar vários grupos de cada tipo de forma a ter uma medida da variabilidade dentro de cada grupo passível de ser comparada com a variabilidade entre grupos! Amostra representativa! aleatoriedade (selecção e experiências são o mais semelhantes possível entre os vários grupos)! dimensão adequada aos objectivos! variabilidade equivalente à existente na população em estudo
Experiências Influência da herbivoria nas comunidades! Que factores condicionam os limites de distribuição vertical! Qual a influência das lapas no limite superior das algas vermelhas?! Comparação dos efeitos da herbivoria em diferentes escalas espaciais Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L. Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the southern coast of Britain. Journal of Experimental Marine Biology and Ecology, 267 (2): 185-206.
Design Experimental Tratamentos 1 Exclusão 2 Meia-rede 3 Controlo 0.5m 0.25m " 0.5m " " " 1m 0.5m 1m + redes - lapas + 1/2 redes - redes + lapas + lapas
Design Experimental Diferentes escalas espaciais Portugal Britain Cabo Raso Estoril Swanage Heybrook Bay Patch 1 Patch 2 Patch 1 Patch 2 Patch 1 Patch 2 Patch 1 Patch 2 T1 T2 T3 x 3 3 treatments x 3 replicates
Experiências Influência da herbivoria nas comunidades
Experiências Influência da herbivoria nas comunidades
Ameaças à validade de uma experiência
Factores que afectam a validade interna! As alterações observadas na variável dependente são de facto devidas ao efeito da variável independente e não a outras variáveis?
Ameaças à validade interna! Exemplo:! Teste do aproveitamento dos alunos no 1º semestre da disciplina de metodologia de investigação! Turmas mistas de didáctica das ciências e didáctica da matemática! Durante o 1º semestre os alunos de matemática têm que apresentar 2 trabalhos escritos, 3 orais e 5 testes #.! Os alunos de ciências, para além do trabalho desta disciplina, não têm mais nada para fazer.! Questão: diferenças nas notas dos dois grupos da turma podem ser atribuídas ao que cada grupo aprendeu? História factos ocorridos em simultâneo com o teste de uma variável experimental Aumentar o número de grupos para menor probabilidade de acontecimentos estranhos
Ameaças à validade interna! Exemplo:! Nesta apresentação são solicitadas respostas a perguntas sobre designs quasi-experimentais! Avaliação prévia dos conhecimentos dos alunos sobre este tema dando algumas dicas! Questão: Pode-se concluir que respostas correctas são exclusivamente devidas à apresentação? Testagem O tratamento repetido ou a testagem do mesmo sujeito pode influenciar o seu comportamento Pré-teste não dê conhecimentos adicionais aos sujeitos Alternar a ordem de apresentação de diferentes tratamentos
Ameaças à validade de uma experiência! Exemplo:! A metade da turma é dito que a metodologia de investigação vai ser dada de uma forma revolucionária! Supondo que não existe comunicação entre as duas metades da turma! Questão: será que a atenção (e talvez o aproveitamento) irá ser igual entre as duas metades? Expectativa Quando um tratamento é mais eficaz que um controlo porque os intervenientes acreditam que seja e actuam em conformidade dupla cegueira
Ameaças à validade interna! Exemplo:! Determinar o efeito da aplicação de um conjunto de práticas pedagógicas inovadoras no aproveitamento dos alunos de uma Universidade com uma selecção de entrada particularmente exigente Selecção os resultados da investigação podem ser devidos às próprias características dos sujeitos Comparar com um grupo controlo
Ameaças à validade interna! Exemplo:! Os alunos das ciências têm um teste na sexta feira, às 18h, no fim da aula de metodologia, sem ter tido intervalo! Os alunos de matemática têm o mesmo teste de manhã! Partindo do pressuposto que não existe comunicação entre os dois grupos! Questão: Se os resultados forem diferentes nos dois grupos poderemos concluir que é apenas devido a diferenças no aproveitamento? Maturação processos vividos pelos participantes decorrentes da passagem do tempo (ex. ficar mais velho, cansado, com fome) grupo de controlo que passa pelos mesmos processos/situações
Ameaças à validade interna! Exemplo:! Alunos com melhor e pior aproveitamento num determinado teste! Independentemente do tratamento em qualquer pós-teste existirá tendência para que os resultados dos melhores alunos diminuam e os dos piores aumentem Regressão estatística quando os grupos são escolhidos com base nos valores extremos de uma variável ter um termo de comparação (alunos com aproveitamento médio)
Ameaças à validade interna! Exemplo:! Testar o efeito de actividades de conversação na aprendizagem de uma língua estrangeira! No fim do curso apenas ficaram aqueles que eram à partida mais comunicativos Mortalidade perca diferencial de sujeitos durante a realização da experiência características prévias dos que saíram obter dados dos que saíram
Ameaças à validade interna! Exemplo:! Numa investigação sobre comportamentos de indisciplina utilizar diferentes observadores! Consideram o aluno levantar-se sem autorização um acto de indisciplina?! Um investigador fazer observações sobre o comportamento dos alunos antes e depois de se ter familiarizado com o tema ou com os sujeitos em estudo Instrumentação problemas na fiabilidade ou consistência nos instrumentos ou no processo de recolha de dados Operacionalizar as definições Teste intra- e inter-observador
Validade externa! Factores que afectam a representatividade das conclusões de um estudo, ou seja, a possibilidade de generalizar:! Amostra representativa da população em estudo! Amostra aleatória! Qualquer falha na validade interna vai afectar a validade externa porque os resultados vão ser relativos àquela situação particular
Métodos quasi-experimentais Exemplos de designs Principais ameaças à validade
Métodos quasi-experimentais Características e aplicações! Não controlam todas as fontes de distorção! Aplicam-se quando não é possível uma selecção aleatória dos sujeitos! Na investigação em educação é possível que a escola:! Não permita que as turmas sejam desfeitas ou divididas para proporcionar amostras aleatórias! Não permita que um tratamento seja dado a umas turmas e a outras não
Métodos quasi-experimentais Design das séries temporais O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8 O observação X tratamento! Características:! Não tem grupo de controlo! Utiliza uma série de pré- e pós-testes
Métodos quasi-experimentais Design das séries temporais! Exemplo:! Foi registada a evolução do número de aulas sem incidentes agressivos por parte dos alunos antes e depois de se ter tido uma discussão colectiva desses mesmos incidentes! Linhas C e D é impossível inferir qualquer efeito devido a X! Linhas A e B é possível inferir que há efeito que ocorre entre O 4 e O 5 possivelmente devido a X
Métodos quasi-experimentais Design das séries temporais! Ameaças à validade interna! História possibilidade de ocorrência de um ou mais acontecimentos em simultâneo com X
Métodos quasi-experimentais Design das séries temporais! Controlo da validade interna! Maturação não justifica a alteração que se deu apenas entre O 4 e O 5! Testagem porque a exposição repetida leva à adaptação ou à ausência de sensibilização! Regressão, selecção e mortalidade utilizam-se os mesmos sujeitos
Métodos quasi-experimentais Design das amostras temporais equivalentes X 1 O 1 X 0 O 2 X 1 O 3 X 0 O 4 O observação X 1 tratamento 1 X 0 tratamento 0! Características:! Não tem grupo de controlo! Os sujeitos são expostos ao tratamento de forma sistemática! Exemplo:! Uma professora de arte vai determinar o efeito de uma visita de estudo a um museu na aprendizagem! X 1 ida ao museu! X 0 - aula dada normalmente! O - teste
Métodos quasi-experimentais Design das amostras temporais equivalentes! Ameaças à validade interna! Efeito reactivo da ordem só poderá ser controlado quando temos mais do que um grupo em que se aplica o tratamento e observação numa ordem diferente
Métodos quasi-experimentais Design das amostras temporais equivalentes! Controlo da validade interna! História porque é altamente improvável que um acontecimento estranho ocorra em simultâneo com todas as aplicações do tratamento! Maturação afecta igualmente o tratamento e a ausência de tratamento! Testagem porque a exposição repetida leva à adaptação ou à ausência de sensibilização! Regressão, selecção e mortalidade utilizam-se os mesmos sujeitos
Métodos quasi-experimentais Design do grupo de controlo não equivalente O1 X O2 grupo experimental -------------------- grupos intactos O3 O4 grupo de controlo O observação X tratamento! Características:! Design mais utilizado na investigação em educação! Tem grupo de controlo! Participantes não são seleccionados aleatoriamente (grupos intactos, ex. turmas)! Ambos os grupos fazem pré- e pós-teste! É possível utilizar este design com mais de 2 grupos! É possível todos os grupos receberem tratamento em vez de ter um controlo sem tratamento
Métodos quasi-experimentais Design do grupo de controlo não equivalente! Ameaças à validade interna! Devido à falta de selecção aleatória a principal ameaça é que as diferenças que surjam na experiência sejam devidas às características dos grupos e não ao tratamento implica! Realização de um pré-teste para demonstrar que os grupos são equivalentes em relação às variáveis relevantes (e.g. idade, sexo, etc.)
Métodos quasi-experimentais Tarefa 1 Objectivo: determinar o efeito da utilização de apresentações em power-point na aprendizagem em metodologias de investigação Amostra: 2 turmas de alunos do mestrado de educação 2006/2008
Métodos quasi-experimentais Tarefa 1! Procedimento?! Cuidados a ter? Metade da turma: aplicar o design das amostras temporais equivalentes X 1 O 1 X 0 O 2 X 1 O 3 X 0 O 4 Metade da turma: aplicar o design do grupo de controlo nãoequivalente O1 X O2 ------------- O3 O4
Métodos quasi-experimentais Desenho do grupo de controlo não equivalente! A) Design das amostras temporais equivalentes! Procedimento:! Alternar aulas com e sem power-point sobre temas semelhantes às 2 turmas! Cuidados a ter:! Alternar a ordem de apresentação de cada tipo de aula! dentro de cada tema para a mesma turma
Métodos quasi-experimentais Desenho do grupo de controlo não equivalente! B) design do grupo de controlo não equivalente! Procedimento:! Dar aulas com power-point a 1 turma! Dar aulas sem power-point a 1 turma! Cuidados a ter:! Fazer a avaliação de cada turma de forma a determinar previamente as semelhanças e diferenças entre elas:! Em termos de variáveis externas (idade, formação, etc.)! Aplicar um pré-teste a cada turma de forma a determinar previamente as semelhanças e diferenças entre elas:! Em termos de conhecimentos prévios sobre metodologias de investigação
Métodos quasi-experimentais Tarefa 2- Estudo de Meichtry, 1992 *! Objectivo: perceber se um determinado programa de ciências influencia o conhecimento com que os estudantes ficam da natureza da ciência! Amostra: 1607 alunos do 6º, 7º e 8º anos! Procedimento:! avaliação do conhecimento de 1004 alunos de uma escola antes e depois da aplicação do novo programa! avaliação do conhecimento de 603 alunos doutra escola (com alunos de igual status socio-económico e etnia) antes e depois da aplicação do programa tradicional! acompanhamento da prática de todos os professores envolvidos * Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.
Métodos quasi-experimentais Tarefa 2- Estudo de Meichtry, 1992*! Identifica o design do estudo! Que tipo de grupo(s) existe(m) neste design?! Quais as variáveis que foram controladas? Porquê?! Qual a necessidade de acompanhar a prática de todos os professores? Expectativa - não sabemos se os alunos foram informados que estavam a ser sujeitos a um novo programa * Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.
Bibliografia! Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L. Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the southern coast of Britain. Journal of Experimental Marine Biology and Ecology, 267 (2): 185-206.! Campbell, D.T. & J. Stanley 1963. Experimental and quasi-experimental designs for research. Houghton Mifflin Company, Boston.! Gall, M.D.; W.R. Borg & J.P. Gall 1996. Educational research. An introduction. Longman Publishers USA. New York.! Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.! Tuckman, B.W. 2005. Manual de investigação em educação. Fundação Calouste Gulbenkian, Lisboa.