Estudos Mistos Estudos de Avaliação

Transcrição

1 Faculdade de Ciências da Universidade de Lisboa Departamento de Educação Mestrado em Educação Áreas de Especialização: Didáctica da Matemática Didáctica das Ciências Estudos Mistos Estudos de Avaliação Carmen Salvado Elisa Mosquito Inês Bruno Marta Nogueira

2 Estudos Mistos

3 Breve História Por altura dos anos 50 interesse em misturar diferentes formas de recolha dados quantitativos Por volta dos anos 70 expansão do número de estudos que incluíam dados qualitativos e quantitativos Anos 80 interesse ao nível dos procedimentos que caracterizam os Estudos Mistos Anos 90 obra escrita sobre metodologia mista O que são Estudos Mistos? Segundo diferentes autores são estudos que combinam técnicas de pesquisa qualitativa e quantitativa.

4 Questões do Processo Investigativo com recurso à Metodologia Mista Onde? Qual a ordem? Em que proporções? O uso de ferramentas/técnicas é diferente? Será que o tipo de dados recolhidos indica o tipo de análise? (Rocco, 2003)

5 Etapas de um estudo Misto 1ª etapa - tipo de projecto a investigar -Exploratórios - Confirmatórios 2ª etapa - tipo de recolha de dados 3ª etapa - análise e inferência dos dados (Rocco, 2003)

6 Tipos de Estudos Mistos Métodos Múltiplos (Triangulação?) Quantitativos + Qualitativos Dados e Resultados Interpretação Dados e Resultados Processos Híbridos - Modelo Explicativo Quantitativos Dados e Resultados Quantitativos Dados e Resultados Seguidos dos - Modelo Exploratório Justificação Qualitativos Dados e Resultados Qualitativos Dados e Resultados

7 Vantagens: Vantagens e Desvantagens - Ajuda a encontrar o desenho do problema em estudo - Ajuda a introduzir os dados qualitativos num estudo quantitativo - Permite a integração de duas metodologias de natureza diferente em que ambas mantém as suas qualidades intrínsecas Desvantagens: - Requer treino em metodologias de natureza diferente - Incide na articulação de resultados de diferente natureza - Requer grande quantidade de tempo e envolve muitos custos - A metodologia mista não é aceite por toda a comunidade

8 Estrutura de um Relatório de um Estudo Misto Justificação da existência dos dois tipos de dados Procedimento de recolha dos dois tipos de dados Apresentação detalhada do desenho em estudo Descrição da sequência pela qual se recolheram os dois tipos de dados Descrição do processo de análise dos dados Escrever as conclusões

9 ritérios para Avaliação de um Estudo Misto O estudo aplica pelo menos um método qualitativo e um método quantitativo? Faz sentido o investigador misturar os dois tipos de dados num único estudo? As questões levantadas conduzem à recolha dos dois tipos de dados? O investigador esclarece qual é o tipo de metodologia mista utilizada? O investigador menciona a importância dada a cada um dos tipos de dados? O interesse do estudo justifica o dinheiro gasto e o tempo dispendido? Os métodos de recolha dos dois tipos de dados estão descritos com clareza? A metodologia é coerente com o tipo de estudo misto apresentado?

10 Tecnologias em Educação. Estudos e investigações. (2002) Comunicação no X Colóquio AFIRSE 2000, Universidade de Lisboa Clara Pereira Coutinho & José H. Serrano Chaves Totais Percentagens Experimental 31 39% Survey/levantamento 25 Quantitativos Descritivo Correlacional Ex.post facto % Psicométricos 1 Qualitativo 6 8% Mistos Avaliação Investigação-acção % Desenvolvimento %

11 Estudos de Avaliação

12 Estudos de Avaliação: Introdução O que são? Processos que culminam em juízos de valor acerca do mérito e do valor de determinados programas educacionais. Para que servem? Ao fornecerem dados acerca dos custos, benefícios e problemas de programas alternativos, permitem uma tomada de decisão política consciente e fundamentada.

13 Relação entre Estudos de Avaliação e Inicia-se por vontade Objectivo: compreender um determinado fenómeno Grau de generalização: grande (quando se pretende generalizar relações entre variáveis) Finaliza com a descoberta, com novo conhecimento Investigação Investigação Educacional Estudos de avaliação Semelhanças Metodologia: desenho da investigação, instrumentos de medida, técnicas de análise de dados Diferenças Inicia-se por necessidade Objectivo: colher informações que facilitem a tomada de decisões Grau de generalização: muito específico Finaliza com um juízo de valor

14 Os passos de um Estudo de Avaliação Clarificar as razões pelas quais se está a realizar o estudo Identificar os intervenientes Decidir o que é que vai ser avaliado e como - Objectivos do programa - Recursos e procedimentos - Gestão do programa Identificar as questões de avaliação Desenvolver o desenho da avaliação e um calendário Colher e analisar os dados da avaliação e discutir os seus resultados Redigir o(s) relatório(s) da avaliação

15 Aproximações quantitativas à Avaliação 1) Avaliação do Indivíduo 2) Avaliação baseada em Objectivos Avaliação de discrepâncias Análise de custos Objectivo comportamental Avaliação sem objectivos 3) Avaliação de necessidades 4) Modelo CIPP Context evaluation (avaliação do contexto) Input evaluation (avaliação de entradas) Process evaluation (avaliação do processo) Product evaluation (avaliação do produto)

16 Aproximações qualitativas à avaliação 1) Avaliação de Resposta 2) Avaliação quasi- legal Avaliação por adversidade Avaliação judicial 3) Avaliação baseada em peritos Modelo de peritagem e crítica

17 Erros nos Estudos Avaliativos Exploração insuficiente das razões que estão na origem do pedido da avaliação; Erro ao identificar os intervenientes ou não envolver intervenientes significativos; Erro ao avaliar todos os aspectos do programa a serem avaliados; Não estar receptivo a novas questões que surjam durante o procedimento avaliativo; Não apresentar relatórios direccionados às necessidades específicas dos diferentes grupos de intervenientes; Não considerar modelos alternativos de avaliação ao organizar/desenhar o seu estudo; Não utiliza medidas que estão directamente relacionadas com as finalidades do programa; Ignorar possíveis efeitos secundários não incluídos na apresentação formal das finalidades do programa.

18 Bibliografia Estudos Mistos Rocco, T., Bliss, L., Gallagher, S., & Prado, A. (2003). Taking the next Step: Mixed Methdos: Research in Orgazational Systems. Performance Journal, 21, Lourenço, M. (1998). Contexto Regulador e Ensino das Ciências: Um estudo com crianças dos estratos sociais mais baixos. Tese de Doutoramento, Universidade de Lisboa, Departamento de Educação da Faculdade de Ciências. Nápoles, A. (2002). A Escola e a Educação Sexual uma Aposta na Formação de Professores. Tese de Mestrado, Universidade de Lisboa, Departamento de Educação da Faculdade de Ciências. Coutinho, C., & Chaves, J. (2001, Novembro). Tecnologias em Educação: Estudos e Investigações. Comunicação apresentada no X Colóquio AFIRSE Universidade de Lisboa, Lisboa.

19 Bibliografia Petter, S., & Gallivan, M. (2004). Toward a Framework for Classifying and a Guiding Mixed Method Research in Information Systems. Comunicação apresentada na XXXVII Conferência Internacional em System Sciences no Havai, Georgia

20 Bibliografia Estudos de Avaliação Gall, M., Borg, W., & Gall, J. (1999). Educational Research: An Introdution (6.ª ed.). USA: Longman Publishers. Mertens, D. (1998). Research Methods in Education and Psychology. USA: Sage Publications.