Critérios de Credibilidade da Investigação Científica (em Educação) Guilhermina Lobato Miranda gmiranda@ie.ulisboa.pt Instituto de Educação da Universidade de Lisboa Doutoramento em Educação TIC na Educação
Sumário As fases da investigação científica Que critérios usar para cada uma das fases Critérios de credibilidade da investigação quantitativa Critérios de credibilidade de investigação qualitativa [Critérios de credibilidade da Investigação-ação Critérios de credibilidade da investigação mista]
Sumário Se houver tempo: O que conta como investigação científica de acordo com o/s público/s a que se destina? Relatório de investigação (literatura cinzenta) Revistas não-indexadas Revistas indexadas: e as várias classificações/rakings http://scimagojr.com/ http://adat.crl.edu/databases http://wokinfo.com/
Fases da investigação (Fonte: Adaptado de Mertens, 1998) Fases lógicas da investigação (segundo Tuckman, 1994) Fase 1: Identificar a nossa visão do mundo, o paradigma que melhor representa os nossos valores e concepções da realidade Fase 2: Escolher a problemática (delimitar o problema a estudar) Fase 3: Fazer a revisão da literatura e elaborar as questões de investigação (as hipóteses e o estatuto das variáveis)
Fases da investigação (Fonte: Adaptado de Mertens, 1998) Fases metodológicas da investigação (segundo Tuckman, 1994) Fase 4: Elaborar o plano e o design da investigação (Quantitativo/Qualitativo/Misto) / (Experimental/Correlacional/Descritivo: Estudo de caso, Etnográfico, Narrativa histórica, etc.) Fase 5: Identificar e escolher as fontes de recolha de dados Fase 6: Identificar e seleccionar os métodos e instrumentos de recolha de dados Fase 7: Escolher os métodos e as técnicas de análise de dados Fase 8: Fazer o trabalho de terreno (recolha dos dados) Fase 9: Elaborar o relatório de investigação Fase 10: Tornar públicos os resultados da investigação
Três questões para definir um paradigma de investigação (Fonte: Mertens, 1998) Questão Ontológica Qual é a natureza da realidade? Questão Epistemológica Qual é a natureza do conhecimento e as relações entre o sujeito e o objecto de conhecimento? Questão metodológica Como pode o sujeito conhecer o objecto de conhecimento?
Paradigmas de investigação (segundo Lather, 1992. Fonte: Mertens, 1998) Positivista / pós- positivista Experimental; Quase-Experimental Correlacional; Causal e comparativo Quantitativo Interpretativo/ Construtivista Naturalista; Fenomenológico Hermenêutico; Interacção Simbólica; Etnográfico Qualitativo Emancipatório Teoria Crítica; Neo-Marxista; Feminista Específico; Freireniano; Participativo; Transformista Investigação-acção
Paradigmas de investigação + UM Não sei se será um novo paradigma mas tão só uma nova maneira de conhecer a realidade Os Métodos Mistos (Creswell, 2011, 2012), uma visão Pragmática da realidade. Pode ser inserido na Corrente Pragmática da Filosofia (onde destaco John Dewey, início e meados séc. XX) Consultar este site sobre Métodos Mistos: http://johnwcreswell.com/
Fases da investigação (Fonte: Adaptado de Mertens, 1998) Fases lógicas da investigação (segundo Tuckman, 1994) Fase 2: Escolher a problemática (delimitar o problema a estudar) Fase 3: Fazer a revisão da literatura e elaborar as questões de investigação (as hipóteses e o estatuto das variáveis) Como dar credibilidade às fases lógica da Investigação? Como escolher um problema pertinente a ser estudado? Como fazer uma consistente revisão da literatura? Serão diferentes as fontes e as evidências que tenho que descrever nesta fase, quer se trate do uso de um método quantitativo, qualitativo, misto ou de IA?
Vamos enumerar alguns aspetos Como escolho um problema pertinente e mostro que é credível? Como elaboro as questões (hipóteses) a serem estudadas / testadas? Como mostro que são credíveis? Serão diferentes as evidências que tenho de mostrar numa investigação quantitativa e numa investigação qualitativa? Estas evidências dependerão do público a que se destina a minha investigação?
Fases da investigação: como dar credibilidade à fase metodológica? (Fonte: Adaptado de Mertens, 1998) Fases metodológicas da investigação (segundo Tuckman, 1994) Fase 4: Elaborar o plano e o design da investigação (Quantitativo/Qualitativo/Misto) / (Experimental/Correlacional/Descritivo: Estudo de caso, Etnográfico, Narrativa histórica, etc.) Fase 5: Identificar e escolher as fontes de recolha de dados Fase 6: Identificar e seleccionar os métodos e instrumentos de recolha de dados Fase 7: Escolher os métodos e as técnicas de análise de dados Fase 8: Fazer o trabalho de terreno (recolha dos dados) Fase 9: Elaborar o relatório de investigação Fase 10: Tornar públicos os resultados da investigação
Os dois conceitos-chave quando se fala de credibilidade de uma investigação científica (fase metodológica)
Os dois conceitos-chave quando se fala de credibilidade de uma investigação científica Para uma investigação ter valor científico é necessário assegurar a sua validade e fiabilidade. Só assim os resultados alcançados serão credíveis junto da comunidade científica. Garantir a validade e fiabilidade de uma investigação não é tarefa fácil. Os procedimentos para assegurar que uma investigação é válida e fiável não são os mesmos nas investigações quantitativas e qualitativas.
Validade (quantitativo) A validade de uma investigação consiste em estudar (medir) realmente aquilo para que foi planeada. Terá que ser assegurada tanto no que concerne ao plano ou design da investigação como no que respeita aos instrumentos de medida (recolha e análise de dados)
Fiabilidade (quantitativo) A fidelidade ou precisão de uma investigação pode ser definida pela consistência (ao longo do tempo) dos procedimentos usados e dos resultados obtidos. Os resultados devem ser independentes do olhar particular do investigador e terem uma margem mínima de erro.
Validade: Interna e externa O investigador deve garantir a validade interna e a validade externa da sua investigação. Dizemos que uma investigação tem validade interna se os resultados alcançados puderem ser aceites tendo em conta o plano ou design da investigação (se o investigador provou as hipóteses formuladas ou respondeu cabalmente às questões levantadas no início da investigação) Uma investigação tem validade externa se os resultados alcançados puderem ser generalizados a outros contextos ou situações similares.
Fiabilidade O investigador deve também garantir a fiabilidade do seu estudo. Esta está relacionada com a precisão dos instrumentos de medida usados, quer dizer, os instrumentos devem fornecer ao investigador o máximo de consistência e o mínimo de erros. Podemos obter a fidelidade dos instrumentos de medida recorrendo a vários procedimentos: (i) acordo interobservadores (intercodificadores, interjuízes); teste e reteste; sliphalf; alfa de Cronbach Nos estudos quantitativos a fidelidade depende da precisão dos instrumentos de medida. Nos estudos qualitativos depende das descrições feitas pelo investigador.
Investigação Quantitativa Factores que afetam a validade Interna Contexto Maturação e desenvolvimento dos sujeitos Selecção diferencial dos sujeitos Mortalidade experimental Efeitos de Interacções Reactividade da medida Instrumentação Regressão estatística Difusão ou imitação do tratamento
Investigação Quantitativa Fatores que afetam a validade externa Reatividade experimental Interacções tratamento-atributos Efeito reativo ou interativo do pré-teste Interferência de tratamentos múltiplos Novidade do tratamento [Significância e representatividade da amostra]
E na investigação qualitativa?
Teremos ou não de credibilizar as investigações qualitativas, como o fizeram os investigadores do paradigma quantitativo, usando os critérios de validade e de fiabilidade? Dois tipos de atitudes dos investigadores qualitativos Uns negam as críticas dos investigadores quantitativos (e.g. Guba & Lincoln, 1989) Outros pensam que a investigação qualitativa só será credível no mundo científico se se pautar por critérios de validade e precisão, embora com pressupostos e estratégias diferentes do paradigma quantitativo (e.g. Kirk & Miller; Lecompte & Goetz, 1982, 1984)
AQUI VAMOS ADOPTAR A 2ª POSIÇÃO, POIS SÓ ASSIM A INVESTIGAÇÃO QUALITATIVA GANHARÁ CREDIBILIDADE Mas se parte de pressupostos e estratégias diferentes como caracterizar e definir a validade e fidelidade? Os dados e o plano da investigação são diferentes Quantitativo Qualitativo Os dados no quantitativo assumem a forma de números (medem dimensões do comportamento); Fiabilidade está associada aos instrumentos utilizados para recolher os dados Os dados no qualitativo assumem a forma de atributos; podem existir números mas não têm todas as propriedades dos números; Fiabilidade associada às descrições feitas pelo investigador (dificuldade em usar instrumentos estandardizados e técnicas de controlo das possíveis fontes de erro ) Validade relaciona-se com o plano (como antes vimos), como controlar as variáveis e as prováveis fontes de erro : validade interna e externa Validade A importância dada aos contextos e à subjetividade dos participantes torna difícil generalizar os resultados
De que depende a FIABILIDADE ou PRECISÃO? Quantitativo Qualitativo No quantitativo depende da precisão dos instrumentos de recolha de dados. Depende sobretudo da instrumentação. No qualitativo depende sobretudo do investigador das descrições feitas pelo investigador (construções que elabora sobre o que observa) Problema da subjetividade do investigador e do enviesamento que pode fazer sobre a realidade que observa Existem várias técnicas estatísticas para determinar a fiabilidade: teste-resteste; slip-half; alfa de Cronbach a medida mais usada Fidelidade interna: grau em que investigadores diferentes são capazes de observar os mesmos fenómenos ou definir os mesmos construtos (no mesmo contexto ou em contextos idênticos); Fidelidade externa: grau em que outros investigadores, perante um conjunto de construtos já elaborados, conseguem fazê-los corresponder aos dados que recolhem (seguindo o mesmo procedimento do investigador que os elaborou) [Lecompte & goetz, 1982]
Como tornar Fiáveis as Investigações Qualitativas? O modo mais sério dos investigadores qualitativos garantirem a fiabilidade dos seus estudos é serem o mais completos possível nas descrições do processo de investigação, o que Geertz (1966, 1988) designou de descrições densas (thick descriptions). Estas descrições densas devem incluir: um delineamento (físico, social e cultural) do contexto do estudo uma definição do papel do investigador uma descrição do quadro de referência concetual uma descrição exaustiva dos métodos de recolha e análise de dados [ No quantitativo há a definição e operacionalização dos conceitos/construtos o que não acontece em muitos estudos qualitativos, o que prejudica a fidelidade e cria obstáculos à replicação dos resultados]
Como tornar Fiáveis as Investigações Qualitativas? Estratégias para aumentar a fiabilidade externa O investigador deve ser o mais claro e exato possível na descrição dos seguintes aspectos (Lecompte & Goetz, 1982, 1984): Qual é o estatuto do investigador? Como escolheu os informadores? Quais são as situações e as condições sociais? De que construtos e premissas analíticas parte? Que métodos de recolha e análise de dados usou?
Como tornar Fiáveis as Investigações Qualitativas? Estratégias para aumentar a fiabilidade interna Fidelidade interobservadores ou interavaliadores (Lecompte & Goetz, 1982, 1984), que não são necessariamente quantitativos (frequência). Cinco estratégias para aumentar a fidelidade interna: Descrições com um nível de inferência baixo Múltiplos investigadores Investigadores participantes assistentes (locais mas não os informantes) Corroboração dos dados por colegas da mesma área Registo mecânico da informação (sem codificação ou classificação)
Como tornar Válidas as Investigações Qualitativas? Mostrando o grau em que as conclusões do estudo representam a realidade que descrevem; Avaliando se os construtos elaborados pelo investigador representam ou medem a experiência humana descrita Validade interna: grau de correspondência entre as observações e medições científicas e a realidade estudada (credibilidade) Validade externa: tem a ver com o poder de generalização das conclusões alcançadas (transferibilidade) (Campbell & Stanley, 1963; Guba & Lincoln, 1989)
Estratégias para aumentar a Validade Interna Permanência prolongada do investigador no terreno Entrevistas e outras técnicas de recolha direta de dados Observação participante Autorreflexão do investigador (subjetividade disciplinada, Erickson, 1973) Entre outras estratégias
Será um problema a Validade Externa para os investigadores qualitativos No sentido clássico do conceito não. Mas qualquer investigador deseja que as conclusões do seus estudos possam servir como referência e ser generalizadas a outros contextos Goetz & LeCompte (1984) falam de: COMPARABILIDADE: grau em que as componentes do estudo são suficientemente descritas a ponto de poderem ser comparadas com, pelo menos, um outro estudo, tendo em vista transferir a este último as conclusões do primeiro TRADUCTIBILIDADE: grau em que os quadros de referência concetuais, a linguagem e as técnicas utilizadas são fáceis de entender e utilizar por outros investigadores
Obrigada pela vossa atenção Guilhermina Lobato Miranda gmiranda@ie.ulisboa.pt
Bibliografia Almeida, L., & Freire, T. (2000). (2.ª ed.). Metodologia da investigação em psicologia e educação. Braga: Psiquilíbrios. Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. USA: Houghton Mifflin Company. Cohen, L., Manion, L., & Morrison, K. (2006).(5th ed.).research methods in education. New York: RoutledgeFalmer Geertz, c. (1973). The interpretation of cultures. New York: Basic Books Classics Guba, E. G., & Lincoln, Y. S. (1994). Competing paradigms in qualitative research. In N. K. Denzin & Y. S. Lincoln (Eds.). Hanbook of qualitative research (pp. 105-117). Thousand Oaks, CA: Sage. Retirado de: https://www.uncg.edu/hdf/facultystaff/tudge/guba%20&%20lincoln%201994.pdf LeCombe, M. D., & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of Educational Research, 52(1), 31-60. Retirado de: http://www.colorado.edu/education/sites/default/files/attachedfiles/lecompte_goetz_problems_of_reliability_validity_in_ed_re.pdf
Bibliografia (cont.) LeCombe, M. D., & Goetz, J. P. (1984). Ethnography and qualitative design in educational research. USA: Academic Press Mertens, D. M. (1998). Research methods in education and psychology: Integrating diversity with quantitative & qualitative approaches. London: Sage. Tuckman, B. W. (2000). Manual de investigação em educação (A. Rodrigues-Lopes, Trad.). Lisboa: Fundação Calouste Gulbenkian. (Obra original publicada em 1972)