Seminário de Investigação em Métodos e Técnicas de Recolha e tratamento de Dados. Tema 3 Estratégias de Investigação

Transcrição

1 Seminário de Investigação em Métodos e Técnicas de Recolha e tratamento de Dados Tema 3 Estratégias de Investigação Edineide Paes Manuela Cachadinha Maria Augusta Manso

2 ESTUDOS DE AVALIAÇÃO Na perspectiva de Trochim (2006), a avaliação é uma área metodológica que está intimamente relacionada com a investigação social tradicional mas distingue se dela. A avaliação utiliza muitas das metodologias e técnicas da investigação social, mas porque a avaliação é efectuada num contexto político e organizacional, requer habilidades de grupo, gerenciamento de capacidades, destreza política, sensibilidade às várias partes interessadas e outras habilidades das quais a investigação social em geral não depende tanto. Na lógica do referido autor, existem muitos tipos de avaliação que não resultam necessariamente numa avaliação do valor ou mérito de um dado objecto. Neste caso estão os estudos descritivos, as análises de realização, as avaliações formativas, entre outras. Já Ferreira (2008) apresenta uma classificação da investigação adaptada de Gay em que o critério de classificação diz respeito ao propósito e ao método. Classifica a investigação em avaliação considerando o propósito da investigação em avaliação, a análise e recolha de dados, que deverão ser recolhidos em função de um ou mais critérios, para a tomada de decisões. O objectivo genérico da maior parte das avaliações é fornecer um feedback útil para públicos diversos. Frequentemente este feedback é percebido como útil se ele ajuda a tomar decisões, ou seja, se está empiricamente orientado. Para além de Trochim (2006), e relativamente à Evaluation Research, a investigação em avaliação, avaliação de programas ou de projectos refere se mais a um tipo de investigação do que a um método especifico (Babbie, 2001 apud Cloete, 2004). Rossi, Freeman e Lipsey (2004) como citados por Cloete (2004), definem a avaliação de programas como o uso dos procedimentos da investigação social para, de modo sistemático, investigarem a eficácia de programas de intervenção social. Patton (1986) apud Cloete (2004) definiu a avaliação de programas como a recolha sistemática de informação acerca de actividades, características e resultados de programas para uso de públicos específicos para reduzir a incerteza, melhorar a eficácia e tomar decisões no que diz respeito ao uso que esses programas podem ter e afectar. Este artigo tenta por em perspectiva os tipos de avaliação em termos de concepção e diagnóstico, necessidades e impacto social da avaliação, avaliação formativa, monitorização do programa bem como a eficácia e a eficiência da avaliação, centrando se nos vários aspectos metodológicos e discutindo, sumariamente, o contexto social e politico da avaliação de

3 programas e a utilização dos resultados de avaliação. Também são fornecidas guidelines para maximizar aos resultados da investigação em avaliação. Os estudos de avaliação constituem um tipo de trabalho de investigação no qual o investigador está investido no papel de avaliador de uma situação ou de um programa. Nestes estudos é necessário escolher critérios específicos ou um conjunto de interpretações através dos quais se tornarão evidentes as características positivas e/ou negativas da situação, se salientarão as forças e/ou as fraqueza Todos os estudos de avaliação são estudos de caso. O programa, a pessoa ou a agência a ser avaliada é o caso. O estudo é, pelo menos em parte, uma busca das virtudes e dos defeitos desse caso. ( ) A maioria dos estudos de caso não são estudos de avaliação, mas algumas interpretações feitas pelo investigador terão uma natureza avaliativa e, por isso, nesse sentido o investigador de caso é sempre um avaliador. ( ) O avaliador mais quantitativo salienta normalmente critérios de produtividade e eficácia. Fazendo medições em algumas escalas de resultados para elaborar o caso. O avaliador mais qualitativo salienta normalmente a qualidade das actividades e dos processos, retratando os numa descrição narrativa e numa asserção interpretativa. Todas as estratégias incluem a essencialidade dos contextos, de múltiplos pontos de vista e da triangulação. O leitor precisa de compreender o mérito do caso e os problemas e os critérios são seleccionados para isso acontecer (Stake, 2009: ). Contudo, Marino (2003, p. 44) destaca que os diversos [...]agrupamentos, classificações ou categorizações de avaliações congregam diferentes abordagens, tipos ou modelos de avaliação., sendo motivo de estudos por diversos autores na área de gestão, definindo termos como: modelo, abordagem e tipos de avaliação. Assim [...]o termo approach (abordagem) em lugar de modelo é mais apropriado para cobrir a diversidade de alternativas de avaliações existentes. (Stufflebeam, 2001 apud Marino, 2003, p. 44). Trochim (2006) faz referência a diferentes estratégias de avaliação que podem ser utilizadas nos estudos de avaliação. As estratégias de avaliação são perspectivas amplas e abrangentes sobre as situações em apreço. O referido autor distingue quatro grupos principais de estratégias de avaliação: Os modelos científicos experimentais são, provavelmente, as estratégias de avaliação historicamente dominantes. Põem a tónica na quantificação, imparcialidade, precisão,

4 objectividade e validade das informações geradas. Poderemos incluir dentro deste grupo a tradição de projectos experimentais e quase experimentais, a investigação por objectivos que provém da educação e os estudos economicamente orientados para a analisa do custobenefício. Os modelos orientados para sistemas de gestão. Dois dos mais comuns dentro deste grupo são: PERT, the Program Evaluation and Review Technique, and CPM, the Critical Path Method. Ambos usados no mundo empresarial e nas avaliações de política governamental nos USA e noutros países. Estes modelos orientados para sistemas de gestão enfatizam a abrangência da avaliação, colocando a avaliação dentro de um quadro mais vasto de actividades organizacionais. Os modelos qualitativos e antropológicos que enfatizam a importância da observação, a necessidade de manter a qualidade fenomenológica do contexto de avaliação e o valor da interpretação humana e subjectiva no processo de avaliação. Incluem se neste grupo as abordagem denominadas naturalistas, várias escolas qualitativas, as teorias críticas de arte, etc. Os modelos orientados para os sujeitos ou participantes. Estes enfatizam a importância central da avaliação feita pelos participantes, especialmente pelos clientes e utentes de um programa ou de uma tecnologia. Inclui se também aqui os sistemas de avaliação orientados para o consumidor. Acesos debates sobre as qualidades das referidas estratégias têm tido lugar entre os avaliadores. Nos últimos anos tem se tentado integrar algumas estratégias. Contudo, não há soluções universais em matéria de avaliação. Alguns autores (Tuckman 2005 e Trochim, 2006), quando estudam a avaliação distinguem entre avaliação formativa e avaliação sumativa. Esta distinção vai dar origem a diferentes estudos de avaliação. A avaliação formativa refere se à avaliação interna de um programa empreendida, normalmente, como parte de um processo de desenvolvimento, em que a performance dos estudantes no programa se compara com os objectivos do mesmo. Tal avaliação é uma tentativa para remover as dificuldades relativas aos materiais de aprendizagem (ou qualquer outro aspecto do programa), procurando pô los à prova, num grupo de testagem, à medida que se vão desenvolvendo. Estas experiências possibilitam que o

5 agente planificador diga se os materiais são praticáveis e sugere lhe as alterações a fazer (Tuckman, 2005: 475). A avaliação sumativa é uma tentativa sistemática para verificar se o programa global desenvolvido, vai ao encontro dos objectivos com maior sucesso do que os programas alternativos (ou mesmo sem se aplicar qualquer programa). A avaliação sumativa utiliza o processo de comparação para avaliar o programa com todas as suas características, enquanto a avaliação formativa é uma fase do processo de desenvolvimento e, por conseguinte, precede a avaliação sumativa (ob. cit.: ). Há uma grande variedade de técnicas de avaliação formativa e estas não são tão sistemáticas como as da avaliação sumativa. A avaliação formativa utiliza frequentemente o questionário, as entrevistas, as análises de documentos, faz estudos piloto. A avaliação sumativa recorre com frequência às quantificações, às estatísticas, ao estudo das correlações, etc. Tuckman (2005) propõe como exemplo de modelo de avaliação sumativa um modelo baseado no design experimental. Este modelo inclui algumas técnicas para formular hipótese, construir definições operacionais, identificar variáveis, construir um design, construir instrumentos de medida e ensinar a praticar a análise estatística. O referido autor diz nos, utilizando o seu exemplo, que a avaliação formativa difere sumativa pela falta de um grupo de controlo ou de comparação. Um aspecto delicado e importante, sob o ponto de vista social e educativo, dos estudos de avaliação é que, com frequência eles têm como objecto de trabalho a própria produção científica. Estudos Etnográficos Na tentativa de formação de uma visão mais holística sobre o estilo de vida do ser humano, a etnografia emergiu a partir do final do século XIX e início do século XX(Mattos, 2001). Contudo, por volta da década do ano de 1970, conforme André(1995), o cotidiano da sala de aula e o processo de avaliação curricular tornaram se o foco das inquietações dos pesquisadores, havendo prioridade para utilização da observação como forma de acompanhamento do trabalho, do relacionamento e do comportamento de professores e alunos, procedimento este que passou a ser caracterizado como análises de interação.

6 Na perspectiva de trabalhos consultados (Denzin e Lincoln, 2005; Fick, 2005; Carmo e Ferreira, 2008; Stake, 2009) o interesse dos estudos etnográficos não se limita ao campo da Etnologia e da Antropologia. Em vários domínios das Ciências Sociais tem se registado um crescente interesse pelos estudos etnográficos, com a intenção de dar resposta a problemas que os métodos tradicionais não têm vindo a resolver de forma satisfatória (Carmo e Ferreira, 2008: 237). Podemos considerar que este tipo de trabalhos são de natureza qualitativa e produzem descrições profundas que procuram compreender as situações observadas. Os estudos etnográficos recorrem à etnometodologia como forma de organização dos processos de investigação. A etnometologia questiona o modo como as pessoas criam e produzem a realidade social quotidiana nos seus processos de interacção. O interesse nas actividades do dia a dia, na sua execução e, para além disso, na construção de um contexto de interacção, localmente orientado, onde as actividades são realizadas caracteriza genericamente o programa de pesquisa da etnometodologia. Este programa tem se concretizado principalmente em pesquisas empíricas de análise das conversas (Flick, 2005: 20). Contudo, tecnicamente, estes estudos não se reduzem à análise de conversas. Os estudos etnográficos pressupõem uma extensa recolha de dados durante um período de tempo mais ou menos longo, de uma forma naturalística, isto é sem que o investigador interfira na situação que está a estudar (Carmo e Ferreira, 2008: 237). A etnometodologia não se restringe apenas aos métodos que os investigadores utilizam na recolha de dados; referese, outrossim, à matéria substantiva a ser investigada. Para os etnometodólogos os sujeitos não são os membros de tribos primitivas; são pessoas que se encontram em várias situações nas sociedades modernas (Bogdan & Biklen, 1994: 60). O conceito de cultura é fundamental nos estudos etnográficos. Não existe um consenso quanto à definição de cultura, no entanto, a ideia de cultura está sempre subjacente aos trabalhos etnográficos. Alguns antropólogos definem cultura como o conhecimento acumulado que as pessoas utilizam para interpretar as experiências e induzir os comportamentos (Spradley, 1980: 6). Nesta concepção a cultura compreende aquilo que as pessoas fazem, aquilo que sabem e também os objectos que produzem e utilizam. Qualquer grupo humano que viva em conjunto durante um certo período de tempo, desenvolve uma cultura própria, entendida como um conjunto de padrões de comportamento e crenças que permitem compreender o modo de agir dos elementos do grupo em questão (Carmo e Ferreira, 2008: 237).

7 Segundo a s consultas efectuadas, na estratégia de investigação etnográfica a técnica de pesquisa privilegiada consiste, inicialmente, na observação participante, a qual exige um longo trabalho de campo por forma a que o investigador compreenda, em profundidade, a cultura em apreço. Este tipo de estudos não se limita à análise das sociedades tradicionais ou denominadas primitivas e têm vindo a ser aplicadas à compreensão dos grupos humanos e organizações modernos tendo em vista o seu desenvolvimento. Mesmo em avaliação de programas e em investigação educacional aplicada, a metodologia etnográfica tem sido largamente aplicada pois os programas e os contextos educacionais reais geram culturas específicas. Iniciando o seu trabalho pela recolha de dados, através da observação participante, o investigador recorrerá posteriormente a outras técnicas: entrevistas, questionários, escalas de atitudes, análise documental, recolha de artefactos, gravações em vídeo e áudio, etc. (Carmo e Ferreira, 2008: 237). Tendo como ponto de partida um interesse pelo estudo de uma dada organização ou grupo, vai recorrer inicialmente à observação, e progressivamente irá definindo com maior rigor o problema de investigação e tomando decisões sobre os elementos da organização que deverá preferencialmente observar e entrevistar. Após interagir com estes elementos, poderá tomar outras decisões em relação à continuação do estudo. O investigador procura emergir na organização e tenta compreender os comportamentos dos sujeitos, não através do seu ponto de vista, mas do ponto de vista daqueles que observa. Finalmente, a interpretação e aplicação dos resultados do seu estudo serão realizadas numa perspectiva cultural (ob. cit.: 238). Heritage (citado em Fick, 2005) sintetiza as premissas da etnometodologia e da análise das entrevistas em três hipóteses básicas: (1) as interacções organizam se em estruturas; (2) as interacções são moldadas pelo contexto, e também o renovam; (3) as duas propriedades são inerentes aos pormenores das interacções, pelo que nenhuma ordem desses pormenores pode ser a priori desprezada como acidental, irrelevante ou desordenado (Heritage, 1985:1). As referidas hipóteses têm dois pontos centrais: a ideia de que a interacção é produzida de modo ordenado; e de que o contexto, que é o seu enquadramento, é produzido em simultâneo com a interacção e por via dela. Decidir o que é relevante para os intervenientes na interacção social só pode ser feito pela análise dessa interacção e nunca tomada a priori como certa. O foco não é colocado no significado da interacção e do seu conteúdo para os

8 participantes, mas sim o modo como a interacção se organiza. O tema da investigação tornase, assim, o estudo das rotinas da vida quotidiana, mais do que os acontecimentos marcantes, conscientemente percebidos e investidos de significado (Fick, 2005: 21). Para tornar visíveis Os métodos de organizar as interacções, o investigador tenta adoptar uma atitude de indiferença etnometodológica ( ). Deve abster se de interpretações a priori assim como de adesão às perspectivas dos actores ou de um deles em particular. O papel do contexto em que as interacções se desenrolam e a demonstração empírica da sua relevância para os participantes é crucial para se compreender a perspectiva da etnometodologia (ob. cit.:21). Na actualidade, o objecto de estudo num trabalho etnográfico é, frequentemente, uma organização ou um grupo de pessoas (pode ser uma turma ou uma escola, um serviço hospitalar ou um hospital, etc.). Como dizem Carmo e Ferreira, o comportamento e as crenças dos sujeitos que pertencem a uma determinada organização serão melhor compreendidos no contexto da própria organização. Daí se percebe a importância da observação participante. A observação participante define se como uma estratégia de campo que combina vários elementos: a análise documental, a entrevista dos sujeitos informantes, a participação e observação directas, e a introspecção (Denzin, 2005: 157). Spradley (1980: 34) distingue três fases na observação participante: 1 A observação descritiva, no início, que serve para orientar o investigador no terreno de estudo e fornecer lhe descrições específicas. É usada para captar exactamente a complexidade do campo e definir linhas de orientação mais concretas; 2 A observação focalizada, na qual o foco se vai progressivamente estreitando sobre os problemas e processos mais essenciais para a questão da investigação; 3 A observação selectiva, perto do final da recolha de dados, centrada na procura de mais evidências e exemplos das práticas e processos encontrados na segunda fase. O que interessa não é, pois, a definição a priori da situação pelo investigador, mas antes o modo como a conversa se constitui em consulta, através dos contributos dos intervenientes, na troca de palavras em que a conversa se estrutura. Por outro lado, o contexto institucional torna se igualmente relevante para a conversa, construído através dos contributos dos intervenientes. Só a prática específica do conselheiro e do cliente fazem da conversa uma consulta, num contexto determinado (Flick, 2005: 21). As análises etnometodológicas exigem

9 descrições rigorosas e objectivas sobre o modo de organização das interacções sociais o que permite estabelecer tipologias dos processos de conversação e de interacção. Apontado por Carlomagno & Ventura(2005), no estudo etnográfico deve se: manter intercâmbio entre investigador e objeto estudado, por meio de contato direto e prolongado com os envolvidos no estudo, valorizando novos conceitos e relações para compreensão detalhada da realidade e do significado presente nas representações dos investigados sobre si, suas experiências e o mundo que os cerca; obter o maior número possível de dados descritivos de situações, ambientes, pessoas, depoimentos etc, sendo, o investigador, o principal instrumento de coleta de dados durante o trabalho de campo, podendo variar o tempo da pesquisa de acordo com as necessidades da investigação, compreendendo meses e até mesmo anos; organizar uma metodologia flexível e aberta como um processo de construção contínua para enriquecimento da teorização, variando os instrumentos de coleta de dados, envolvendo a observação, a entrevista e a análise de documentos; ressaltar o processo de desenvolvimento da investigação, principalmente o momento de observação em detrimento ao produto que se pretende alcançar, ou seja do próprio resultado final. Portanto, o estudo etnográfico caracteriza se por sua descrição minuciosa, rica em detalhes, sobre um determinado contexto social observável, constituindo se em um [...]conjunto de significantes em termos dos quais os eventos, fatos, ações, e contextos, são produzidos, percebidos e interpretados, e sem os quais não existem como categorial cultural. Esses conjuntos de significantes nos apresentam como estruturas inter relacionadas, em múltiplos níveis (Ogbu, 1981) de interpretação. (Mattos, 2001, p. 4) Em termos de considerações sobre esta estratégia de investigação muita coisa se poderia dizer mas as limitações de espaço e tempo inerentes a este trabalho obrigam nos a ser breves. Este tipo de estudos exige um período de tempo relativamente longo para a recolha de uma grande variedade de dados, cuja interpretação, frequentemente, se reveste de dificuldades. O investigador deverá possuir experiência não só como observador, mas também de análise de dados; experiência que poderá ser garantia de maior objectividade e rigor na recolha e

10 interpretação dos dados. Quando bem conduzidos, os estudos etnográficos permitem uma compreensão da cultura de uma dada organização, da maneira como os seus elementos interagem uns com os outros e da influência do contexto no comportamento dos indivíduos, de uma forma que talvez nenhum outro estudo permita (Carmo e Ferreira, 2008: 238). Referências bibliográficas ANDRÉ, M. E. (1995). Etnografia da prática escolar. São Paulo: Papirus. Bogdan, R. & Biklen, S. (1994). Investigação Qualitativa em Educação. Porto: Porto Editora. Carmo, H. e Ferreira, M. (2008). Metodologia da Investigação (2ªedição). Lisboa: Universidade Aberta. CARLOMAGNO, T. VENTURA, M. (2005). Prática de ensino 2 para licenciatura. Rio de Janeiro: Fundação CECIERJ. Cloete, F. (2006) Fundamentals of Evaluation Research. Journal of Public Administration, 41(3.1), Ferreira, M (2008). A Prática da Investigação. In Carmo, H. e Ferreira, M. (2ªed.), Metodologia da Investigação. Lisboa: Universidade Aberta, Denzin, N. & Lincoln, Y. (2005). The sage Handbook of Qualitative Research (3ªedição). London: Sage Publications. Ferreira, M (2008). A Prática da Investigação. In Carmo, H. e Ferreira, M. (2ªed.), Metodologia da Investigação. Lisboa: Universidade Aberta, Flick, U. (2005). Métodos Qualitativos na Investigação Científica. Lisboa: Monitor. Heritage, J. Recent Developments in Conversation Analysis, Sociolinguistics, 15: LÜDKE, M. ANDRÉ, M. (2003). Pesquisa em educação: abordagens qualitativas. São Paulo: EPU. Marino, E. (2003). Diretrizes para avaliação de projetos e programas de investimento social privado. Dissertação de mestrado. São Paulo: USP. MATTOS, C. L. G. de. (2001). A abordagem etnográfica na investigação científica. Disponível em Acesso em 12/01/2011.

11 Spradley, J. (1980). Participant Observation. New York: Holt, Rinehart & Winston. Stake, R. (2009). A Arte da Investigação com Estudos de Caso (2ª edição). Lisboa: Fundação Calouste Gulbenkian. Trochim, W. (2006). Research Methods. Knowledge Base. Web Center for Social Research Methods. Tuckman, B. (2005). Manual de Investigação em Educação. Lisboa: Fundação Calouste Gulbenkian.