Avaliação de Processo e de Produto Maria de Fátima Ramos Brandão Universidade de Brasília Abril,2008 O objetivo desta unidade é estabelecer as bases conceituais necessárias para promover a avaliação dos processos de desenvolvimento e do resultado obtido pelo trabalho de equipe na produção de um jornal escolar. 1 - Etapas da Avaliação A avaliação pode ser entendida como o estudo sistemático de um fenômeno, processo, produto, evento, pessoa ou grupo, que permite comparar o que foi idealizado, realizado, ou planejado, com uma série de critérios ou padrões a serem alcançados. Os processos avaliativos incluem as etapas de: 1. Definição do objeto da avaliação: explicitação clara do projeto ou produto a ser avaliado; 2. Definição do modelo de avaliação: determina o seu escopo a partir da definição das dimensões ou aspectos a serem considerados na avaliação que são expressos por um conjunto de indicadores. 3. Definição dos critérios de avaliação: descrição objetiva e operacional de cada dimensão ou aspecto, expresso por indicadores, com as respectivos critérios e padrões de análise do projeto ou produto; 4. Coleta de dados: determina os métodos, instrumentos e medidas bem como a equipe envolvida na coleta de dados; 5. Análise de dados: determina métodos, ferramentas e técnicas de análise dos dados; 6. Julgamento de valor : realiza análise e julgamento de valor a partir dos critérios préestabelecidos com os dados obtidos referentes aos indicadores do modelo de avaliação definido. 2 - Descrição, Quantificação, Escore e Medida As informações coletadas, quantitativas ou qualitativas, e os desempenhos observados devem ser representados segundo regras ou escalas de medida e quantificação.
A medida direta é chamada de escore bruto e pode ser, por exemplo, o tempo gasto. As medidas brutas, físicas ou quantitativas, podem ser representadas por meio de escalas que geralmente tem um zero, no início, com unidades iguais ao longo da escala. Dessa forma, podemos quantificar e descrever a realidade. Três enfoques de interpretação dos escores são principalmente adotados: referência à norma, referência a conteúdo e referência a critério. Referência a Norma A interpretação do escore no enfoque de Referência a Norma compara o escore do indivíduo com os escores de um grupo. O resultado de desempenho é interpretado em função dos resultados dos demais. Por exemplo, Pedro teve um desempenho entre os 10% melhores alunos da turma. A norma adotada é o resultado de desempenho dos alunos da turma. Referência a Domínio A interpretação do escore no enfoque de Referência a Domínio (ou conteúdo) considera que o resultado representa uma medida de abrangência do desempenho dentro de um domínio definido. Por exemplo, Maria teve um desempenho de 60% na prova de matemática. Logo, é de se supor que ela desenvolveu apenas 60% do conteúdo de matemática definido. Referência a Critério A interpretação do escore em Referência a Critério estabelece à priori qual desempenho esperado do processo ou produto avaliado. Por exemplo, é necessário nota mínima de sete, nos testes de cada módulo, para avançar para os módulos seguintes. Informações qualitativas Podem ser representadas por descrições conceituais em formato de categorias, de acordo com um modelo categórico de análise de conteúdo, onde se procura expressar toda a mensagem da informação qualitativa. Por exemplo: (1) Informações qualitativas expressas por palavras escritas ou gravadas, símbolos, gráficos, fotografias e vídeos. Todos os tipos de comunicação são passíveis de tratamento pela análise de conteúdo. A mensagem é dividida em segmentos por pessoas que entendem do assunto ( grupo de juízes"). Cada segmento que procura expressar uma idéia completa é definido segundo sentenças que representam, em palavras, todo o conteúdo da mensagem do segmento. Por exemplo, num filme de ação, uma alta freqüência da categoria de confronto e
ameaças com violência poderá ser interpretado como impróprio para menores. (2) Observações e registro de freqüências de comportamentos individuais ou de grupo. Em muitas situações, comportamentos são claramente definidos a priori. Pesquisadores treinados assumem posição de observador para assinalar em formulários específicos a freqüência de ocorrência de cada um dos comportamentos observados. Um observador atento, com definições prévias e bem operacionalizadas, posiciona-se discretamente e assinala em formulário apropriado o número de vezes que comportamentos tais como discordar, concordar, xingar, bater, chutar e morder, por exemplo, são manifestos. (3) Informações obtidas em arquivos e registros públicos ou privados. Esse tipo de dados (arquivo) pode ser analisado quantitativa ou qualitativamente. Qualitativamente, as informações e registros de arquivos são analisados segundo os procedimentos da análise de conteúdo. Os dados quantitativos podem ser analisados e comparados com outros números relativos a outros arquivos e dados. 3 - Julgamento de Valor O julgamento de valor consiste no confronto entre os objetivos, padrões e normas de referência previamente definidos, com os dados representativos do que foi efetivamente alcançado ou atingido, utilizando as regras de descrição, escalas de mensuração e quantificação. O julgamento de valor é fortemente dependente da finalidade, tipo e modelo de avaliação, bem como, dos critérios e padrões de referência adotadas. O julgamento de valor é apoiado por um modelo teórico ou empírico de análise de dados. A separação entre o pretendido e o alcançado pode ser descrita e analisada com diferentes métodos e perspectivas. A escolha entre medidas, escalas de proximidade, tipo de avaliação e de interpretação das medidas já pressupõe decisões metodológicas, conceituais e políticas. Por exemplo, do ponto de vista estritamente estatístico, podem-se apresentar números isolados percentuais que representam a distância do projeto/produto dos seus objetivos (nenhum projeto ou produto alcança 100% dos seus objetivos). Pode-se escolher apresentar os resultados em intervalos que podem ou não incluir a verdadeira separação entre o alcançado e o pretendido. Ou, ainda como mais uma opção, pode-se substituir todos os números por representações gráficas ou descrições verbais. O que importa é saber que se tem escolhas e que essas escolhas devem estar de acordo com a natureza do projeto ou produto. Julgamentos de valor são imprescindívies e inevitáveis na tomada de ações. Imperdoável é não ter consciência explícita dessas escolhas.
4 - Tipos e Finalidades da Avaliação A avaliação é definida de acordo com o que se deseja avaliar e em função do estágio do processo ou produto que está sendo avaliado. Existem várias tipologias ou esquemas de avaliações. A mais comum propõe que as avaliações são: (1) Avaliação preliminar, diagnóstica e de necessidades. Realizada antes do início das atividades do projeto. Tem por finalidade identificar problemas, levantar dados da realidade e do contexto, identificar necessidades da comunidade ou do público alvo; (2) Avaliação de processo. Corresponde ao acompanhamento das atividades, reflexão e redirecionamento das ações no âmbito de um projeto; (3) Avaliação de produtos ou de resultados. Realizada na fase intermediária ou final do projeto, quando se deseja identificar os benefícios, resultados ou mudanças provocados no público alvo, parceiros e equipe responsável; (4) Avaliação de impacto. Comparam-se os resultados observados no marco inicial com os obtidos ao final do projeto para avaliar o quanto o conjunto de ações realizadas pelo projeto afetou ou não a comunidade e no público alvo. 5 - Indicadores de avaliação O conceito de indicador de avaliação pode ser aplicado em diversos âmbitos da realidade, podendo ser um dado, uma medida quantitativa ou estatística, que proporciona informação relevante acerca de algum aspecto da realidade. Um conjunto de indicadores, definido por um modelo de avaliação, fornece uma clara e coerente representação da realidade, possibilitando a análise sistemática das relações entre o planejado e o realizado. Os indicadores devem ser selecionados em função de sua relevância, significação, representatividade, confiabilidade, adequação, praticidade e generalidade. Devem se constituir num conjunto reduzido, para diminuir o nível de complexidade, porém devem proporcionar uma visão sintética, significativa e compreensiva da realidade e ainda, devem possibilitar e orientar a tomada de decisões. Para cada conjunto de indicadores, um conjunto de critérios, normas, padrões de referência ou de boas práticas são utilizados para o julgamento de valor e análise sistemática e comparativa dos processos e resultados. 6. Modelo de Avaliação do Jornal Escolar A temática da Avaliação é compreendida para avaliar o processo vivenciado pelo grupo e o jornal escolar produzido. As etapas do processo de desenvolvimento do jornal e o projeto editorial podem ser utilizados para definir os indicadores e critérios de avaliação do processo e do produto
desenvolvido. Uma exemplificação é apresentada a seguir, como um roteiro que pode ser adaptado aos indicadores e critérios propostos por cada grupo. Roteiro de Avaliação do Jornal Escolar Indicador Descrição Critério Sistemática de coleta 1) Nome do Jornal Logo e marca que caracteriza o jornal 2) Público alvo Faixa etária, nível de educação e sócioeconômico do leitor 3) Seções ( ) a. Editorial ( ) b. Agenda ( ) c. Qual o Tema? ( ) d. Ciência ( ) e. Intervalo ( ) f. Espaço Aberto ( ) g. Cidade ( ) h. Diário de Classe ( ) i. Sala de leitura ( ) j. Outras seções: Projeto Gráfico Formato e suporte Tiragem O conjunto de editorias deve ser analisado individualmente e em seu conjunto. Para cada seção deve ser analisado o conteúdo. Cores, estilos de letras, tamanho, disposição das matérias, diagramação, imagens e facilidade de alteração quando necessário. Impresso ou eletrônico (suporte) e tamanho (formato) impresso (número de exemplares) eletrônico (CD, ou internet) -Significado e identidade com o público; - Criatividade - Simplicidade ou facilidade - Adequação da linguagem adotada; - Existência de jornal similar ou outras opções; - Interesse do leitor - Atualidade - Integração das seções (por temática ou linguagem comum) - Variedade Padrão gráfico que caracteriza uma identidade e personalidade para o jornal Adequação do formato e suporte ao público leitor Relação de custo e distribuição. Pesquisa de opinião em amostra piloto ou entre os membros da turma/grupo e opinião do público leitor e alunos da turma e opinião do público leitor e alunos da turma e opinião do público leitor e alunos da turma Opinião dos especilistas e professores. Roteiros com perguntas de avaliação devem ser elaborados para definir os dados e informações a serem coletadas, segundo os indicadores do modelo. Os critérios de qualidade são também previamente definidos. Logo, as perguntas formuladas devem ser respondidas com debates abertos e francos
nas reuniões de mesa e de revisão. Os roteiros de avaliação incluem as perguntas pertinentes e relevantes para consolidar os critérios e indicadores definidos pelo modelo tais como: a) O jornal atingiu o público-alvo pretendido? b) A linguagem de comunicação estava adequada ao público? c) Os textos estavam integrados com a parte visual? d) Houve muito atropelo no processo de produção? e) O que funcionou, o que não? f) Como podemos evitar os problemas encontrados? Com os colegas, elabore outras perguntas que procure identificar problemas durante o processo de produção e aspectos importantes do jornal de forma que possam ser aperfeiçoados em edições futuras. Referências Fitzpatrick, J.L., Sanders, J.R. Worthen, B.R. Programa evaluation: alternative approaches and practical guidelines. 3rd. ed, Pearson Education, 2004. Cronbach, L.J. Fundamentos da testagem psicológica. 5a ed., Artes Médicas, Porto Alegre, 1996.