Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro

Transcrição

1 SABER Abordagem de Sistemas par a Melhores Resultados Educacionais AVA LI A Ç Ã O DE E S TUD A NTE S O objectivo deste documento é fornecer uma visão geral dos pontos mais relevantes para o desenvolvimento de um sistema de avaliação de estudantes mais eficaz. O foco incide sobre os sistemas para avaliar a aprendizagem do aluno e o aproveitamento escolar nos níveis primário e secundário. O documento extrai princípios e linhas orientadoras das experiências de países, normas de avaliação de profissionais e a base actual de investigação. O objectivo é de fornecer aos decisores políticos nacionais, autoridades dos ministérios de educação, quadros de organizações de desenvolvimento e outros intervenientes um quadro e indicadores chave para diagnósticos, debates e estabelecimento de um consenso sobre como desenvolver um sistema sólido e sustentável de avaliação de estudantes que contribua para o melhoramento da qualidade da educação e aprendizagem para todos. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro Marguerite Clarke, Especialista Superior de Educação, Rede de Desenvolvimento Humano do Banco Mundial O Fundo Fiduciário Russo de Ajuda à Educação para o Desenvolvimento (FF READ) é uma colaboração entre a Federação Russa e o Banco Mundial que apoia o melhoramento dos resultados da aprendizagem dos estudantes em países de baixo rendimento por meio do desenvolvimento de sistemas sólidos de avaliação de estudantes. Visite o Website do READ em: para obter informações adicionais Marguerite Clarke BANCO MUNDIAL 1

2

3 Documento de trabalho N. 1 Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro Marguerite Clarke

4 2012 The International Bank for Reconstruction and Development / The World Bank 1818 H Street NW Washington DC Telefone: Internet: Este trabalho foi realizado pelos quadros do Banco Mundial com contribuições externas. Os resultados, interpretações e conclusões apresentadas neste trabalho não reflectem necessariamente os pontos de vista do Banco Mundial, do seu Conselho de Directores Executivos nem dos governos que representam. O Banco Mundial não garante a exactidão dos dados apresentados neste trabalho. As fronteiras, cores, denominações e outras informações apresentadas em qualquer mapa deste trabalho não indicam nenhum julgamento por parte do Banco Mundial no que diz respeito à situação legal de qualquer território nem o endosso ou a aceitação de tais fronteiras. Direitos e Autorizações O material contido neste trabalho é protegido por direitos de autor. Uma vez que o Banco Mundial incentiva a disseminação do seu conhecimento, esta obra pode ser reproduzida, parcial ou totalmente, para fins não comerciais desde que seja dado o devido crédito a este trabalho. Quaisquer consultas relacionadas com direitos e licenças, incluindo direitos subsidiários, devem ser dirigidas a Office of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, EUA; fax: ; pubrights@worldbank.org. Design da capa: Patricia Hord.Graphik Design, Alexandria, VA

5 Índice Sobre a Série... v Sobre o Autor... vii Agradecimentos... ix Sinopse... xi Introdução... 1 Teoria e provas nas avaliações dos estudantes... 3 Quadro para Sistemas de Avaliação de Estudantes... 7 Pormenorização do Enquadramento Níveis de Desenvolvimento Conclusões Apêndice 1. Tipos de avaliação e as suas principais diferenças Apêndice 2. Rubricas para aferir o nível de desenvolvimento de diferentes tipos de avaliação Apêndice 3. Exemplo de utilização de rubricas para avaliar um Programa de Avaliação Nacional de Larga Escala Referências Quadro Quadro 1. Enquadramento para o desenvolvimento um Sistema de Avaliação do Estudante mais eficaz Quadro 2. Enquadramento para o desenvolvimento de um Sistema de Avaliação dos Estudantes mais eficaz, com Áreas de Indicadores Amplos Quadro 3. Estrutura básica de rubricas para a avaliação de dados recolhidos sobre um Sistema de Avaliação de Estudantes Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro iii

6

7 Sobre a Série Criar sistemas educacionais sólidos que promovam a aprendizagem é fundamental para o desenvolvimento e o crescimento económico. Nos últimos anos, à medida que os países em desenvolvimento construíam mais salas de aula e matriculavam milhões de crianças nas escolas, a comunidade da educação começou a adoptar activamente a visão da aprendizagem mensurável para todas as crianças na escola. Contudo, a aprendizagem depende não só dos recursos investidos no sistema escolar, mas também da qualidade das políticas e instituições que permitam a sua utilização e da implementação das políticas. Em 2011, o Grupo do Banco Mundial lançou a Estratégia para o Sector Educativo 2020: Aprendizagem para Todos, que delineia um calendário para a concretização do Aprendizagem para Todos no mundo em desenvolvimento na próxima década. Em apoio à implementação da estratégia, o Banco Mundial lançou um programa plurianual para ajudar os países a examinar e reforçar o desempenho dos seus sistemas educacionais de forma sistemática. Essa iniciativa baseada em evidências, denominada SABER (Systems Approach for Better Education Results Abordagem de Sistemas para Melhores Resultados Educacionais), está a desenvolver um conjunto de diagnósticos para comparar sistemas educativos e os seus respectivos domínios de política aos padrões globais, às melhores práticas e às políticas e práticas de países do mundo inteiro. O SABER tira proveito destes conhecimentos globais com o fim de preencher uma lacuna na disponibilidade de dados e evidências referentes aos pontos mais salientes para melhorar a qualidade da educação e produzir melhores resultados. O SABER-Avaliação de Estudantes, um dos sistemas avaliados no âmbito do programa SABER, tem desenvolvido ferramentas para analisar e comparar políticas e sistemas de avaliação de estudantes em todo o mundo, visando promover sistemas de avaliação mais sólidos com o fim de ajudar a melhorar a qualidade da educação e aprendizagem para todos. Para ajudar a explorar o estado do conhecimento nesta área, a equipa do SABER-Avaliação de Estudantes convidou académicos de destaque, peritos em matéria de avaliação e profissionais de países industrializados e em desenvolvimento para em conjunto discutirem questões relacionadas com a avaliação relevantes ao melhoramento da qualidade da educação e dos resultados de aprendizagem. Os documentos e estudos de casos relacionados com a avaliação de estudantes nesta série são o resultado destes debates e da investigação subjacente. Anteriormente à sua publicação, todos os documentos passaram por um processo rigoroso de revisão, o qual incluiu comentários dos quadros do Banco Mundial, académicos, profissionais na área de desenvolvimento e peritos nacionais de avaliação. Todos os documentos do SABER-Avaliação de Estudantes nesta série foram disponibilizados graças ao apoio do Fundo Fiduciário Russo de Ajuda à Educação para o Desenvolvimento (FF READ). O FF READ é uma colaboração entre a Federação Russa e o Banco Mundial que apoia o melhoramento dos resultados da aprendizagem dos estudantes em países de baixo rendimento por meio do desenvolvimento de sistemas sólidos de avaliação de estudantes. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro v

8 A série de documentos de trabalho do SABER foi produzida sob a orientação geral de Elizabeth King, Directora de Educação, e Robin Horn, Gerente de Educação na Rede de Desenvolvimento Humano do Banco Mundial. Os documentos relativos à Avaliação de Estudantes nesta série foram produzidos sob a direcção técnica de Marguerite Clarke, Especialista Superior de Educação e a Coordenadora da Equipa de Avaliação do SABER-Avaliação de Estudantes na Rede de Desenvolvimento Humano do Banco Mundial. Os documentos nesta série representam os pontos de vista independentes dos seus respectivos autores. vi Marguerite Clarke

9 Sobre o Autor Marguerite Clarke é Especialista Superior de Educação junto da Rede de Desenvolvimento Humano do Banco Mundial. É responsável por dirigir o trabalho do Banco relacionado com a avaliação da aprendizagem, nomeadamente a provisão de apoio a países específicos para melhorar as suas actividades de avaliação e utilização de informações de avaliação, e chefiar o programa de trabalho global relacionado com a avaliação de estudantes no âmbito do Programa do Fundo Fiduciário Russo de Ajuda à Educação para o Desenvolvimento (FF READ). No âmbito do READ, é responsável pelo desenvolvimento de instrumentos e abordagens baseadas em provas para avaliar e fortalecer a qualidade de sistemas de avaliação de estudantes. Anteriormente a ingressar para o Banco, Marguerite esteve envolvida em investigação, políticas e prática nas áreas de ensino e aprendizagem na educação superior, qualidade da educação superior e testes e avaliação de estudantes em universidades na Austrália (University of South Australia) e nos Estados Unidos (Brown University, Boston College). Foi também professora nos sistemas de educação chinês, irlandês, japonês e dos EUA e recebeu um prémio nacional de ensino do Departamento de Educação da Irlanda, em Uma anterior bolsista Fulbright, recebeu o seu PhD em Investigação no domínio da Educação, Mensuração e Avaliação do Boston College (2000) e está presentemente no conselho consultivo do Observatório para os Resultados de Aprendizagem do Instituto de Estatísticas da UNESCO. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro vii

10

11 Agradecimentos Foram muitas as pessoas que contribuíram com informações e sugestões para este documento. Os meus especiais agradecimentos aos revisores pares e aos presidentes das reuniões: Luis Benveniste, Luis Crouch, Deon Filmer, Robin Horn, Elizabeth King, Marlaine Lockheed, Harry Patrinos e Alberto Rodriguez. Estou igualmente grata à equipa do Fundo Fiduciário READ, em particular a Julia Liberman e María-José Ramírez, pelo seu valioso apoio para o desenvolvimento de uma série de rubricas e questionários baseados neste documento-quadro, bem como a Olav Christensen, Emily Gardner, Manorama Gotur, Emine Kildirgici, Diana Manevskaya, Cassia Miranda e Fahma Nur. Obrigada também aos membros do Grupo Técnico READ, passados e presentes, nomeadamente Luis Benveniste, Cedric Croft, Amber Gove, Vincent Greaney, Anil Kanjee, Thomas Kellaghan, Marina Kuznetsova, María-José Ramírez e Yulia Tumeneva, bem como aos Líderes das Equipas de Intervenção e equipas nos países READ. Entre outras pessoas que providenciaram informações e sugestões durante este percurso destacam-se Patricia Arregui, Felipe Barrera, Viktor Bolotov, Lester Flockton, Alejandro Ganimian, Juliana Guaqueta, Gabrielle Matters, Emilio Porta, Halsey Rogers, Alan Ruby, Jee-Peng Tan, Igor Valdman e Emiliana Vegas. Um especial agradecimento ao governo da Rússia pelo seu apoio a este trabalho no âmbito do programa do Fundo Fiduciário READ. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro ix

12

13 Sinopse O objectivo deste documento é fornecer uma visão geral dos pontos mais relevantes para o desenvolvimento de um sistema de avaliação de estudantes mais eficaz. O foco incide sobre os sistemas para avaliar a aprendizagem do aluno e o aproveitamento escolar nos níveis primário e secundário. 1 O documento extrai princípios e linhas orientadoras das experiências de países, normas de avaliação de profissionais e a base actual de investigação. O objectivo é de fornecer aos decisores políticos nacionais, autoridades dos ministérios de educação, quadros de organizações de desenvolvimento e outros intervenientes um quadro e indicadores chave para diagnósticos, debates e estabelecimento de um consenso sobre como desenvolver um sistema sólido e sustentável de avaliação de estudantes que contribua para o melhoramento da qualidade da educação e aprendizagem para todos. 1 Este documento não discute avaliação psicológica ou do local de trabalho; nem discute explicitamente a avaliação da aprendizagem e aproveitamento de estudantes do ensino superior, embora muitas das questões levantadas se apliquem da mesma forma a este nível do ensino. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro xi

14

15 Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro Marguerite Clarke A [avaliação] vai ao cerne do que é relevante em matéria de educação: não apenas as taxas de matrícula e conclusão mas também o objectivo máximo da aprendizagem do estudante (Banco Mundial, 2010, pág. 5). Introdução A avaliação é o processo 2 de recolher e avaliar informações sobre o que os estudantes sabem, entendem e o que podem fazer de forma a tomar uma decisão informada sobre as etapas seguintes no processo educativo. Os métodos podem ser tão simples como perguntas e respostas orais (por exemplo, Qual é a capital da Etiópia?) ou tão complexas como modelos de testes adaptativos informatizados baseados em algoritmo de pontuação multifacetado e progressões de aprendizagem. 3 As decisões baseadas nos resultados poderão abranger desde como projectar programas para todo o sistema para melhorar o ensino e a aprendizagem em escolas, como identificar as etapas seguintes no ensino em sala de aula e como identificar que candidatos devem ser admitidos na universidade. Um sistema de avaliação é um grupo de políticas, estruturas, práticas e instrumentos para gerar e utilizar informações sobre a aprendizagem e aproveitamento do estudante. Os sistemas de avaliação eficazes são os que fornecem informações de qualidade e quantidade adequada para satisfazer as necessidades de informação e de tomada de decisão dos intervenientes em apoio ao melhoramento da qualidade da educação e dos resultados da aprendizagem do estudante (Ravela et al., 2009). 4 Satisfazer estas necessidades de informação e 2 Quando a palavra avaliação é usada como substantivo, pode referir-se a um instrumento específico, tal como um teste. 3 Está disponível uma lista de programas de teste adaptativo informatizado em psylabs/catcentral/. 4 Um sistema de avaliação de estudantes responde a diversas necessidades de informação, como, por exemplo, contribui para informar a aprendizagem e instrução, determinar o Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 1

16 de tomada de informação de uma forma que conte o apoio de grupos políticos e outros grupos chave na sociedade contribuirá para a sustentabilidade e eficácia do sistema de avaliação de longo prazo. Os governos, organizações internacionais e outros intervenientes estão cada vez mais a reconhecer a importância da avaliação e monitorização da aprendizagem e dos níveis de aproveitamento do estudante e a necessidade concomitante de desenvolvimento de sistemas sólidos para a avaliação do estudante (IEG, 2006; McKinsey & Company, 2007; UNESCO, 2007). Este reconhecimento está vinculado aos indícios crescentes de que muitos benefícios da educação culturais, económicos e sociais são sentidos na sociedade apenas quando a aprendizagem ocorre (OCDE, 2010). Por exemplo, um aumento de um desvio padrão nas pontuações de avaliações internacionais dos níveis de aproveitamento de leitura e matemática tem sido vinculado a um aumento de 2% em taxas de crescimento anual do PIB per capita (Hanushek e Woessmann, 2007, 2009). Algumas pessoas alegam que as avaliações, em particular os exercícios de avaliação de grande escala, são demasiado dispendiosas. Com efeito, o oposto tende a ser verdade, tendo os testes figurado entre as inovações menos dispendiosas na reforma da educação, custando, regra geral, muito menos do que aumentar os salários de professores ou reduzir o tamanho das turmas. Hoxby (2002) concluiu que mesmo os programas de responsabilização de nível estadual, baseados em testes, mais dispendiosos nos Estados Unidos custam menos do que 0,25% das despesas por aluno. Da mesma forma, estes testes, em nenhum dos países da América Latina estudados por Wolff (2007), envolveram mais de 0,3% do orçamento nacional para a educação no nível (primário ou secundário) testado. Embora estas eficiências em termos de custo sejam atractivas, não devemos permitir que encubram outros factores importantes por exemplo, equidade e objectivos sociais que devem ser considerados em qualquer decisão sobre se um determinado programa de avaliação deve ou não ser implementado. Nos últimos 20 anos, vários países começaram a implementar testes de avaliação ou a desenvolver sistemas de avaliação existentes (UNESCO, 2007). Para além disso, tem-se registado um enorme crescimento no número de países que participam em testes de avaliação comparativa internacionais como, por exemplo, o teste Tendências no Estudo Internacional da Matemática e Ciências (TIMSS, na sigla em inglês) e o Programa Internacional de Avaliação de Estudantes (PISA, na sigla em inglês). 5 As organizações não-governamentais progresso, mensurar o aproveitamento e prover informações parciais sobre responsabilização. Todos estes fins, e as decisões que nestes se baseiam, devem, em última análise, resultar no melhoramento da qualidade e níveis de aprendizagem no sistema educativo. 5 Por exemplo, o número de países que participam no PISA (Programa Internacional de Avaliação de Estudantes) disparou de 43 em 2000 para 66 em Um número comparativamente pequeno de países em desenvolvimento participou em avaliações internacionais de aproveitamento de estudantes. Estes países têm tido sistematicamente um 2 Marguerite Clarke

17 também têm vindo cada vez mais a recorrer à avaliação de estudantes para atrair a atenção do público para os níveis deficientes de aproveitamento e para criar um ímpeto para a mudança. Não obstante este interesse na avaliação de estudantes, são demasiado poucos os países que têm políticas, estruturas, práticas e ferramentas implementadas que constituam um sistema de avaliação eficaz. Este é particularmente o caso de países de baixo rendimento, com maior probabilidade de colher mais benefícios de iniciativas sistemáticas para mensurar os resultados da aprendizagem. Alguns destes países já fizeram experiências com avaliações de grande escala ou outras avaliações padrão da aprendizagem e níveis de aproveitamento do estudante, mas com demasiada frequência tratou-se de experiências ad hoc que não fazem parte de uma estratégia de educação e não têm continuidade com o decorrer do tempo. Uma importante diferença entre avaliações pontuais e um sistema de avaliação contínuo é que a primeira opção serve apenas para fornecer um retrato sintetizado dos níveis de aproveitamento do estudante, ao passo que a última abre a possibilidade de monitorizar tendências em níveis de aproveitamento e aprendizagem ao longo do tempo (à semelhança de uma série de fotografias) e dá-nos uma melhor compreensão da relativa influência de diversos contributos e práticas educativas passíveis de alterar essas tendências. As avaliações pontuais podem ter um efeito de choque e criar uma abertura para discussões em matéria da qualidade da educação e isto pode constituir uma estratégia de curto prazo para inscrever a aprendizagem na ordem de trabalhos. 6 Em essência, contudo, os governos devem lidar com a tarefa difícil, contudo necessária, de pôr em prática sistemas que permitam a monitorização regular e o apoio à aprendizagem e ao aproveitamento dos estudantes. Só desta forma se poderá tirar proveito da força total da avaliação. Teoria e provas nas avaliações dos estudantes Uma premissa básica da investigação sobre a avaliação do estudante é que tipos apropriados de actividades de avaliação, aliados às utilizações adequadas dos dados gerados por essas actividades, contribuem para melhores resultados, sejam estes o melhoramento da aprendizagem ou melhores decisões em matéria desempenho na parte inferior da distribuição, limitando a quantidade de informações que podem ser derivadas dos dados para melhor compreender e melhorar os seus próprios sistemas educativos. 6 Uma das mais populares destas iniciativas é conhecida como EGRA. De acordo com o Website da USAID ( A Avaliação de Leitura Precoce" (EGRA-The Early Grade Reading Assessment) é uma avaliação oral concebida para medir as competências mais básicas para a aquisição de literacia nos primeiros anos de escolaridade. de forma a munir os ministérios e os doadores com as informações pertinentes relacionadas com as necessidades do sistema para melhorar a instrução. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 3

18 de políticas (por exemplo, Heubert e Hauser, 1999). 7 O que significa apropriado' é em grande medida impulsionado por um conjunto de directrizes teóricas e técnicas para os desenvolvedores de testes e utilizadores das informações das avaliações (AERA, APA, e NCME, 1999). Existe também um volume considerável de investigação empírica demonstrativa dos benefícios de tipos específicos de actividades de avaliação, quando implementadas e utilizadas correctamente, sobre a aprendizagem do estudante. Por exemplo, a investigação demonstra um forte vínculo entre actividades de avaliação formativa de elevada qualidade em sala de aula e melhores resultados na aprendizagem do estudante tal como mensurados pelo desempenho dos estudantes em testes padronizados de aproveitamento educativo. A síntese de Black & Wiliam (1998) de mais de 250 estudos empíricos de todo o mundo, sobre o impacto de actividades de avaliação formativa de elevada qualidade em sala de aula, aponta para ganhos nos estudantes de meio desvio-padrão a um desvio-padrão em testes padronizados de aproveitamento, sendo os maiores ganhos observados em estudantes com fraco aproveitamento. 8 Black e Wiliam (1998) concluem: Os ganhos em aproveitamento são aparentemente bastante consideráveis e entre os maiores jamais relatados para intervenções educativas. Para ilustrar a magnitude destes ganhos, um efeito tamanho de 0,7, se fosse possível ser alcançado à escala nacional, seria o equivalente a elevar a pontuação de matemática de um país médio, como a Inglaterra, Nova Zelândia ou os Estados Unidos, aos cinco melhores a seguir aos países da bacia do Pacífico, como Singapura, Coreia, Japão e Hong Kong. (pág. 61) Bennett (2011), no entanto, observa que mais trabalho deve ser feito para definir e isolar as características específicas das actividades de avaliação 7 Ravela et al. (2008) observam que a avaliação do estudante é uma condição necessária, contudo insuficiente, para a melhoria da educação. Existem algumas evidências que indicam que a mera existência e disseminação de informações relacionadas com a avaliação tem algum efeito em determinados intervenientes. Mas a avaliação é apenas um de diversos elementos chave de política em matéria de educação; outros incluem a formação de professores préserviço e durante o serviço, condições de trabalho dos professores, gestão e supervisão no estabelecimento de ensino, concepção de currículos, livros escolares e materiais educativos, investimento de recursos proporcionais às necessidades das diversas populações e acções coordenadas pelos responsáveis pela educação que visem resolver quaisquer problemas identificados. 8 Rodriguez (2004) relata efeitos de dimensão semelhante no desempenho em matemática constatado pelo TIMSS (Estudo Internacional das Tendências em Matemática e Ciências) EUA, resultante da gestão eficaz da avaliação em sala de aula (esta conclusão tem como base a análise das respostas dos professores de países que participam no TIMSS a perguntas sobre o tópico da gestão da avaliação em sala de aula). 4 Marguerite Clarke

19 formativa em sala de aula que conduzem a melhores resultados na aprendizagem do estudante. 9 As investigações correlacionadas sobre exames finais do ensino secundário ou secundário superior demonstram um vínculo entre países que têm estas políticas e níveis mais elevados de desempenho dos estudantes em avaliações internacionais, como o PISA ou o TIMSS (por exemplo, Bishop, Mane and Bishop, 2001). Outros estudos mostram um vínculo entre as características específicas dos testes utilizados nestes programas de exames e os resultados da aprendizagem do estudante, com exames baseados nos currículos ou nas disciplinas (em oposição a testes mais gerais de capacidades ou aptidões), considerados mais eficazes para a promoção de melhores resultados na aprendizagem do estudante (Au, 2007; Hill, 2010). Ao mesmo tempo, este tipo de exames altamente relevantes tem demonstrado ter um impacto negativo em estudantes de grupos desfavorecidos por limitar de forma desproporcional as suas oportunidades para prosseguir para o nível seguinte do sistema educativo ou para se beneficiarem de certos tipos de oportunidades educativas (Greaney and Kellaghan, 1995; Madaus and Clarke, 2001). Devido a estas questões de equidade, as utilizações e os resultados de exames devem ser minuciosamente monitorizadas a nível do sistema, grupo e indivíduo, bem como devem ser empreendidos esforços no sentido de reduzir ou mitigar quaisquer consequências negativas indesejadas. Os resultados de avaliações em larga escala, a nível de sistema, de níveis gerais de aproveitamento de estudantes constituem, de forma crescente, a fundação para programas de responsabilização baseados em testes em diversos países. A investigação mostra uma correlação geral fraca, contudo positiva, entre as utilizações de dados destas avaliações para responsabilizar as escolas e os educadores (por meio de, por exemplo, quadros de classificação, recompensas monetárias ou decisões relativas a pessoal) e melhores resultados na aprendizagem do estudante (por exemplo, Carnoy and Loeb, 2002). Ao mesmo tempo, as conclusões sugerem que a simples comunicação de informações sobre pontuações escolares médias relativas a estas avaliações podem também levar a um melhor desempenho dos estudantes (Hanushek and Raymond, 2003), sugerindo isto que há ainda muito a aprender sobre a mistura ideal de incentivos para modelos de responsabilização baseados em testes que produzirão os melhores resultados com o menor número de efeitos secundários negativos. Até à data, a investigação sugere que os principais factores determinantes quanto a se os efeitos de exercícios de responsabilização baseados em testes são mais 9 Uma meta-análise de 21 estudos controlados (Fuchs e Fuchs, 1986) que observaram a frequência das actividades de avaliação em sala de aula constatou que a utilização sistemática de actividades de avaliação formativa em sala de aula semanalmente ou com até maior frequência podem ter um forte efeito positivo no aproveitamento do estudante (por exemplo, duas avaliações semanais resultam num efeito tamanho de 0,85, ou um ganho percentual de 30 pontos). Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 5

20 positivos do que negativos englobam a qualidade técnica dos próprios testes, o alinhamento entre a concepção do teste e a forma como os resultados dos testes são utilizados, bem como em que medida estão disponíveis apoios para ajudar as escolas ou os professores, identificados como de fraco desempenho (Ravela, 2005). 10 A investigação está cada vez mais a centrar-se nas características dos sistemas de avaliação eficazes que englobam os tipos de actividades de avaliação supra referidos e a sua respectiva utilização (ou seja, avaliação em sala de aula, exames, e avaliações de larga escala a nível de sistema). Esta investigação baseia-se em princípios e melhores práticas dos estudos sobre avaliação, bem como na análise dos sistemas de avaliação de nações que registam níveis elevados de aproveitamento. Darling-Hammond and Wentworth (2010) analisaram as práticas de sistemas educativos de alto desempenho em todo o mundo (por exemplo, Austrália, Finlândia, Reino Unido, Singapura e Suécia) e observaram que as actividades de avaliação de estudantes nestes sistemas: realçam a importância da avaliação de, para e como aprendizagem do estudante, ao contrário de como um elemento separado e desconexo do empreendimento educacional fornecem feedback aos estudantes, professores e escolas sobre o que foi aprendido e passam adiante informações que podem ajudar a definir a aprendizagem futura bem como guiar o processo de tomada de decisões relacionadas com universidades e carreiras alinham de perto expectativas relacionadas com currículo, critérios referentes a disciplinas e desempenho, assim como os resultados de aprendizagem pretendidos envolvem os professores no desenvolvimento e na pontuação das avaliações como forma de melhorar a sua prática profissional e a sua capacidade de apoiar a aprendizagem e o aproveitamento de estudantes envolvem os estudantes em avaliações autênticas para aumentar a sua motivação e aprendizagem visam promover a aprendizagem do estudante em aptidões de raciocínio crítico e resolução de problemas utilizando um espectro mais amplo de estratégias de instrução e avaliação privilegiam a qualidade em vez da quantidade de testes padronizados Ravela (2005) descreve a utilização de resultados de avaliações nacionais de larga escala no Uruguai para ajudar os professores a melhorar a sua docência. A ênfase em utilizações formativas a nível de sala de aula aumentam a aceitação dos resultados por parte dos professores; estes influenciam também a concepção da avaliação em termos da necessidade de utilizar uma abordagem à recolha de dados baseada na realização de censos e a utilização de factores antecedentes para controlar os factores não escolares que afectam o aproveitamento. 11 Ou seja, alguns países têm bons resultados em exercícios de avaliação internacionais, embora não utilizem muitos testes padronizados nos seus próprios sistemas educativos (por exemplo, a Finlândia). Outros países dão grande relevo aos testes padronizadoss (por 6 Marguerite Clarke

21 utilizam, como parte substancial e crescente dos seus sistemas de exame, tarefas abertas de desempenho e avaliações baseadas na escola que requerem que os estudantes escrevam intensivamente e tenham oportunidades para desenvolver aptidões apropriadas para o século XXI. 12 Embora a investigação de Darling-Hammond e Wentworth proporcione uma visão ampla do que constitui um sistema eficaz de avaliação, não nos diz o que é necessário para concretizá-lo. Há outros estudos que aprofundam as questões relacionadas com planeamento, processo e implementação. Por exemplo, Ferrer (2006) provê orientação sobre a concepção de sistemas de avaliação sólidos e sustentáveis baseados na sua análise de sistemas existentes na América Latina. Bray and Steward (1998) elaboraram uma análise semelhante para exames do ensino secundário. Outros (por exemplo, Lockheed, 2009) avaliam a situação da actividade de doadores na área de avaliação e discutem como aumentar a eficácia deste apoio a países. Outros ainda aprofundam questões relacionadas com as políticas pertinentes à criação de sistemas de avaliação eficazes e sustentáveis (McDermott, 2011). Este documento compila todas as fontes de evidências supra citadas, organizando as questões e os factores chave num quadro unificado para discernir o que constitui um sistema de avaliação do estudante eficaz e de que forma os países podem começar a desenvolver estes sistemas. Quadro para Sistemas de Avaliação de Estudantes Para abordar o enquadramento de forma estratégica, é necessário identificar algumas dimensões chave dos sistemas de avaliação. Discutem-se no presente documento duas dimensões principais: (i) tipos/objectivos das actividades de avaliação e (ii) a qualidade dessas actividades. Dimensão 1. Tipos/Objectivos da Avaliação Os sistemas de avaliação incluem normalmente três tipos principais de actividades de avaliação, as quais correspondem às três principais necessidades ou objectivos de informação (consultar também o apêndice 1). Estes tipos e as necessidades de informação concomitantes são: exemplo, os Estados Unidos), mas não alcançam tão bons resultados nos mesmos exercícios de avaliação internacionais. 12 Os resultados de tarefas de desempenho padronizadas são incorporados às pontuações dos exames dos estudantes em sistemas de espectro tão amplo como o GCSE (Certificado Geral de Educação Secundária) no Reino Unido; o sistema de exames de Singapura; os sistemas de certificação em Victoria e Queensland, Austrália; e o Bacharelato Internacional, o qual é utilizado em mais de 100 países em todo o mundo. Uma vez que estas avaliações estão integradas no currículo, estas influenciam o trabalho diário do ensino e da aprendizagem, centrando-os na utilização da aprendizagem para a resolução de problemas. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 7

22 avaliações em sala de aula para fornecer informação em tempo real para apoiar o ensino e a aprendizagem em salas de aulas específicas exames para tomar decisões relativas ao progresso de um estudante específico por intermédio do sistema de educação (por exemplo, decisões sobre certificação ou selecção), incluindo a atribuição das 'escassas' oportunidades educacionais avaliações de larga escala a nível de sistema para monitorizar e fornecer informações pertinentes para os formuladores de políticas e profissionais sobre os níveis gerais de desempenho no sistema, as alterações nesses níveis e factores relacionados ou relevantes. Para que sejam seguros, estes tipos de avaliação não são totalmente independentes entre si; nem tão-pouco totalmente abrangentes (ou seja, há algumas actividades de avaliação que não se definem exactamente por estes rótulos). Ao mesmo tempo, estas representam os principais tipos de actividades de avaliação levadas a cabo na maioria dos sistemas de educação em todo o mundo. Avaliações em sala de aula, também referidas como avaliações contínuas ou formativas, são as realizadas pelos professores e estudantes no decorrer das actividades diárias (Airasian and Russell, 2007). Estas abrangem um leque de instrumentos e procedimentos padronizados e não padronizados que visam reunir e interpretar tipos de provas escritas, orais e outras sobre a aprendizagem ou aproveitamento do estudante. Entre os exemplos de actividades de avaliação em sala de aula citam-se os questionários e informações orais, trabalhos de casa, apresentações de estudantes, testes de diagnóstico e exercícios de fim de unidade. O principal objectivo destas avaliações é prover informações em tempo real para apoiar o ensino e a aprendizagem. Exames, diversamente modificados pelos termos público, externo ou fim de ciclo, fornecem informações para o processo de tomada de decisões altamente sensíveis sobre estudantes específicos por exemplo, se estes devem ser encaminhados para um tipo específico de escola ou programa académico, receber a formatura do ensino secundário ou ingressar para o ensino universitário (Greaney and Kellaghan, 1995; Heubert and Hauser, 1999). Sejam estes administrados externamente ou (de forma crescente) baseados nas escolas, a sua natureza tipicamente padronizada tem como fim garantir que todos os estudantes têm iguais oportunidades de mostrar o que sabem e podem fazê-lo em relação a um currículo oficial ou outro corpo identificado de conhecimento e aptidões (Madaus and Clarke, 2001). O certificado de conclusão ou exames finais no final da escolaridade obrigatória, em muitos sistemas de educação, são um bom exemplo. Tal como anteriormente discutido, a natureza altamente sensível da maior parte dos exames significa que estes podem ter repercussões no sistema de educação em termos do que é ensinado e aprendido, tendo um impacto, para o melhor ou pior, no perfil de proficiências e conhecimento dos formados (West and Crighton, 1999). Estas consequências devem ser tomadas em 8 Marguerite Clarke

23 consideração na determinação de se estes testes são apropriados 13 e de se deveriam, ou como deveriam, ser combinados com outras fontes de informação com o fim de assegurar que os resultados são utilizados da forma mais justa possível para indivíduos, grupos e para a sociedade em geral. É importante realçar que existem padrões profissionais e técnicos muito específicos no que diz respeito à utilização apropriada e inapropriada de exames (e testes em geral) para o processo de tomada de decisões altamente sensíveis sobre estudantes específicos (AERA, APA e NCME, 1999). Avaliações de larga escala a nível de sistema são concebidas para fornecer informações sobre os níveis do desempenho do sistema e factores relacionados ou relevantes (Greaney and Kellaghan, 2008; Kifer, 2001), tipicamente no que diz respeito a um conjunto de padrões ou de objectivos de aprendizagem acordados, visando informar as políticas e práticas educacionais. Alguns dos exemplos incluem as avaliações internacionais de níveis de aproveitamento dos alunos, tais como o TIMSS, PIRLS e o PISA; avaliações regionais, como o PASEC na África francófona, o SACMEQ na África anglófona e o LLECE na América do Sul; as avaliações de nível nacional, tais como o SIMCE no Chile; e as avaliações subnacionais, tais como os testes de nível estadual nos Estados Unidos ou no Canadá. 14 Estas avaliações variam segundo os anos ou níveis de idade testados, cobertura da população-alvo (amostra ou censo), foco interno ou externo (por exemplo, parâmetros de referência nacionais em oposição a internacionais), disciplinas ou áreas de proficiência abrangidas, tipos de dados contextuais recolhidos e a frequência com que são ministrados. Variam também na forma como os resultados são relatados e utilizados. Por exemplo, tal como anteriormente discutido, embora alguns se fiquem pelo relato de resultados a formuladores de política ou ao público em geral, outros usam os resultados para responsabilizar grupos específicos no sistema de educação (Clarke, 2007) Greaney and Kellaghan (1995) observam que devido à alta sensibilidade associada ao desempenho dos exames, é frequente os professores ensinarem para o exame, tendo isso como resultado que são dadas oportunidades inadequadas para a aquisição de conhecimentos e proficiências relevantes aos estudantes que saiem da escola numa etapa precoce. As práticas associadas aos exames que podem criar iniquidades para alguns estudantes incluem práticas de pontuação, o requisito de que os candidatos paguem taxas, explicações privadas, exames numa língua não familiar ao estudante e diversas práticas condenáveis. A utilização de sistemas de quotas para responder às diferenças de desempenho associadas com o local, etnia, ou número de membros de um grupo de línguas cria também iniquidades para alguns estudantes. 14 TIMSS Estudo Internacional das Tendências em Matemática e Ciências; PIRLS Estudo sobre o Progresso na Leitura e Literacia Internacional; PISA Programa Internacional de Avaliação de Estudantes; PASEC Programa de Avaliação de Sistemas Educativos; SACMEQ Consórcio da África Austral e Oriental para a Monitorização Educativa; LLECE Laboratório Latino-Americano de Avaliação da Qualidade da Educação; SIMCE - Sistema de Medição da Qualidade da Educação. 15 O apoio do Banco Mundial a actividades de avaliação nos últimos 20 anos (Larch and Lockheed, 1992; Liberman and Clarke, 2012) passou de uma ênfase na reforma de exames Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 9

24 Uma forma de diferenciar entre os três tipos de actividades de avaliação supra é que a avaliação em sala de aula consiste principalmente na avaliação como aprendizagem ou para aprendizagem (e, por isso, é primordialmente de natureza formativa) enquanto os exames e questionários consistem principalmente na avaliação da aprendizagem (e, por isso, são primordialmente de natureza sumativa). Estas distinções nem sempre são fáceis de manter na prática e as abordagens híbridas estão a tornar-se mais comuns. Por exemplo, Singapura tem um sistema de avaliação estruturado em torno de exames públicos, mas desenvolveu toda uma infra-estrutura de apoio para aprendizagem deste domínio (L. Benveniste, comunicação pessoal, Março de 2010). Outras actividades híbridas envolvem a adaptação de instrumentos concebidos para um tipo de actividade de avaliação (por exemplo, instrumentos em sala de aula para informar a instrução) para outro fim (por exemplo, documentar o desempenho a nível do sistema). Uma das mais conhecidas destas iniciativas é a Avaliação de Leitura Precoce (EGRA), um instrumento desenvolvido com o apoio de agências doadoras e peritos para utilização em países em desenvolvimento ( Tendo sido baseada num instrumento originalmente concebido para utilização em sala de aula, a EGRA tem sido utilizada para recolher dados a nível de sistema relacionados com o desempenho de estudantes em matéria de aptidão de leitura precoce para informar ministérios e doadores sobre as necessidades de sistemas para melhorar a instrução (Gove e Cvelich, 2011). Os sistemas de educação podem ter perfis bastante diferentes em termos da ênfase colocada em diversos tipos de actividades de avaliação. Por exemplo, o sistema de educação da Finlândia destaca a avaliação em sala de aula como uma fonte de informação chave em matéria de informações sobre a aprendizagem e aproveitamento do aluno e baseia-se em muito menor grau em exames ou avaliações de larga escala a nível de sistema. A China tem tradicionalmente colocado uma ênfase substancial em exames como meio de classificar e seleccionar da sua grande população de estudantes, e relativamente menos em avaliação em sala de aula ou questionários de larga escala (embora isto esteja a mudar). 16 Os factores que contribuem para estes distintos perfis de avaliação de sistemas variam da visão e objectivos oficiais do sistema de educação (e o papel da avaliação para o alcance dessa visão) para as estruturas económicas e oportunidades num país e as informações relacionadas das principais partes para uma ênfase na implementação de exercícios de avaliação de larga escala a nível de sistema para a monitorização de tendências de aproveitamento e informar políticas e práticas. 16 Entre outros factores relevantes refere-se o legado histórico de avaliação num determinado sistema educativo, o que pode criar uma tendência para um tipo específico de actividade de avaliação (Madaus, Clarke and O Leary, 2003); a capacidade de diversas partes interessadas no sistema para levar efectivamente a cabo diversos tipos de actividades de avaliação (Greaney and Kellaghan, 2008); e o custo, aparente ou real, de actividades de avaliação (Wolff, 2007). 10 Marguerite Clarke

25 interessadas. Não é claro se existe um perfil ideal para um sistema de avaliação que funcione igualmente bem em todos os contextos. Dimensão 2. Impulsionadores de Qualidade Em vez de poder fazer referência a um perfil ideal para um sistema de avaliação de estudantes, a principal consideração é o indivíduo e a qualidade combinada das actividades de avaliação em termos da sua adequação à informação gerada para apoiar a tomada de decisões (Messick, 1989; Shepard, 2000). Há três principais impulsionadores da qualidade da informação num sistema de avaliação (AERA, APA e NCME, 1999; Darling-Hammond and Wentworth, 2010): contexto propício alinhamento do sistema qualidade da avaliação. Embora intimamente relacionadas, estas dimensões são apresentadas aqui separadamente para os fins desta discussão. O contexto propício refere-se ao contexto mais amplo no qual a actividade de avaliação é realizada e na medida em que esse contexto é favorável a, ou apoia, a avaliação. Abrange áreas tais como o quadro legislativo ou de política para as actividades de avaliação; a liderança em torno da actividade de avaliação (incluindo a vontade política para implementar uma avaliação apesar de o conhecimento resultante ser passível de abrir questões sérias ou iniquidades na aprendizagem do estudante); o envolvimento público com a actividade de avaliação; os acordos institucionais para conceber, levar a cabo ou utilizar os resultados da actividade de avaliação; 17 a disponibilidade de fontes adequadas e estáveis de financiamento e a presença de pessoal competente na unidade de avaliação e professores escolares. É importante que o contexto propício seja certo uma vez que se trata de um impulsionador chave da qualidade e eficácia de longo prazo de um sistema de avaliação e tal como a terra, a água e o ar que uma planta necessita para medrar nenhum sistema de avaliação é sustentável na sua ausência (Banco Mundial, 2010). Na maior parte dos casos, o ónus recai sobre o governo para, no mínimo, prover a visão, direcção e quadro de política que visam estabelecer o contexto propício (ao mesmo tempo, tendo presente que a relativa autonomia da influência política é um dos traços distintivos de um sistema de avaliação mais maduro), que pode ser subsequentemente implementado por meio de parcerias 17 Há um grande debate sobre se os exames ou as unidades de avaliação de larga escala devem ser colocadas no âmbito ou fora de ministérios de educação. Na verdade, o local institucional não é tão relevante como a cultura de continuidade e a transparência criada em torno da avaliação (Ravela et al., 2008). Esta cultura é alcançada quando uma avaliação tem uma mandato claro e uma estrutura sólida, o que requer que o sistema de avaliação seja fundado em algum tipo de estatuto jurídico. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 11

26 público-privadas (por exemplo, contratar a administração de um programa de avaliação de uma firma externa). Alguns sistemas de educação, em especial em contextos federais, aliam forças para criar um contexto propício em termos de combinar recursos ou acordos institucionais para desenvolver, executar, analisar, ou produzir relatórios sobre testes (por exemplo, quando os estados ou sistemas se juntam para conceber uma base de testes comum que possa ser utilizada por todos para os seus fins específicos, reduzindo desta forma o custo para estados ou sistemas individuais). Os exercícios regionais de avaliação, tais como o SACMEQ, PASEC e o LLECE, representam outra forma de colaboração no sentido de criar um contexto propício. As eficiências de escala alcançadas por estas colaborações tornam mais eficaz o desenvolvimento de testes de melhor qualidade em termos de custo e da incorporação de avanços tecnológicos no processo de teste. Alinhamento de sistemas refere-se ao nível em que a avaliação está alinhada ou é coerente com outros componentes do sistema de educação. Isto inclui a relação entre actividades de avaliação e objectivos de aprendizagem do sistema, padrões, currículo e oportunidades de formação de professores pré e durante o serviço (Fuhrman and Elmore, 1994; Smith and O Day, 1991). É relevante para as actividades de avaliação alinhar o resto do sistema de educação para que a informação que fornecem seja útil para a melhoria da qualidade da educação no sistema e para que as sinergias possam ser criadas. O alinhamento envolve mais do que uma simples equiparação entre o que é testado e o que constituem os padrões oficiais ou o currículo desejado (ao mesmo tempo, é importante que a maior parte das actividades de avaliação ofereçam, no mínimo, alguma informação sobre a aprendizagem e aproveitamento do estudante em relação a padrões ou currículo oficiais). Portanto, embora a equiparação entre o currículo de um país e o que é testado nas avaliações internacionais tais como o PISA e o TIMSS possa ser pequena, a avaliação pode ainda estar alinhada com (e útil para informar) os objectivos e aspirações gerais para o sistema de educação e reformas afins. No âmbito de um panorama desta natureza, a avaliação pode concretamente levar a melhorias em termos de qualidade no sistema de educação, ao contrário de servir apenas para monitorizá-lo passivamente (não obstante, a utilização de dados do TIMSS, PIRLS e do PISA para monitorizar o impacto de reformas nacionais ao longo do tempo tem sido essencial para o melhoramento de níveis de aproveitamento em países tão diversos quanto o Brasil, a Jordânia e a Polónia). Qualidade da avaliação refere-se à qualidade psicométrica dos instrumentos, processos e procedimentos usados para a actividade de avaliação (AERA, APA, e NCME, 1999). É digno de observação o facto de que a qualidade da avaliação é uma preocupação para qualquer tipo de actividade de avaliação ou seja, avaliação em sala de aula; exames; ou avaliações de larga escala a nível de sistema. Abrange questões tais como a concepção e execução de actividades de avaliação, questões para exames ou perguntas para questionários; a análise e interpretação de 12 Marguerite Clarke

27 respostas de estudantes a estas actividades de avaliação, questões ou perguntas; e a adequação de como os resultados da avaliação, exame ou questionário são comunicados e utilizados (Heubert and Hauser, 1999; Shepard, 2000). Dependendo da actividade de avaliação, o critério exacto usado para fazer esses julgamentos pode diferir. A qualidade de avaliação é importante porque se uma avaliação não for sólida em termos de concepção, implementação, análise, interpretação, apresentação de relatórios ou utilização, pode contribuir para um processo deficiente de tomada de decisões no que diz respeito a aprendizagem de estudantes e qualidade do sistema (Messick, 1989; Wolff, 2007). Na verdade, a qualidade de avaliação deficiente pode prejudicar todo o exercício de avaliação se puser em causa a abordagem. Duas questões técnicas que devem ser tomadas em consideração em qualquer análise da qualidade da avaliação são a fiabilidade e a validade. A fiabilidade refere-se a se a avaliação produz informações precisas e é uma consideração particularmente importante para exames altamente sensíveis e para a monitorização de tendências ao longo do tempo. A validade diz respeito a se as pontuações dos testes representam o que é suposto que representem e se podem ser utilizadas das formas pretendidas. Uma ameaça comum à validade da pontuação de testes é a diferença entre a linguagem da instrução e a linguagem do teste, o que pode dificultar a capacidade de uma criança de mostrar o que sabe e o que pode fazer. A utilização é um conceito muito importante em relação à validade e requer uma consideração cuidadosa das consequências da utilização de pontuação de testes, nomeadamente os impactos sociais, económicos e outros sobre diferentes grupos na população. Ao cruzarmos estes impulsionadores de qualidade com os distintos tipos/objectivos de avaliação, obtemos o enquadramento apresentado em diagrama no quadro 1. Quadro 1. Enquadramento para o desenvolvimento um Sistema de Avaliação do Estudante mais eficaz Contexto propício Avaliação em sala de aula Tipos/Objectivos da Avaliação Avaliação de larga escala Exames a nível de sistema Alinhamento do sistema Qualidade da avaliação Fonte: Banco Mundial. Os pontos mais relevantes para os Sistemas de Avaliação de Estudantes: um documento-quadro 13