INSPECÇÃO-GERAL DA EDUCAÇÃO PROGRAMA AFERIÇÃO

Transcrição

1 INSPECÇÃO-GERAL DA EDUCAÇÃO PROGRAMA AFERIÇÃO EFECTIVIDADE DA AUTO-AVALIAÇÃO DAS ESCOLAS PROJECTO ESSE Indicadores de qualidade

2 I Introdução Baseado em investigação anterior e na recolha de informação empreendida na fase 1 do projecto ESSE, a partir de discussões que decorreram no seminário de Amsterdão, em 14 e 15 de Junho de 2001, produziu-se um conjunto de indicadores de qualidade para aplicar na fase 2 do projecto. O objectivo principal deste conjunto de Indicadores de Qualidade (IQ) é proporcionar um enquadramento comum para a recolha de evidências e para a formação de juízos. Através da aplicação de um conjunto de indicadores comuns em duas escolas em cada país ou região, pretendemos criar um conjunto de avaliações da auto-avaliação da escola que nos permitirá comparar as características e eficácia da auto-avaliação da escola através da observação feita em países ou em regiões. Este conjunto de IQ é ainda uma versão inicial. O uso de indicadores nas visitas conjuntas às escolas na fase 2, constituirá uma fonte rica para o trabalho prático de campo. Esta experiência será utilizada como informação para futuros desenvolvimentos e para o aperfeiçoamento dos indicadores, de modo a que estes constituam uma base mais consistente para as visitas às escolas em fases futuras do projecto ESSE e, em última análise, estejam disponíveis para aplicação para além do próprio projecto. II Enquadramento do indicador de qualidade do projecto ESSE A estrutura dos IQ desenvolvidos assenta numa variedade de modelos já existentes, muitos dos quais estão descritos num artigo sobre os seus fundamentos teóricos, preparado para o projecto por Bart Maes e pelos seus colegas no DVO (Dienst voor Onderwijsontwikkeling), em Bruxelas. A questão fundamental a que este modelo procura responder é: Qual a eficácia da escola em conseguir um aperfeiçoamento contínuo através da avaliação da qualidade dos serviços que presta e através do desenvolvimento de acções

3 4 INSPECÇÃO-GERAL DA EDUCAÇÃO que reforcem os seus pontos fortes e que superem os seus pontos fracos? Ao procurar resposta para esta questão, o conjunto de indicadores tenciona ajudar os inspectores a elaborar uma imagem sistemática de uma série de aspectos-chave para validar a qualidade e as estratégias de aperfeiçoamento das escolas e o alcance do seu impacto na prática. É importante reconhecer que este conjunto de indicadores incide num nível diferente de muitos dos conjuntos de indicadores actualmente utilizados pelos inspectores e pelas próprias escolas. Enquanto os conjuntos de indicadores são elaborados, tradicionalmente, para ser aplicados directamente na avaliação de uma variedade de aspectos-chave da oferta escolar a ser posta em prática, este conjunto de indicadores ESSE está concebido para ser utilizado ao nível da meta-avaliação, isto é, está focalizado na avaliação da eficácia do próprio processo de avaliação. Este conjunto ESSE não substitui conjuntos de indicadores mais tradicionais. Antes, complementa-os a diferentes níveis. O conjunto de IQ do projecto ESSE adopta uma distinção entre inputs, processos e outputs que é cada vez mais dominante e que está a ser utilizada em modelos de aperfeiçoamento da qualidade. Isto reflecte-se, por exemplo, no Modelo de Excelência que actualmente está a ser amplamente promovido na gestão do serviço público pela European Foundation for Quality Management (EFQM). De uma maneira geral, este tipo de modelo estabelece que, para alcançar com eficácia a excelência através do aperfeiçoamento contínuo, se pede às escolas que considerem um número de aspectos chave, como os que se seguem: Necessitam de maximizar a eficácia dos seus inputs, inicialmente através da produção de um forte input de liderança e direcção, que estabelece um claro sentido de objectivos comuns e finalidades entre o pessoal. Tal necessita de ser construído a partir de um compromisso partilhado de aperfeiçoamento contínuo e de ser apoiado por uma estratégia sistemática que avalia aspectos de desenvolvimento do trabalho e planeamento da escola (área chave 1). Em segundo lugar, as escolas necessitam de maximizar a eficácia dos recursos que lhe estão disponíveis particularmente no que se refere ao seu pessoal, através da avaliação e do aperfeiçoamento, de um modo contínuo, adequando-os às necessidades da escola e sobre a eficácia da sua gestão e utilização (área-chave 2). Olhando para além dos inputs, as escolas têm de pôr em prática dispositivos eficazes para monitorizar e melhorar a qualidade dos processos-chave através dos quais prestam os seus serviços aos jovens, pais e comunidade, incluindo, obviamente, o processo mais crucial de todos, a qualidade do ensino e da aprendizagem na sala de aula (área-chave 3). Finalmente, se a escola avalia e melhora a sua gestão de inputs e os processos chave de um modo eficaz, podemos, então, esperar ver isto reflectido em termos de melhores níveis de desempenho com uma tendência para melhores resultados-chave na escola. Essenciais para a avaliação dos outputs são os pontos de vista e opiniões de parceiroschave tais como os alunos, pais e funcionários, bem como as medições estatísticas dos resultados alcançados relativamente aos níveis de sucesso escolar, às qualificações e aos objectivos atingidos e até atitudes, valores que os alunos terão adquirido quando chegar a altura de saírem da escola (área-chave 4).

4 AUTO-AVALIAÇÃO DAS ESCOLAS. INDICADORES DE QUALIDADE 5 Utilizando este enquadramento geral, definiu-se um total de oito indicadores de qualidade, que se encontram organizados em quatro áreas-chave. As duas primeiras estão relacionadas com diferentes inputs enquanto a terceira-área chave está relacionada com os processos e a quarta com os resultados. 2.1 Inputs área-chave 1 A área-chave 1 intitula-se visão estratégica. Contém dois indicadores de qualidade com veremos de seguida. IQ 1.1 Objectivos e valores Este indicador coloca a questão: Em que medida existem evidencias de uma forte liderança que gerou um sentido claro e partilhado de objectivos e propósitos comuns entre os funcionários da escola e o compromisso para um aperfeiçoamento continuo? Contém dois temas que focalizam a adequação e clareza dos objectivos e valores e o ponto até ao qual estão explicitamente ligados à auto-avaliação da escola e aos procedimentos de aperfeiçoamento. IQ 1.2 Estratégia e política para a auto-avaliação e aperfeiçoamento Este indicador coloca a questão: A escola tem uma estratégia clara e apropriada para sistematicamente avaliar a qualidade do seu trabalho e pôr em prática as melhorias necessários? Contém três temas que focalizam a adequação da globalidade das estratégias de escola planeadas para assegurar que: 1) a auto-avaliação; 2) os processos de planeamento do desenvolvimento sejam eficazes e abrangentes; 3) em que medida a escola consulta os pais, alunos, funcionários e outros na tentativa de definir prioridades de desenvolvimento e um rumo para o progresso. 2.1 Inputs - área-chave 2 A área-chave 2 é denominada Avaliação e aperfeiçoamento dos inputs-chave. Focaliza a gestão dos diferentes recursos disponíveis na escola. Também contém dois indicadores de qualidade. IQ 2.1 Funcionários/recursos humanos Este indicador coloca a questão: Como é que a escola avalia e melhora a eficácia do seu pessoal e o modo como são geridos e utilizados os recursos humanos?

5 6 INSPECÇÃO-GERAL DA EDUCAÇÃO Contém três temas que focalizam os dispositivos para a avaliação do pessoal, a gestão do desenvolvimento do pessoal e a medida em que ambos os aspectos de gestão de recursos humanos estão intimamente ligados com a auto-avaliação global da escola e com os sistemas de aperfeiçoamento. IQ 2.2 Recursos financeiros e físicos Este indicador coloca a questão: A escola avalia bem e melhora a utilização dos recursos físicos e financeiros? Contém dois temas. Um focaliza os dispositivos gerais para monitorizar e avaliar a utilização do orçamento e dos recursos da escola, enquanto que o outro considera a alocação de rubricas flexíveis do orçamento para o apoio ao desenvolvimento, como parte integrante das estratégias de auto-avaliação e de aperfeiçoamento. 2.3 Processos área-chave 3 A terceira área-chave focaliza a gestão dos processos. Denomina-se avaliação e aperfeiçoamento dos processos-chave e contém três indicadores de qualidade. Enquanto os processos-chave na educação escolar podem ser conceptualizados de diferentes modos, o estudo desenvolvido por Maes e outros, em 2001, no âmbito deste projecto, revela que é do conhecimento geral a variedade de tipologias que tendem a emergir. Para os objectivos actuais, os processos-chave incluem pelo menos os seguintes: Manutenção e desenvolvimento da cultura de escola, clima e relacionamentos; Gestão das ligações com os pais e com a comunidade em geral; Estruturação do currículo e dos programas de ensino; Aprendizagem e ensino incluindo o planeamento e a avaliação; Orientação e aconselhamento; Proporcionar apoio para a necessidade de aprendizagem individual, incluindo as necessidades de educação especial. Os três indicadores de qualidade são genéricos em si, podendo ser aplicados a qualquer um destes processos-chave (ou a outros que possam ser identificados). O principio é que, qualquer que seja o processo-chave a considerar no caso que está sendo estudado, o seguinte conjunto de indicadores de qualidade articulados deve cobrir os elementos nucleares da auto-avaliação e dos processos de aperfeiçoamento próprios das melhores práticas. IQ 3.1 Políticas, orientações e padrões O primeiro dos três indicadores nesta área-chave começa por colocar a questão:

6 AUTO-AVALIAÇÃO DAS ESCOLAS. INDICADORES DE QUALIDADE 7 Como comunica a escola, efectivamente, uma visão clara da prática eficaz e dos padrões que devem ser alcançados ao implementar os seus processos-chave? Sem uma visão clara das expectativas não existe uma base sólida para o pessoal monitorizar e melhorar a sua própria prática, como um ponto de partida para uma efectiva cultura de auto-avaliação, e sem bases visíveis para ser monitorizado e avaliado pelos outros. O indicador tem dois temas. Um incide sobre a adequação da orientação e das políticas em curso, enquanto o outro dá enfoque ao modo como estes são utilizados como pontos de referência-chave para a auto-avaliação da escola. IQ 3.2 Planeamento e implementação das actividades de auto-avaliação Este indicador focaliza directamente o modo sistemático e global como a escola utiliza evidências para fazer julgamentos fundamentados sobre a qualidade dos seus próprios processos. Coloca a questão: Como avalia a escola, de facto, a eficácia sobre o modo como são postos em prática os seus processos-chave? No conjunto existem cinco temas: utilização de informação estatística e valores de referência (benchmarking); uso sistemático de um conjunto de indicadores de qualidade ou padrões de qualidade; utilização de informação de retorno sobre os pontos de vista dos parceiros-chave; monitorização directa e observação da prática; utilização de uma personalidade externa para apoiar o processo de auto-avaliação. Os primeiros quatro temas referem-se a diferentes tipos de evidências que poderão ser recolhidas para informar a avaliação de um aspecto particular da provisão. Dependendo do aspecto particular a ser considerado nesse momento, um equilíbrio diferente desta variedade de tipos de evidência pode ser apropriado em qualquer caso particular. No entanto, olhando através da variedade de actividades de auto-avaliação em curso, ano após ano, na escola como um todo, todas elas deviam produzir regularmente evidências das melhores práticas. As visitas conjuntas realizadas no âmbito do projecto ESSE irão testar esta situação através da análise de auditorias focalizadas as quais implicam olhar em detalhe sobre o modo como a escola avaliou uma selecção de diferentes aspectos deste trabalho. O quinto tema permite analisar os benefícios da escola ao construir uma verificação externa da qualidade dentro do seu próprio processo de auto-avaliação, através do envolvimento de um indivíduo exterior à escola, fornecendo feedback como parte do procedimento normal para iniciar o processo. Este indivíduo tem sido frequentemente referido como amigo crítico e pode, nalguns casos, ser outro director de escola, embora noutros possa ser um funcionário de uma autoridade local ou um conselheiro que tenha uma ligação regular com a escola na área da sua responsabilidade. IQ 3.3 Planeamento e implementação de acções que visem o aperfeiçoamento. Tendo observado como a auto-avaliação é desenvolvida em relação a certos tópicos, o

7 8 INSPECÇÃO-GERAL DA EDUCAÇÃO terceiro indicador nesta área-chave considera o modo como a escola se organiza em função das necessidades de desenvolvimento identificadas. Coloca a questão: Como é que a escola aplica os resultados da auto-avaliação em programas de acção planeados que têm um impacto claro no aperfeiçoamento dos processos a que dizem respeito? Aqui o enfoque está no aperfeiçoamento da qualidade dos processos o indicador da áreachave 4 irá considerar que a auto-avaliação é posta ao serviço do desenvolvimento dos pontos de vista dos parceiros, avaliando os resultados. Existem três temas. O primeiro permite observar se a escola seleccionou ou não prioridades adequadas, uma vez apresentados os resultados do seu próprio processo de auto-avaliação. O segundo tema observa como decorre o planeamento detalhado da acção e o terceiro considera até que ponto a escola tem sucesso em levar a cabo planos de acção para conseguir a implementação de progressos significativos nos processos-chave. 1.4 Resultados área-chave 4 Tendo considerado a eficácia da auto-avaliação dos inputs e dos processos da escola, a quarta área-chave concentra-se na procura de provas mensuráveis do impacto destes processos na melhoria dos resultados. A área-chave quatro intitula-se Impacto nos resultados. Aqui existe um indicador de qualidade particularmente significativo. IQ 4.1 Impacto da auto-avaliação e melhoria dos resultados-chave Até que ponto existem evidências de que a auto-avaliação e as actividades de aperfeiçoamento conduziram a progressos mensuráveis? O indicador tem dois temas. Um observa os resultados que certamente incluem medições do sucesso escolar e das qualificações dos alunos, mas que também pode considerar outras informações como, por exemplo, estatísticas sobre o percurso após a escola e sobre outros aspectos das competências dos alunos, capacidades e atitudes para além das experiências académicas básicas. O segundo tema considera evidências retiradas de inquéritos às percepções dos parceiros chave, incluindo alunos, pais e funcionários, procurando padrões e tendências nos seus níveis de satisfação com vários aspectos da oferta de escola. Para termos a convicção de que a auto-avaliação da escola e os procedimentos de aperfeiçoamento são totalmente eficazes, esperamos, naturalmente, encontrar uma forte evidência de que a mesma está a alcançar resultados muito bons para os seus alunos, quando comparados com escolas similares. Alternativamente, se o desempenho actual da escola está num nível inferior ao que esperávamos, aguarda-se que melhore gradualmente fazendo face aos principais pontos fracos.

8 AUTO-AVALIAÇÃO DAS ESCOLAS. INDICADORES DE QUALIDADE 9 III O contexto no qual a auto-avaliação da escola se desenvolveu suporte externo 1 A relação entre a prática escolar e o suporte externo O enquadramento dos indicadores de qualidade do projecto ESSE proporciona uma base para os inspectores atribuírem graus de qualidade relacionados com os dispositivos de autoavaliação que encontram nas escolas de um modo objectivo, sem aumentar ou diminuir a suas expectativas ou padrões em função do país onde se encontram. Certamente este é o caso em que a fase de desenvolvimento da auto-avaliação das escolas pode ser fortemente influenciada pela natureza e alcance do apoio externo dado no país ou região onde estão localizados. Tanto as autoridades regionais ou nacionais como as próprias escolas influenciam fortemente a determinação da eficácia da auto-avaliação nas escolas singulares. No entanto, com vista a permitir que a equipa do projecto possa avaliar objectivamente estes efeitos numa série de países onde as visitas conjuntas decorrerão, é crucial que os inspectores não aumentem nem diminuam as suas expectativas face ao que esperam das escolas, de acordo com o grau de apoio externo que sabem estar disponível (por exemplo, classificando as escolas mais generosamente porque operam num contexto onde existe pouco apoio). A aplicação dos indicadores de qualidade deve visar um campo de acção uniforme. Subsequentemente, será possível analisar a articulação entre o apoio externo e a eficácia da prática observada nas escolas singulares, após avaliar objectivamente a natureza de cada uma. Antes de se realizar esta análise, o conhecimento de uma não deverá distorcer os juízos sobre a outra. É certo que o relacionamento entre o apoio externo e a eficácia da prática na escola não será simples. A eficácia da auto-avaliação e dos processos de aperfeiçoamento nas escolas serão sem dúvida influenciados pela natureza do apoio externo. Contudo, está igualmente claro que a eficácia não será inteiramente determinada por este apoio. Podem existir escolas singulares que utilizem pouco apoio externo e, por outro lado, é possível encontrar boas práticas de auto-avaliação, desenvolvendo-se em áreas onde há um reduzido suporte externo ou orientação. Um objectivo-chave do projecto ESSE passa pela exploração da relação entre o suporte externo e a eficácia da auto-avaliação da escola, no sentido de aconselhar sobre o modo como alcançar um equilíbrio mais produtivo. 2 Um enquadramento para analisar o suporte externo Tendo como base o inquérito inicial aos países ou regiões participantes, levada a cabo para o projecto ESSE por Bart Maes e pelos seus colegas no DVO, foram identificados quatro tipos principais de apoio, através dos quais instituições externas, tais como inspecções ou departamentos de educação, facultam apoio às escolas no processo de auto-avaliação. A disponibilidade deste apoio é claramente um factor que não está sob o controlo directo da escola, mas antes sob o controlo de instituições nacionais ou regionais que gerem o sistema de educação na área. Define o contexto dentro do qual a auto-avaliação opera a nível da escola singular, tornando mais ou menos difícil desenvolver teorias sobre as melhores práticas.

9 10 INSPECÇÃO-GERAL DA EDUCAÇÃO Os quatro aspectos-chave do suporte externo (ES) são: ES 1 Provisão de dados estatísticos para comparação e referenciação Este aspecto relaciona as vias pelas quais as instituições nacionais ou regionais tornam possível às escolas comparar o seu desempenho com o de outras escolas, pela análise de dados de todo o país ou região e apresentando as análises de novo às escolas, o que torna mais fácil efectuar comparações apropriadas. A obtenção de dados sobre o sucesso escolar, tais como os resultados de exames, têm destaque aqui, mas também se pode analisar outros tipos de dados deste modo. ES 2 Provisão de um conjunto de padrões de qualidade Sabemos que alguns países desenvolveram conjuntos nacionais de indicadores de qualidade para as escolas, por vezes recorrendo aos indicadores utilizados pelas inspecções nas suas visitas às escolas e reutilizando-os como orientações para as suas auto-avaliações. Este aspecto revela até que ponto a matriz dos indicadores foi disponibilizada, em cada país ou região, para as escolas a utilizarem. ES 3 Provisão da formação em métodos de auto-avaliação Este aspecto considera até que ponto as instituições nacionais ou regionais disponibilizaram formação às escolas sobre o processo e a metodologia de auto-avaliação. ES 4 Provisão de inspecções externas independentes regulares ou de papel de moderador na auto-avaliação Alguns países desenvolvem programas de inspecções externas regulares às escolas e outros podem levar a cabo inspecções a instituições individuais de um modo menos amplo ou regular. Tal proporciona uma visão externa da eficácia da escola, que a escola pode comparar face à sua própria auto-avaliação e pode, ou não, dar origem a uma avaliação directa do dispositivo da auto-avaliação da escola. Este aspecto distingue-se do conceito de amigo crítico, em que uma escola envolve um indivíduo externo no seu próprio programa de auto-avaliação de uma forma rotineira (tal é abordado no IQ 3.2, pelo que não o desenvolveremos aqui). Mais propriamente, está relacionado com visitas externas independentes ocasionais, de instituições nacionais ou regionais, para formar uma visão independente da escola e dos seus dispositivos de gestão. 3 Registo e análise de evidências resultantes da visita conjunta Temos conhecimento de que nos países ou nas regiões a visitar se registarão variações significativas no que diz respeito à natureza e ao âmbito do apoio externo disponível. Para o objectivo das visitas conjuntas da fase 2, o nível de qualidade da escola não será atribuído a estes itens, mas serão retiradas evidências de cada visita em cada um dos quatro pontos para que o contexto, em cada país, possa ser comparado e o contexto relevante para

10 AUTO-AVALIAÇÃO DAS ESCOLAS. INDICADORES DE QUALIDADE 11 qualquer escola em particular possa ser tomado em consideração quando se interpretam os níveis atribuídos a essa escola. Os níveis baixos atribuídos a uma escola podem estar relacionados, em grande ou pequena escala, com as limitações na natureza e extensão do apoio externo disponível. É difícil imaginar uma escola obtendo bons níveis em todas as áreas de auto-avaliação num contexto onde muitos aspectos de apoio nacional estão em falta. Em cada um dos aspectos acima mencionados, colocam-se três questões interligadas (e que deviam estar em destaque): Qual a natureza do apoio externo que tem vindo a ser dado? No caso desta escola em particular, o apoio externo parece ter tido um impacto positivo na qualidade da auto-avaliação a decorrer na escola? Como pode o apoio externo ser aperfeiçoado para melhor apoiar a auto-avaliação? À medida que o projecto evolui para a terceira fase, as provas recolhidas na fase 2 sobre o apoio externo e a sua relação com a eficácia da auto-avaliação da escola serão utilizadas para desenvolver indicadores mais específicos sobre a qualidade do apoio externo, que posteriormente serão testados e desenvolvidos.