Avaliação externa de escolas: Análise dos resultados do 1º ciclo de avaliação

Transcrição

1 Seminário "Avaliação Externa de Escolas: Princípios, Processos e Efeitos FPCEUP Avaliação externa de escolas: Análise dos resultados do 1º ciclo de avaliação Carlos Barreira Maria da Graça Bidarra Piedade Vaz-Rebelo Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra 27 de Outubro de 2012

2 Objetivo geral Divulgar alguns estudos realizados com base nos dados obtidos no 1º ciclo de avaliação externa de escolas.

3 Questões de investigação Qual o desempenho das escolas nos diferentes domínios do quadro de referência da AAE? Quais as principais tendências que nos revelam os dados obtidos no processo de AAE no 1º ciclo de avaliação?

4 Domínios e Factores de Avaliação 1. Resultados 1.1. Sucesso académico 1.2. Participação e desenvolvimento cívico 1.3. Comportamento e disciplina 1.4. Valorização e impacto das aprendizagens 3. A organização e gestão escolar 3.1. Concepção, planeamento e desenvolvimento da actividade 3.2. Gestão dos recursos humanos 3.3. Gestão dos recursos materiais e financeiros 3.4. Participação dos pais e outros elementos da comunidade educativa 3.5. Equidade e justiça 2. A prestação do serviço educativo 2.1. Articulação e sequencialidade 2.2. Acompanhamento da prática lectiva em sala de aula 2.3. Diferenciação e apoios 2.4. Abrangência do currículo e valorização dos saberes e da aprendizagem 4. Liderança 4.1. Visão e estratégia 4.2. Motivação e empenho 4.3. Abertura à inovação 4.4. Parcerias, protocolos e projectos 5. Capacidade de auto-regulação e melhoria da Escola/Agrupamento Coimbra 29 de Outubro de Auto-avaliação 5.2. Sustentabilidade do progresso

5 Níveis da escala de avaliação As classificações dos domínios e fatores que constituem o quadro de referência são atribuídas numa escala qualitativa com quatro níveis: Muito Bom Bom Suficiente Insuficiente A distinção entre estes níveis faz-se tendo em conta: O balanço entre o número de pontos fortes e fracos; O carácter mais ou menos generalizado das ações e procedimentos eficazes adotados pela unidade de gestão; O respetivo impacte na melhoria dos resultados dos alunos.

6 Pareceres do Conselho Nacional de Educação nº5 de 2008 e nº3 de 2010 Alertam para a existência de uma certa tensão entre as duas lógicas avaliativas presentes na AEE: a lógica formativa e a lógica sumativa. Referem algumas redundâncias entre alguns domínios e fatores. Apontam para o interesse de uma eventual hierarquização dos domínios de avaliação e de uma explicitação dos indicadores de cada fator e a respetiva ponderação. Necessidade de reforçar a centralidade dos resultados.

7 Estudo A Desempenho das escolas nos diferentes domínios Principais tendências

8 Estudo A Metodologia Questões de investigação: Qual é o desempenho das escolas nos diferentes domínios e quais são as principais tendências que se evidenciam a partir da análise das classificações por domínios das escolas avaliadas? Base de dados Relatórios publicados pela IGE sobre a Avaliação Externa de Escolas, relativos a quatro anos letivos, entre 2006 e 2010 (IGE, 2008, 2009, 2010, 2011). o : 100 escolas o : 273 escolas o : 287 escolas o : 300 escolas

9 Estudo A Metodologia Procedimentos Por conveniência de representação gráfica e de análise da evolução da classificação nos diferentes domínios, a escala de classificação nos quatro níveis de Insuficiente, Suficiente, Bom e Muito Bom, foi convertida numa escala de 1 a 4. Em seguida, para cada ano letivo, foi calculada a pontuação de cada domínio pesando cada valor da escala com a respetiva percentagem com que o domínio aparece. Por exemplo, para o ano letivo , o domínio Liderança obtém a pontuação de (40x4+43x3+16x2+1x1)/100=3.22.

10 Percentagens dos níveis de classificação atribuídos às escolas por ano letivo em função dos domínios do quadro de referência

11 Classificação (1-insuf 4-M.Bom) Resultados Prestação do serviço educativo Organização e gestão escolar Liderança Capacidade de auto-regulação e melhoria da escola 2006_ _ _ _2010 Ano académico Evolução das pontuações obtidas nos domínios

12 Classificação dos Domínios Predomínio de níveis de classificação positivos em todos os domínios, correspondentes a Bom e Muito Bom, com exceção do domínio Capacidade de autorregulação e melhoria da escola. Esta tendência não só se manteve, como se tem manifestado de forma crescente, com exceção do ano de Níveis de classificação mais elevados na Liderança e Organização e Gestão, seguidos de Prestação do Serviço Educativo e Resultados. O domínio em que estes níveis são inferiores é o da Capacidade de autorregulação e melhoria da escola, em que se regista mesmo um decréscimo das classificações, vindo a atingir-se um valor próximo do inicial no último ano.

13 Estudo B Padrões de associação entre domínios e entre fatores e domínios

14 Estudo B Metodologia Questões da investigação: Quais os fatores mais associados ao respetivo domínio? Quais os fatores que se constituem como melhores preditores relativamente às classificações no domínio? Em que medida é possível dar conta da existência de ponderações implícitas entre os fatores dos respetivos domínios? Objetivo: Conhecer o padrão de intercorrelações entre domínios e entre fatores e domínios. Base de dados: Este estudo foi efetuado com uma base mais restrita, que compreendeu 167 escolas da zona centro dos anos letivos de , e Procedimento: Conversão da escala de 4 níveis (Insuficiente. Suficiente, Bom, Muito Bom) usada no âmbito da AEE em 1, 2, 3, 4, à semelhança do que foi feito no estudo 1. Análise estatística: Análise de correlação/regressão múltipla para cada um dos domínios, tomando como variável critério a pontuação do domínio e como variáveis preditoras as pontuações nos fatores.

15 Correlações interdomínios Domínios Dom 1 Dom 2 Dom 3 Dom 4 Dom 5 Domínio 1: Resultados 1.00 Domínio 2: Prestação do Serviço Educativo Domínio 3: Organização e Gestão Escolar Domínio 4: Liderança Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola Os domínios aparecem todos positivamente correlacionados entre si. Existem correlações mais elevadas entre os domínios Prestação do serviço educativo e Resultados, por um lado, e Liderança e Organização e gestão, por outro, ainda que as restantes correlações sejam igualmente elevadas.

16 Análise em Componentes Principais (Rotação VARIMAX) Saturações Domínios Componente 1 Componente 2 Domínio 3: Organização e Gestão Escolar Domínio 4: Liderança Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola Domínio 2: Prestação do Serviço Educativo Domínio 1: Resultados Valores Próprios Percentagem de Variabilidade Explicada Esta análise permite-nos fazer uma leitura dos padrões de associação subjacentes a esta matriz, sendo identificados dois componentes principais que explicam respetivamente 41.2% e 34.8% da variabilidade.

17 Padrões de associação 1ºcomponente 2ºcomponente Aspetos estruturais/ organizacionais da escola Aspetos funcionais/ pedagógicos Organização e gestão Liderança Capacidade de autorregulação e melhoria da escola Prestação do serviço educativo Resultados

18 Quais são os fatores que se constituem como melhores preditores do respetivo domínio? Ou dito de outro modo, se se tivesse de reduzir os fatores por domínio, quais se mantinham? Análise da correlaç ã o/reg res s ão múltipla Variáv el critér io : pontuação do domínio Variáv e is preditoras : pontuaçõ es nos fatores 3 níveis de análise Coeficiente de correlaç ã o múltipla Coeficiente de correlaç ã o s imples Decompos i ç ão de R 2

19 Domínio 1: Resultados R =.92 R 2 =.85 Fatores r sr 2 F1 Sucesso académico F2 Participação e desenvolvimento cívico F3 Comportamento e disciplina F4 - Valorização e impacto das aprendizagens R 2 sr 2 =.57 A pontuação no domínio não pode ser integralmente derivada dos factores; caso isto acontecesse, então R = 1.00 Para cada factor, tomado isoladamente, a correlação com o domínio indica o respectivo valor preditivo. A análise dos contributos únicos dos fatores permite-nos identificar a redundância dos diferentes factores na classificação no domínio

20 Domínio 1: Resultados R =.92 R 2 =.85 Fatores r sr 2 F1 Sucesso académico F2 Participação e desenvolvimento cívico F3 Comportamento e disciplina F4 - Valorização e impacto das aprendizagens R 2 sr 2 =.57 Domínio 2: Prestação do Serviço Educativo R =.84 R 2 =.70 Fatores r sr 2 F1 Articulação e sequencialidade F2 Acompanhamento da prática letiva em sala de aula F3 Diferenciação e apoios F4 Abrangência do currículo e valorização dos saberes R 2 sr 2 =.51 Domínio 3: Organização e Gestão Escolar R =.89 R 2 =.79 Fatores r sr 2 F1 Conceção/planeamento/desenvolvimento da atividade F2 Gestão dos recursos humanos F3 - Gestão dos recursos materiais e financeiros F4 Participação dos pais e de outros elementos da comunidade F5 Equidade e justiça R 2 sr 2 =.62 Hipótese O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores. Domínio 4: Liderança R =.88 R 2 =.78 Fatores r sr 2 F1 Visão e estratégia F2 Motivação e empenho F3 Abertura e inovação F4 Parcerias, protocolos e projetos Domínio 5: Capacidade de Autorregulação e Melhoria da Escola R 2 sr 2 =.58 R =.90 R 2 =.80 Fatores r sr 2 F1 - Autoavaliação F2 - Sustentabilidade e progresso R 2 sr 2 =.56

21 Domínio 1: Resultados Fatores F1 Sucesso académico F2 Participação e desenvolvimento cívico Domínio 2: Prestação do Serviço Educativo Fatores F1 Articulação e sequencialidade F3 Diferenciação e apoios Domínio 3: Organização e Gestão Escolar Fatores F1 Conceção/planeamento/desenvolvimento da atividade F2 Gestão dos recursos humanos Domínio 4: Liderança Fatores F1 Visão e estratégia F2 Motivação e empenho Hipótese O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores. Domínio 5: Capacidade de Autorregulação e Melhoria da Escola Fatores F1 - Autoavaliação

22 Para testar a hipótese da ponderação diferencial dos fatores, formulámos dois modelos hipotéticos de ponderação Ponderação igual para todos os factores Ponderação 2 para o 1º factor e 1 para os restantes. Reproduz parcialmente as classificações atribuídas. Reproduz de forma quase perfeita as classificações atribuídas.

23 Classificações Atribuídas Classificações Atribuídas Média Aritmética (Ponderacão Igual) dos Factores do Domínio Resultados R1 R2 R3 R4 R 4 R.25 R.25 R.25 R.25R Conversão das Classificações nos Factores Insuficiente 1 Suficiente 2 Bom 3 Muito Bom 4 Média Aritmética (Ponderação Diferencial) dos Factores do Domínio Resultados Conversão das Médias nos Domínios 1.00 R 1.50 Insuficiente 1.50 R 2.50 Suficiente 2.50 R 3.50 Bom 3.50 R 4.00 Muito Bom 2R1 R2 R3 R4 R 5 R.40 R.20 R.20 R.20R Cruzamento das Classificações Atribuídas com as Classificações Esperadas de Acordo com o Modelo de Ponderação Igual Classificações Esperadas Insuficiente Suficiente Bom Muito_Bom Total Insuficiente Suficiente Bom Muito Bom Total Classificações convergentes: 123 Escolas (73.7%) Classificações não convergentes: 44 Escolas (26.3%) Cruzamento das Classificações Atribuídas com as Classificações Esperadas de Acordo com o Modelo de Ponderação Diferencial Classificações Esperadas Insuficiente Suficiente Bom Muito_Bom Total Insuficiente Suficiente Bom Muito Bom Total Classificações convergentes: 162 Escolas (97.0%) Classificações não convergentes: 5 Escolas (3.0%)

24 Conclusões Não existem ponderações explícitas dos fatores e domínios no quadro de referência da AEE, mas existem ponderações implícitas no quadro de referência dos avaliadores. Os dados obtidos dão algum apoio ao novo quadro de referência do novo ciclo de avaliação, que envolve já uma redução de domínios e uma redução de fatores.

25 Implicações É possível: reduzir os fatores aos preditores, o que em certa medida já se verifica no novo quadro de referência. estabelecer um quadro explícito de ponderação e de cálculo das classificações dos domínios.

26 NOVO CICLO: QUADRO DE REFERÊNCIA DOMÍNIOS RESULTADOS PRESTAÇÃO DO SERVIÇO EDUCATIVO LIDERANÇA E GESTÃO CAMPOS DE ANÁLISE RESULTADOS ACADÉMICOS RESULTADOS SOCIAIS RECONHECIMENTO DA COMUNIDADE PLANEAMENTO E ARTICULAÇÃO PRÁTICAS DE ENSINO MONITORIZAÇÃO E AVALIAÇÃO DAS APRENDIZAGENS LIDERANÇA GESTÃO AUTO-AVALIAÇÃO E MELHORIA

27 OBRIGADA PELA VOSSA ATENÇÃO! Barreira, C., Bidarra, G., & Vaz-Rebelo, M. P. (2011). Avaliação externa de escolas: Do quadro de referência aos resultados e tendências de um processo em curso. Revista Portuguesa de Pedagogia, Extra-Série,

28 ESCALA DE AVALIAÇÃO EXCELENTE- A acção da escola tem produzido um impacto consistente e muito acima dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares.os pontos fortes predominam na totalidade dos campos em análise. A escola distingue-se pelas práticas exemplares em campos relevantes MUITO BOM- A acção da escola tem produzido um impacto consistente e acima dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares.os pontos fortes predominam na totalidade dos campos em análise, em resultado de práticas organizacionais generalizadas e eficazes. BOM- A acção da escola tem produzido um impacto em linha com o valor esperado na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares. A escola apresenta uma maioria de pontos fortes nos campos em análise, em resultado de práticas organizacionais eficazes. SUFICIENTE- A acção da escola tem produzido um impacto aquém dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares. As acções de aperfeiçoamento são pouco consicstentes ao longo do tempo e envolvem áreas limitadas da escola INSUFICIENTE- A acção da escola tem produzido um impacto muito aquém dos valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares.os pontos fracos sobrepõem-se aos pontos fortes na generalidade dos campos em análise. dos campos em análise. A escola não revela uma prática coerente, positiva e coesa.