Escola de Ciências Sociais e Humanas Aproximar e diferenciar para o sucesso escolar: Avaliação do impacto da tipologia no âmbito do PMSE M. Clara Barata, Joana N. Patrício, M. Manuela Calheiros, João Graça & Luísa Lima CIS IUL, ISCTE IUL IV Seminário Nacional do Projeto 2 de Julho de 22, Évora Avaliação da tipologia Agradecimentos João Graça M. Clara Barata Luísa Lima M. Manuela Calheiros Joana N. Patrício Calheiros, João Graça & Luísa Lima
Avaliação da tipologia DGEEC / GEPE Prof.ª Doutora Luísa Canto e Castro Loura, Dra. Isabel Almeida, Dr. Nuno Rodrigues, Dra. Eunice Gois, Dra. Emília Tavares e Dr. Joaquim Santos DGE / DGIDC Prof. Doutor Fernando Reis, Dr. Pedro Cunha, Dra. Eulália Alexandre, Dra. Luísa Ucha, Dra. Marta Procópio, Dr. Rui Candeias, e Dra. Ana Xavier Coordenação e Acompanhamento do PMSE Prof. Doutor José Cortes Verdasca, Dra. Luísa Tavares Moreira, Dra. Teodolinda Cruz e Dr. José Alberto Fateixa do PMSE, assim como aos elementos das suas equipas Académicos e DREs Prof.ª Doutora Maria de Lurdes Rodrigues, coordenadores Prof.ª Doutora Isabel Fialho, Prof. Doutor José Matias Alves, e Prof. Doutor João Pedro da Ponte, e elementos das Direções Regionais de Educação Diretores, professores e alunos do PMSE Avaliação da tipologia Barata, M. C., Calheiros, M. M., Patrício, J., Graça, J., & Lima, M. L. (22). Avaliação do Programa Mais Sucesso Escolar. Lisboa: Direção-Geral de Estatísticas de Educação e Ciência Ministério da Educação e Ciência. Disponível em http://www.gepe.minedu.pt/np4/?newsid=67&filename=pmse_alt_pdf.pdf. Calheiros, João Graça & Luísa Lima 2
Escola de Ciências Sociais e Humanas. Objetivos Avaliação da tipologia Avaliação da tipologia. Objetivos Objetivos Avaliar a implementação do PMSE relativamente aos recursos disponibilizados e às atividades organizacionais e pedagógicas desenvolvidas; determinar se o programa foi implementado como previsto e os contextos que facilitam a implementação. Avaliar o impacto do PMSE nas componentes organizacionais e pedagógicas das escolas; analisar os produtos e os efeitos obtidos com o programa e os contextos que promovem estes efeitos. Incluindo um conjunto vasto de domínios e medidas, Relativamente aos dois anos de implementação (29/2 e 2/2), e Incluindo uma metodologia de recolha e análise de dados rigorosa. Calheiros, João Graça & Luísa Lima 3
Escola de Ciências Sociais e Humanas 2. Metodologia Avaliação da tipologia Avaliação da tipologia 2. Método RECURSOS [avaliação de implementação] ÁREAS DE ATIVIDADE [avaliação de implementação] RESULTADOS [avaliação do impacto] - Créditos horários - Equipas docentes - Equipa técnica não docente - Parcerias/protocolos com Ministérios - Parcerias/protocolos com centros de investigação - Redes de partilha e colaboração inter escolas - Apoio das autarquias locais - Parcerias com serviços e/ou empresas locais COMPONENTE ORGANIZACIONAL - Composição de grupos adicionais de alunos - Liderança e coordenação - Comunicação e trabalho de equipa - Partilha e regulação interescolas COMPONENTE PEDAGÓGICA - Diferenciação pedagógica - Formação de professores - Envolvimento/contato com Encarregados de Educação - Intervenção da equipa técnica não docente PROPRIEDADES ORGANIZACIONAIS - Liderança escolar - Ligações pais-comunidade-escola - Envolvimento parental na escola - Competência profissional - Crenças de confiança individual e coletiva nas competências de ensino DESEMPENHO ESCOLAR E RELAÇÃO PEDAGÓGICA - Taxas de sucesso escolar - Qualidade do sucesso escolar - Avaliações externas: Exames - Avaliações externas: Aferições 6º ano - Conclusão de ciclo e sobrevivência da coorte - Recurso a percursos curriculares alternativos - Desempenho cívico - Qualidade da relação professoraluno e professor turma Calheiros, João Graça & Luísa Lima 4
Avaliação da tipologia 2. Método Metodologia Uma perspectiva rigorosa, usando fontes diversas:... Professores;... Diretores de escolas;... Alunos;... Interlocutores do programa;... Relatórios de implementação; Seminários e reuniões de acompanhamento;... Indicadores de desempenho escolar do Min. da Educação e Ciência Avaliação da tipologia 2. Método Metodologia Uma perspetiva rigorosa, usando técnicas diversas:... Qualitativas... Quantitativas - Entrevistas individuais - Análise documental - Observação das formas de implementação - Grupos focais - Questionários a diretores e professores - Dados do MEC Calheiros, João Graça & Luísa Lima 5
Avaliação da tipologia 2. Método Metodologia Método de recolha Amostra: Alvo Total Controlo Intervenção TM FN HI Entrevistas Interlocutores do PMSE 42 35 3 2 Análise Documental Relatórios de Implementação 238 238 3 89 9 Observações Acompanhamento 3 3 5 Grupos Focais Alunos 48 48 2 24 2 Diretores 49 68 8 4 32 8 Questionário Professores (Part.) 57 97 473 38 82 83 Professores (Part.2) 538 8 42 26 5 Dados MEC Escolas º ano 375 252 23 67 46 Escolas 2º ano 363 248 5 63 43 9 Avaliação da tipologia 2. Método Metodologia Avaliação da implementação e impacto Escolas do PMSE, Fénix, Híbrida... com emparelhamento estatístico de escolas do grupo de intervenção e controlo (Rosenbaum & Rubin, 983); vs. Escolas Controlo as escolas que se candidataram ao programa, mas não foram aceites Variáveis controladas das escolas no ano de candidatura ao PMSE (i.e. escola em agrupamento, ensino pré-escolar, ensino secundário, a percentagem de alunos SASE A, B e C, a percentagem de alunos com computador e internet em casa, o número total de alunos, docentes, e não docentes, a percentagem de docentes do sexo feminino, a idade média e antiguidade média dos docentes, o número de docentes com mestrado ou mais qualificações, o número de ocorrências disciplinares em 28/29), a tipologia de área urbana da freguesia da escola em 2, e o nível médio de cada indicador no ano de candidatura (i.e. um pré-teste ou baseline de 28/29) Calheiros, João Graça & Luísa Lima 6
Avaliação da tipologia 2. Método Metodologia Uma perspetiva rigorosa, respeitando os dados e os instrumentos:... utilizando técnicas estatísticas multinível que conciliam o nível das escolas com o número de anos contratualizados e o nível dos indivíduos;... utilizando instrumentos válidos e precisos. com interpretações cautelosas, porque a amostra não é tão grande quanto seria desejável, nomeadamente nas avaliações externas ou relativamente à tipologia Híbrida. Escola de Ciências Sociais e Humanas 3. Resultados: Impacto Avaliação da tipologia Calheiros, João Graça & Luísa Lima 7
Amplitude do efeito Avaliação da tipologia Apresentação gráfica dos resultados Descrevemos apenas os resultados estatisticamente significativos ~ =, * =,5 ** =, *** =, Mudanças favoráveis ao grupo PMSE - - - - - Indicador indicador 2 Mudanças favoráveis ao grupo Controlo - - - - - Avaliação da tipologia RECURSOS [avaliação de implementação] ÁREAS DE ACTIVIDADE [avaliação de implementação] RESULTADOS [avaliação do impacto] - Créditos horários - Equipas docentes - Equipa técnica não docente - Parcerias/protocolos com Ministérios - Parcerias/protocolos com centros de investigação - Redes de partilha e colaboração inter escolas - Apoio das autarquias locais - Parcerias com serviços e/ou empresas locais COMPONENTE ORGANIZACIONAL - Composição de grupos adicionais de alunos - Liderança e coordenação - Comunicação e trabalho de equipa - Partilha e regulação interescolas COMPONENTE PEDAGÓGICA - Diferenciação pedagógica - Formação de professores - Envolvimento/contato com Encarregados de Educação - Intervenção da equipa técnica não docente PROPRIEDADES ORGANIZACIONAIS - Liderança escolar - Ligações pais-comunidade-escola - Envolvimento parental na escola - Competência profissional - Crenças de confiança individual e coletiva nas competências de ensino DESEMPENHO ESCOLAR E RELAÇÃO PEDAGÓGICA - Taxas de sucesso escolar - Qualidade do sucesso escolar - Avaliações externas: Exames - Avaliações externas: Aferições 6º ano - Conclusão de ciclo e sobrevivência da coorte - Recurso a percursos curriculares alternativos - Desempenho cívico - Qualidade da relação professoraluno e professor turma Calheiros, João Graça & Luísa Lima 8
Amplitude do efeito Avaliação da tipologia Propriedades Organizacionais O PMSE não tem uma influência clara nas propriedades organizacionais das escolas PROPRIEDADES ORGANIZACIONAIS - Liderança escolar - Ligações pais-comunidadeescola - Envolvimento parental na escola - Competência profissional - Crenças de confiança individual e coletiva nas competências de ensino Avaliação da tipologia Propriedades Organizacionais - -* -8** - - - - - - Liderança pedagógica Diálogo de reflexão - - - Calheiros, João Graça & Luísa Lima 9
Amplitude do efeito Avaliação da tipologia Propriedades Organizacionais,9,7 - - - - - -* -8** Liderança pedagógica Diálogo de reflexão - - - - -,5,3, Só nos professores participantes * ~ Qualidade da formação Prática pública de sala de aula Avaliação da tipologia Resultados Impacto: Propriedades organizacionais Liderança escolar As escolas no PMSE apresentam...... médias mais baixas de liderança pedagógica (TM) (envolvimento do diretor na monitorização, compreensão e estímulo das aprendizagens dos alunos)... médias mais baixas de liderança de inclusão (só TM) (a capacidade de partilha de decisões percebida pela própria liderança)... médias mais baixas de coerência do programa (só TM) (continuidade, consistência e adequação dos programas à escola e aos seus objetivos)... médias mais baixas de influência de professores (só TM) (influência dos professores em diversas atividades da escola, desde a organização dos horários à planificação de iniciativas para melhorar a escola)... médias mais baixas de influência de professores (só TM) Questionário a Diretores 2 anos Questionário a Professores 2 anos Calheiros, João Graça & Luísa Lima
Avaliação da tipologia Resultados Impacto: Propriedades organizacionais Competência profissional As escolas no PMSE apresentam... Questionário a Diretores 2 anos... médias mais baixas de diálogo de reflexão (TM) (discussão com os professores sobre as práticas de ensino, o trabalho dos alunos, os objetivos da escola, o currículo aplicado e as estratégias de melhoria do ensino, em itens como discuto com os professores o desenvolvimento de um novo currículo ; tenho conversas frequentes com os professores sobre os objectivos desta escola ; discuto regularmente com os professores desta escola o trabalho dos seus alunos ). Avaliação da tipologia Resultados Impacto: Propriedades organizacionais Competência profissional (cont.) Os professores que participaram no PMSE apresentam...... médias mais altas de qualidade de formação (dif. TM n.s.) (contributo das experiências de formação profissional para o trabalho dos professores, em itens como A formação profissional tem incluído oportunidades de trabalhar com colegas nas minha escola ; A formação profissional tem incluído oportunidades de pensar cuidadosamente, testar e avaliar novas ideias ; A formação profissional tem levado a modificar a maneira como ensino )... médias tendencialmente mais altas de prática pública de sala de aula (tendencial; dif. TM n.s.) (abertura dos professores a receber ajuda, feedback e colaborar com colegas, na frequência de atividades como Convidou alguém para o/a vir ajudar a dar a sua aula ; Recebeu de colegas sugestões úteis para a criação de materiais curriculares ; Recebeu de colegas feedback significativo sobre o seu desempenho ) Questionário a Professores 2 anos Calheiros, João Graça & Luísa Lima
Avaliação da tipologia RECURSOS [avaliação de implementação] ÁREAS DE ACTIVIDADE [avaliação de implementação] RESULTADOS [avaliação do impacto] - Créditos horários - Equipas docentes - Equipa técnica não docente - Parcerias/protocolos com Ministérios - Parcerias/protocolos com centros de investigação - Redes de partilha e colaboração inter escolas - Apoio das autarquias locais - Parcerias com serviços e/ou empresas locais COMPONENTE ORGANIZACIONAL - Composição de grupos adicionais de alunos - Liderança e coordenação - Comunicação e trabalho de equipa - Partilha e regulação interescolas COMPONENTE PEDAGÓGICA - Diferenciação pedagógica - Formação de professores - Envolvimento/contato com Encarregados de Educação - Intervenção da equipa técnica não docente PROPRIEDADES ORGANIZACIONAIS - Liderança escolar - Ligações pais-comunidade-escola - Envolvimento parental na escola - Competência profissional - Crenças de confiança individual e coletiva nas competências de ensino DESEMPENHO ESCOLAR E RELAÇÃO PEDAGÓGICA - Taxas de sucesso escolar - Qualidade do sucesso escolar - Avaliações externas: Exames - Avaliações externas: Aferições 6º ano - Conclusão de ciclo e sobrevivência da coorte - Recurso a percursos curriculares alternativos - Desempenho cívico - Qualidade da relação professoraluno e professor turma Avaliação da tipologia DESEMPENHO ESCOLAR E RELAÇÃO PEDAGÓGICA O PMSE tem um efeito global e significativo nas componentes pedagógicas das escolas, sobretudo nos indicadores de sucesso escolar, que consistem no principal objetivo deste programa. DESEMPENHO ESCOLAR E RELAÇÃO PEDAGÓGICA - Taxas de sucesso escolar - Qualidade do sucesso escolar - Avaliações externas: Exames - Avaliações externas: Aferições 6º ano - Conclusão de ciclo e sobrevivência da coorte - Recurso a percursos curriculares alternativos - Desempenho cívico - Qualidade da relação professor-aluno e professor turma Calheiros, João Graça & Luísa Lima 2
Amplitude do efeito Avaliação da tipologia Taxas de sucesso escolar - - - 8*** -,7~ TS º A TS 2º A TS Matemática ºA 3***,59***,56***,54*** 4***,59** TS Matemática 2ºA TS LP ºA TS LP 2ºA TS Inglês ºA TS Inglês 2ºA - - - - - - - Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Taxas de sucesso escolar As escolas no PMSE apresentam...... taxas de transição 4% superiores no º ano (4% TM)... taxas de transição % inferiores no 2º ano (tendencial) (-,5% TM) Indicadores de Sucesso Escolar MEC e 2 anos Calheiros, João Graça & Luísa Lima 3
Amplitude do efeito Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Taxas de sucesso escolar As escolas no PMSE apresentam...... taxas de sucesso a matemática 5% superiores no º ano (dif. TM n.s.)... taxas de sucesso a matemática 7% superiores no 2º ano ( 4% TM)... taxas de sucesso a Língua Portuguesa 6% superiores no º ano (5% TM)... taxas de sucesso a Língua Portuguesa 5% superiores no 2º ano ( 4% TM)... taxas de sucesso a Inglês 5% superiores no º ano (5% TM)... taxas de sucesso a Inglês 6% superiores no 2º ano ( 5% TM) Indicadores de Sucesso Escolar MEC e 2 anos Avaliação da tipologia Qualidade do sucesso escolar - - - - - 8*,32**,35** ~ 4+5 Matemática 2ºA 4+5 LP ºA 4+5 LP 2ºA 4+5 Inglês ºA - - - - - Calheiros, João Graça & Luísa Lima 4
Amplitude do efeito Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Qualidade do sucesso escolar As escolas no PMSE apresentam...... mais 3% de 4 e 5 a matemática no 2º ano (4% TM)... mais 4% de 4 e 5 a Língua Portuguesa no º ano (4% TM)... mais 4% de 4 e 5 a Língua Portuguesa no 2º ano ( 4% TM)... mais 2% de 4 e 5 a Inglês no º ano (tendencial) (3% TM, tendencial) Indicadores de Sucesso Escolar MEC e 2 anos Avaliação da tipologia Avaliações externas: Exames e Aferições, Amostras substancialmente mais reduzidas, -2~ -5* -,3* 4* -2* -,33~,3~ - - - - - - - -, Ex. Matemática ºA Ex. LP 2ºA Dif Freq-Ex Matemática ºA Dif Freq-Ex Matemática 2ºA Dif Freq-Ex LP Dif Freq-Ex LP Aferição: TS ºA 2ºA Matemática 2ºA - - Calheiros, João Graça & Luísa Lima 5
Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Avaliações externas: Exames As escolas no PMSE apresentam...... menos valores (-5) a Matemática no º ano (tendencial) (-,3 valores TM)... menos valores (-5) a Língua Portuguesa no 2º ano (-,5 valores TM) Indicadores de Sucesso Escolar MEC e 2 anos Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Avaliações externas: Exames Indicadores de Sucesso Escolar MEC e 2 anos As escolas no PMSE apresentam...... maior diferença entre freq e exame a Matemática no º ano (dif. TM n.s.)... menor diferença entre freq e exame a Matemática no 2º ano (dif. TM n.s.)... maior diferença entre freq e exame a L. Portuguesa no º ano (dif. TM n.s.)... maior diferença entre freq e exame a L. Portuguesa no 2º ano (tendencial, TM) Calheiros, João Graça & Luísa Lima 6
Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Avaliações externas: Aferições 6ºano As escolas no PMSE apresentam...... taxas de sucesso a matemática 5% superiores no 2º ano (tendencial, % TM) Indicadores de Sucesso Escolar MEC e 2 anos Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Conclusão de ciclo e sobrevivência da coorte Indicadores de Sucesso Escolar MEC e 2 anos As escolas no PMSE apresentam...... taxas de sobrevivência da coorte 8% inferiores no º ano (tend.; dif. TM n.s.) [def. a percentagem de conclusões do 2º ou 3º ciclos em comparação com o número de matrículas no mesmo ciclo, respetivamente 2 (2º ciclo) ou 3 (3º ciclo) anos antes]. Calheiros, João Graça & Luísa Lima 7
Amplitude do efeito Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Recurso a percursos curriculares alternativos e desempenho cívico Indicadores de Sucesso Escolar MEC e 2 anos As escolas no apresentam...... taxas de recurso a CEF no 2º e 3º ciclo,5% inferiores no 2º ano (tend.) [def. o número de matrículas em CEF do 2º ou 3º ciclos em comparação com o número total de matrículas no ensino regular e nos CEF nestes dois ciclos por escola]. um número inferior de faltas injustificadas no 2º ano (tend.) Avaliação da tipologia Qualidade da Relação Pedagógica - - - - - ~ Proximidade professor-aluno - - - - - Calheiros, João Graça & Luísa Lima 8
Amplitude do efeito Avaliação da tipologia Qualidade da Relação Pedagógica ~ Mais pronunciado nos professores participantes,9,7,5 Só nos professores participantes - - - - - - Proximidade professor-aluno - - -,3,,74~ Proximidade professor-turma - Avaliação da tipologia Resultados Impacto: Desempenho escolar e Rel. Pedagógica Qualidade da relação pedagógica Questionário a Professores 2 anos As escolas no PMSE apresentam...... médias mais altas de proximidade professor-aluno (tendencial) (em itens como Este aluno/a valoriza a relação que tem comigo ; Quando elogio este aluno/a, ele/a fica muito orgulhoso ; Eu partilho uma relação próxima e afectiva com este aluno/a ) Os professores que participaram no PMSE apresentam...... médias mais altas de proximidade professor-aluno (TM)... médias mais altas de proximidade professor-turma (tendencial) (TM) Calheiros, João Graça & Luísa Lima 9
Escola de Ciências Sociais e Humanas 4. Discussão e Recomendações Avaliação da tipologia Avaliação da tipologia 4. Recomendações Discussão e Recomendações Como interpretar uma perspetiva de afastamento pedagógico dos diretores no? Modelo operacional descentraliza funções da direção para as equipas pedagógicas Envolver os diretores na liderança pedagógica. É necessário garantir que os diretores partilham: ) Uma visão clara para a escola; 2) Expectativas claras relativamente aos objetivos de aprendizagem; 3) Uma monitorização ativa da qualidade do ensino; 4) Esforço em compartilhar decisões. Diretores devem estimular a participação dos professores na reflexão e definição de objetivos, processos e resultados. Nesse sentido, é necessário que os professores se sintam envolvidos e implicados com o programa. Calheiros, João Graça & Luísa Lima 2
Avaliação da tipologia 4. Recomendações Discussão e Recomendações Como interpretar a fraca influência do PMSE nas propriedades organizacionais das escolas, e as diferenças entre professores participantes e não participantes? Dificuldades de implementação no ciclo e escola? Continuar a favorecer a criação de equipas pedagógicas e a implementar numa lógica de ciclo e de continuidade, isto é, ) Uma maior continuidade dos professores no acompanhamento dos alunos ao longo do ciclo; 2) Um maior envolvimento, recetividade e colaboração dos professores de toda a escola; 3) O alargamento do programa a mais disciplinas, turmas e anos de escolaridade. Reforçar a partilha e regulação inter-escolas. Reforçar o envolvimento dos encarregados de educação na escola, com participação ativa e voluntária das famílias. Avaliação da tipologia 4. Recomendações Discussão e Recomendações Celebrar os sucessos educativos dos alunos, mas Como interpretar e reagir ao impacto negativo do PMSE/TM nas avaliações externas? Amostras consideravelmente reduzidas Valores semelhantes à média nacional Lógica de ciclo subjacente ao PMSE enquanto ideia matricial, i.e. levar todos os alunos à conclusão do ensino básico obrigatório. Nota: as escolas do PMSE levaram mais alunos a exame que as escolas controlo (ns), e mais do que a média nacional Calheiros, João Graça & Luísa Lima 2
Escola de Ciências Sociais e Humanas Obrigada! M. Clara Barata, Joana N. Patrício, M. Manuela Calheiros, João Graça & Luísa Lima CIS IUL, ISCTE IUL IV Seminário Nacional do Projeto 2 de Julho de 22, Évora Calheiros, João Graça & Luísa Lima 22