Universidade Católica Portuguesa Porto, 22FEV2013 Vitor Alaiz,

Transcrição

1 Universidade Católica Portuguesa Porto, 22FEV2013 Vitor Alaiz, 1

2 Era uma vez um docente, amigo crítico, 2

3 Avaliação?

4 A bala de prata da eficácia educacional Scheerens,

5 -Ajuste de contas!!!

6 O RESISTENTE À AVALIAÇÃO (o mau da fita) O AVALIADOR (o bom)

7 Capítulo I Projeto Piloto Europeu Projeto Qualidade XXI

8 Ganhei alguma experiência, conheci alguns métodos, que me permitiram definir uma sequência de passos de organização da auto-avaliação da escola, Mas começando por algumas questões prévias dado que o problema nº 1 se revelou, nessa altura, o do take off, da descolagem

9 Por onde começar? 9

10 Questões prévias: Onde queremos ir? Quando queremos lá chegar? Com quem? Como? 10

11 Onde queremos chegar? Várias alternativas se colocam: Prestar contas a Melhorar a escola 11

12 Quando queremos chegar lá? Em Set 2013? Em Julho 2014? 12

13 Quanto tempo? Um ano lectivo? Dois anos? 13

14 Ao nível da: coordenação acção recepção Quem nos acompanhará? 14

15 Como fazer? Divulgar a avaliação Interpretar os resultados Tratar e analisar os dados Recolher a informação Referencializar Traçar o plano (Alaiz, Góis e Gonçalves, 2003, adaptado) Iniciar o processo 15

16 Equipa de Avaliação Mandato (duração, etc.) Conteúdo da função Como se faz? - 1 Grupo de Focagem Publicitação do processo de avaliação Iniciar o processo - I Escolha de um amigo crítico 16

17 Inventariar práticas de avaliação Como se faz? - 2 Analisar: campo de forças, perspectivas dos stakeholders Perfil da escola Iniciar o processo - II Questões de avaliação 17

18 Seleccionar técnicas de recolha de informação Como se faz? - 3 Planear (calendarizar,..) as tarefas de avaliação Traçar o plano Iniciar o processo 18

19 FONTES: Normativas Teóricas Como se faz? - 4 PROCESSO: Participado múltiplos intervenientes: Direcção da Escola Assembleia de Escola Docentes => Comunidade educativa Referencializar Traçar o plano PRODUTO: Referente específico Dimensões, áreas Indicadores + Descritores Iniciar o processo 19

20 Como se faz? - 5 Rigor ético Respeito pelos respondentes Rigor científico: Validade e fiabilidade Triangulação Tratar e analisar os dados Recolher a informação Traçar o plano niciar o processo Referencializar 20

21 Como se faz? - 6 Quem? Como? Divulgar a avaliação Interpretar os resultados Tratar e analisar os dados Recolher a informação Referencializar Traçar o plano Iniciar o processo 21

22 Avaliação Divulgar a avaliação Interpretar os resultados Tratar e analisar os dados Decisão Recolher a informação Referencializar Traçar o plano Iniciar o processo Plano de melhoria Acção 22

23 QUALIDADE da AVALIAÇÃO Comunicar a avaliação Planear a avaliação UTILIDADE EXEQUIBILIDADE RIGOR LEGITIMIDADE Tratar a informação Recolher a informação Meta-avaliação 4MARÇO2005 Avaliação das Organizações Escolares 23

24 - O estado a que isto chegou

25 Uma visão impressionista Diversidade Espaço vazio Juventude (Alaiz, 2009) 25

26 Resultados da auto-avaliação Em algumas escolas, grande empenhamento de alguns professores, incluindo diretores (e, por vezes, de alguns outros membros da comunidade educativa) Relatórios de boa qualidade técnica Mas, Reduzido impacto da auto-avaliação: Relatórios que ninguém lia; Inconsequência em termos de tomada de decisão; Rotinas organizacionais mantidas intactas; Frustração dos membros das equipas de auto-avaliação 26

27 Do relatório de 2011 da IGE

28

29

30

31

32

33

34 - Resolver os dilemas, ultrapassar os problemas

35 Princípio Resolver os dilemas, ultrapassar os problemas Meio Fim

36 Princípio 1º

37 1º ATITUDE Princípio 2º

38 Atitudes diferentes, opostas: É necessário avaliar a Escola? Não Sim

39 É necessário avaliar a Escola? NÃO!!! Há muitas razões para não fazer avaliação

40 52 razões para não fazer avaliação Segone, M. (Ed.). (2006). New Trends in Development Evaluation: Unicef-CEE- CIS/IPEN.

41

42

43

44

45

46

47

48 É necessário avaliar a Escola? SIM Há interesses que legitimam ou exigem a avaliação

49 Necessidade de quem? A que nível? Exemplo Designação....

50 Necessidade de quem? Nível Exemplo Designação Internacional OCDE? UE? BM? UNESCO? Macro 2 (mega)

51 Necessidade de quem? Nível Exemplo Designação Internacional Nacional OCDE? UE? BM? UNESCO? Ministério? Governo? Macro 2 (mega) Macro 1

52 Necessidade de quem? Nível Exemplo Designação Internacional Nacional Organizacional OCDE? UE? BM? UNESCO? Ministério? Governo? Escola? Agrupamento? Macro 2 (mega) Macro 1 Meso

53 Necessidade de quem? Nível Exemplo Designação Internacional Nacional Organizacional Individual OCDE? UE? BM? UNESCO? Ministério? Governo? Escola? Agrupamento? Professor? Pai? Autarca? Macro 2 (mega) Macro 1 Meso Micro

54 Princípio 2º

55 REFERENCIAL MODELO Princípio ATITUDE

56 MODELO? Estruturados Contingenciais

57 MODELO? Origem empresarial Origem académica

58 Duas concepções do objecto Escola, dois modelos de avaliação interna Escola = EMPRESA Escola = organização específica Modelos estruturados ISO, EFQM, CAF Modelos contingenciais Projecto Piloto Europeu Projecto Qualidade XXI 58

59 Fontes do referencial Nacionais: Objetivos gerais (Constituição, Lei de Bases, ) Objetivos específicos: Lei 31/2002 Referencial da IGE Locais: Projeto educativo Teóricas: Modelos: CIPP, McBeath, AVES, Conceito de Escola 59

60 CIPP Stufflebeam CONTEXTO PRODUTO INPUT PROCESSO 60

61 Utilidade do modelo CIPP O modelo CIPP é o esquema analítico mais adaptado para sistematizar a reflexão sobre os indicadores da educação (Scheerens, 2004: 95) 61

62 62

63 63

64 Um modelo sistémico básico do funcionamento da escola Contexto inputs Processos outputs Nível escola Nível sala de aula Scheerens,

65 Auto-avaliação de escolas Meio

66 Método? Número Palavra, imagem

67 Método? Medição Oralidade, escrita

68 Método: técnicas? Questionários, indicadores, estatísticas Observação, pesquisa documental, grupos de discussão, narrativas, incidentes crít., descritores, metáforas

69 Medição: pressão internacional UE Estratégia de Lisboa Objectivos educ (12v indicadores) OCDE Education at a Glance, PISA UNESCO Objectivos do Milénio EFA, Educação de Qualidade para todos

70 Medição: pressão internacional Banco Mundial ONU ONGs Monitoramento e Avaliação Projectos de apoio ao desenv UNICEF Projectos de desenvolv

71 Medição: política educativa nacional Lei 31/2002, Avaliação externa (IGE) Avaliação de Desempenho Docente Metas dos TEIP, Contratos de autonomia, Programa 2015

72 Medição = reducionismo, a crítica dos teóricos Sociologia da Educação: UK: Governing by numbers França: Gouverner par les instruments Portugal: Paradigma contábil Licínio Lima, A. J. Afonso, Univ. Minho

73 Método: alternativa à medição? Diálogo, narrativa

74 Método: Número Pluralismo metodológico Palavra

75 Auto-avaliação de escolas Fim

76 Finalidade? Eficácia Desenvolver: pessoas + organização

77 Questão Eficácia Indicadores, metas Ciclos de gestão Desenvolvimento Comunicação

78 Ciclos de auto-avaliação e melhoria Alguns exemplos

79 P Plan (Planejar) D Do (Executar) A Action (Corrigir) C Check (Checar)

80 Múltiplas Rampas de ciclo PDSA

81

82

83

84

85 Avaliação = Comunicação Relatório 100 págs. Sumário executivo 5 a 10 págs Folheto 1 a 2 págs

86 Resolvidos os problemas Princípio Meio Fim AVALIAÇÃO DE QUALIDADE + Melhoria eficaz da escola

87 - O ajuste de contas

88 Acabar com a linearidade causal 88

89 Copérnico: uma inspiração? Uma revolução coperniciana

90 Começar pelo fim Que Fim uso da avaliação?

91 Acabar de vez com linearidade causal modelo mecanicista de gestão uniformidade da avaliação paradigma positivista

92 Optar por Paradigma da complexidade (As escolas são organizações complexas, repletas de repetição, rotina, mas também de incerteza, imprevisibilidade, ) Causalidade complexa Modelo de gestão do caos

93 USO DA AVALIAÇÃO SIMBÓLICO INSTRUMENTAL CONCEPTUAL USO DA AVALIAÇÃO

94 USO, DESUSO, ABUSO

95 USO, DESUSO, ABUSO

96 Identificação dos utilizadores prioritários Profes? Pais Funcion Alunos

97 The personal factor.. There are 5 key variables that are absolutely critical in evaluation use.... (Patton, 2012, p.61)

98 The personal factor.. There are 5 key variables that are absolutely critical in evaluation use. They are, in order of importance: people, people, people, people, people. (Patton, 2012, p.61)

99 -Narrar as vitórias

100 ONG: Most Significant Change

101 Método?

102 A mudança mais significativa

103 Registar os aspetos positivos Histórias de sucesso: De professores De alunos (contadas pelos próprios ) De pessoal auxiliar Estratégias que funcionam

104 Um instrumento? Uma folha A4 para cada professor contar uma história de sucesso