AVALIA MACEIÓ Oficina de Apropriação de Resultados

Transcrição

1 AVALIA MACEIÓ 2015 Oficina de Apropriação de Resultados

2 Objetivos Específicos 1. Apresentar os conceitos e as características da avaliação educacional externa. 2. Apresentar os canais de divulgação de resultados. 3. Promover a apropriação dos resultados da escola.

3 PARTE 2 1º Momento: Retomada de pontos importantes sobre Avaliação em Larga Escala. 2º Momento: Interpretação e apropriação dos Resultados

4 1º Momento: Retomada de pontos importantes sobre Avaliação em Larga Escala.

5 O que é avaliar? Decidir Agir Coletar Diagnosticar Dados e informações sobre determinada realidade. Produzir algum julgamento sobre a realidade. Tomar decisão em função de um objetivo que se deseja alcançar. Traçar estratégias de uma ação sobre o objeto avaliado.

6 Como funciona a avaliação em larga escala?

7 tapas básicas dos Sistemas de Avaliação 2 1 Determinação da população a ser avaliada Elaboração da Matriz de Referência Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 3 Montagem dos cadernos de testes (BIB) Elaboração dos testes Elaboração dos questionários contextuais 5 Análise dos resultados: TCT e TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação

8 Instrumentos da Avaliação em Larga Escala Matriz de Referência Itens Escala de Proficiência Padrões de Desempenho

9 Matriz de Referência É formada por um conjunto de habilidades que tem como fonte as diretrizes curriculares da rede avaliada (estado ou município) e é ela que dá origem aos itens que compõem os testes das avaliações em larga escala. Pode ser compreendida como um recorte do currículo e, por isso, não deve ser confundida com o mesmo. Os conhecimentos selecionados para a composição dos testes são escolhidos por serem considerados essenciais para o período de escolaridade avaliado e por serem passíveis de medição por meio de testes padronizados de desempenho, compostos, na maioria das vezes, apenas por itens de múltipla escolha. Há, entretanto, outros conhecimentos necessários ao pleno desenvolvimento do estudante que não se encontram na Matriz de Referência por não serem compatíveis com o modelo de teste adotado.

10 Matriz de Referência

11 Matriz de Referência

12 Itens Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele. Na formulação de um item, deve-se considerar: GRAU DE DIFICULDADE (diz respeito à adequação entre a formulação do item e a capacidade de resposta do estudante) DISCRIMINAÇÃO (capacidade de o item de distinguir estudantes com diferentes níveis de habilidade)

13 Itens ENUNCIADO SUPORTE COMANDO GABARITO DISTRATORES

14 Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item (TRI), que é utilizada para correção dos testes aplicados pelo CAEd

15 Como são corrigidos os testes x 3 2/7³ 2² x ( 3) 15

16 Como são corrigidos os testes 16

17 Escala de Proficiência Tem como objetivo traduzir medidas em diagnósticos qualitativos do desempenho escolar. Apresenta os resultados de um teste de larga escala em uma espécie de régua onde os valores obtidos são ordenados e categorizados em intervalos ou faixas que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram determinado nível de desempenho

18 Escala de Proficiência

19 Escala de Proficiência

20 Escala de Proficiência Identificam o tema em textos menos familiares que exijam a realização de inferências. Esses estudantes já consolidaram essa habilidade. Ainda não desenvolveram a habilidade. Começam a desenvolver a competência. Identificam o tema de textos curtos, de linguagem simples, cujo tema vem indicado no título. Identificam o tema de um texto valendo-se de pistas textuais. Identificam o tema a partir da conjugação das pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e gênero familiares.

21 Padrões de Desempenho Baixo Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

22 2º Momento: Interpretação e apropriação dos Resultados

23 Divulgação de Resultados Os Resultados por Escola (TRI) são divulgados no site:

24 Divulgação de Resultados

25 Divulgação de Resultados Clique em RESULTADOS.

26 Divulgação de Resultados Clique em Escola, em seguida, em Resultados.

27 Divulgação de Resultados Clique em Abrir Resultados

28 Divulgação de Resultados Após inserir Usuário e Senha, visualize o Filtro de Pesquisa de Resultado(s) Escola. Cada unidade escolar visualiza apenas o próprio resultado, por isso o Filtro é automaticamente preenchido.

29 Divulgação de Resultados Componentes do Resultado por Escola (TRI) Identificação da Escola e do Resultado Escola Município Região Administrativa Etapa Disciplina Níveis de Resultado Em cada agrupamento: Resultado Rede, Resultado Região Administrativa e Resultado Escola Em cada coluna: 1. Proficiência Média, 2. Participação e 3. Evolução

30 Divulgação de Resultados Identificação da Escola e do Resultado

31 Divulgação de Resultados Resultado - REDE

32 Divulgação de Resultados Proficiência Média Resultado - REDE

33 Divulgação de Resultados Participação Resultado - REDE

34 Divulgação de Resultados Evolução do Percentual de Estudantes por Padrão de Desempenho Resultado - REDE

35 Divulgação de Resultados Resultado Região Administrativa

36 Divulgação de Resultados Proficiência Média Resultado - Regional

37 Divulgação de Resultados Participação Resultado - Regional

38 Divulgação de Resultados Evolução do Percentual de Estudantes por Padrão de Desempenho Resultado - Regional

39 Divulgação de Resultados Resultado - Escola

40 Divulgação de Resultados Componentes do Resultado por Escola (TRI) Percentual de Estudantes por Padrão de Desempenho Em cada agrupamento: Rede, Regional e Escola Distribuição por Níveis de Desempenho (Intervalos) Distribuição por Padrões de Desempenho

41 Divulgação de Resultados

42 Divulgação de Resultados Padrão BAIXO Padrão BÁSICO Padrão ADEQUADO Padrão AVANÇADO

43 Divulgação de Resultados Os Resultados por Aluno (TCT) são divulgados no site:

44 Divulgação de Resultados

45 Divulgação de Resultados Clique em RESULTADOS.

46 Divulgação de Resultados Clique em Aluno, em seguida, em Resultados.

47 Divulgação de Resultados Após inserir Usuário e Senha, visualize o Filtro de Pesquisa de Resultado(s) Aluno. Cada unidade escolar visualiza apenas o próprio resultado, por isso o Filtro é automaticamente preenchido.

48 Divulgação de Resultados Descritores avaliados, número de acertos e número de itens apresentados no teste de cada estudante Percentual Médio de Acertos, Categoria de Desempenho, Proficiência e Padrão de Desempenho

49 Divulgação de Resultados ATENÇÃO, no painel de Resultados por Aluno (TCT), entenda: Categoria de Desempenho Identifica, por meio de cores diferentes, o quartil de categoria de desempenho em que o estudante está alocado até 25% de acerto, de 25% até 50% de acerto, de 50% até 75% de acerto e acima de 75% de acerto. Padrão de Desempenho Identifica o Padrão de Desempenho em que o estudante está alocado, de acordo com Proficiência Média alcançada por ele. Os Padrões possuem nomenclaturas próprias, conforme os cortes na Escala de Proficiência.

50 Dinâmica: 1) Preenchimento das planilhas TRI; 2) Preenchimento da planilha TCT.

51 Dinâmica: Equipe Gestora Conhecer os resultados gerais da escola: 1. Etapas avaliadas e percentual de participação; 2. Etapas avaliadas e proficiência média em cada disciplina; 3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina; 51

52 Dinâmica: Equipe Gestora 1. Etapas avaliadas e percentual de participação Observe o número de estudantes e o percentual de participação (acima ou abaixo de 80%?); Analise os resultados de participação (por que este resultado está acima ou abaixo de 80%?); Quais intervenções podem ser feitas pela equipe de gestores e professores da escola? 52

53 Dinâmica: Equipe Gestora 2. Etapas avaliadas e proficiência média em cada disciplina Observe a proficiência média; Relacione a proficiência média com o padrão desempenho; Identifique habilidades e competências desenvolvidas (com base nesse padrão de desempenho); 53

54 Dinâmica: Equipe Gestora 2. Etapas avaliadas e proficiência média em cada disciplina Reflita sobre o desempenho alcançado no teste e o resultado esperado pela escola ou pela rede: qual o desempenho alcançado pelos estudantes em relação ao esperado? Quais habilidades e competências devem ser desenvolvidas para alcançar o resultado esperado? 54

55 Dinâmica: Equipe Gestora 2. Etapas avaliadas e proficiência média em cada disciplina Relacione o resultado alcançado com as políticas públicas e ações/intervenções pedagógicas implementadas na escola (o que podemos perceber/identificar?); 55

56 Dinâmica: Equipe Gestora 2. Etapas avaliadas e proficiência média em cada disciplina Observe, na escola, os resultados alcançados em diferentes etapas de escolaridade; Com base nesses resultados, elabore possíveis ações de intervenção para cada etapa, com o objetivo de recuperar alunos com desempenho abaixo do esperado, de acordo com as possibilidades da escola. 56

57 Dinâmica: Equipe Gestora 2. Etapas avaliadas e proficiência média em cada disciplina Com base nesse resultado, podemos fazer as seguintes inferências: Como possibilitar que os estudantes que chegaram ou chegarão a esta etapa desenvolvam as habilidades esperadas? Como recuperar os estudantes que já passaram pela etapa avaliada para que, ao final da Educação Básica, tenham desenvolvido habilidades e competências esperadas? 57

58 Equipe Gestora 3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina; Identifique o percentual de estudantes em cada padrão de desempenho; A(s) turma(s) dessa escola é(são) homogênea(s) e todos desenvolveram as habilidades no mesmo grau de complexidade? 58

59 Dinâmica: Equipe Gestora 3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina; Calcule o número de estudantes em cada padrão de desempenho; Conseguimos identificar quem são os estudantes alocados em cada padrão na escola? Considerar, em um primeiro momento, apenas o resultado por escola. 59

60 Dinâmica: Equipe Gestora 3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina; Apresente as habilidades e competências desenvolvidas por cada grupo de estudantes (observar, em relação às habilidades e às competências, o desempenho alcançado por alunos que estão alocados em padrões de desempenho diferentes). 60

61 Dinâmica: Equipe Pedagógica Conhecer os resultados de desempenho e habilidades desenvolvidos pelos estudantes: 1. Proficiência média e padrões de desempenho; 2. Etapa de escolaridade e percentual de acerto por descritor; 3. Avaliação externa e interna. 61

62 Dinâmica: Equipe Pedagógica 1. Proficiência média e padrões de desempenho Observe a proficiência média; Relacione proficiência média com o padrão desempenho; Identifique habilidades e competências desenvolvidas (com base nesse padrão de desempenho); 62

63 Dinâmica: Equipe Pedagógica 1. Proficiência média e padrões de desempenho Qual o desempenho alcançado pelos estudantes em relação ao esperado? Quais habilidades e competências devem ser desenvolvidas para alcançar o resultado esperado? Relacione o resultado alcançado com as ações/intervenções pedagógicas implementadas na turma (o que podemos perceber/identificar?); 63

64 Dinâmica: Equipe Pedagógica 2. Etapa de escolaridade e percentual de acerto por descritor Observe o percentual de acerto geral da escola em cada disciplina e etapa de escolaridade; 64

65 Dinâmica: Equipe Pedagógica 2. Etapa de escolaridade e percentual de acerto por descritor Relacione cada habilidade (descritor) com o percentual de acerto; Observe a relação existente entre descritores (são habilidades de uma mesma competência ou conteúdo comum?); 65

66 Dinâmica: Equipe Pedagógica 2. Etapa de escolaridade e percentual de acerto por descritor Observe descritores menos acertados (relacionar às habilidades/descritor): Estão relacionados a um mesmo tema/domínio/tópico? Estão relacionados às habilidades com grau de complexidade maior que as demais habilidades do teste? São habilidades desenvolvidas naquela etapa avaliada ou são desenvolvidas ao longo do Ensino Fundamental? 66

67 Dinâmica: Equipe Pedagógica 2. Etapa de escolaridade e percentual de acerto por descritor Observe descritores menos acertados (relacionar às habilidades/descritor): Qual a relação de cada habilidade com os conteúdos trabalhados em sala de aula? Quais as práticas pedagógicas adotadas pelos professores da escola em relação a cada um desses conteúdos? Como possibilitar a compreensão dos estudantes em relação a cada uma dessas habilidades: ações pedagógicas? Formação dos professores? Utilização de recursos pedagógicos? 67

68 Dinâmica: Equipe Pedagógica 2. Etapa de escolaridade e percentual de acerto por descritor Observe os descritores mais acertados (relacionar às habilidades/descritor): Estão relacionados a um mesmo tema/domínio/tópico? Estão relacionados às habilidades com grau de complexidade menor que as demais habilidades do teste? Podem auxiliar no desenvolvimento de descritores menos acertados? Como? 68

69 Dinâmica: Equipe Pedagógica 2. Etapa de escolaridade e percentual de acerto por descritor Dentre os temas apresentados, quais são aqueles com os menores percentuais de acerto por descritor? Qual a relação desse resultado com o trabalho feito pelo professores em sala de aula? Este trabalho é adequado e suficiente para alcançar os resultados esperados? O que pode ser modificado? O que deve continuar? 69

70 Dinâmica: Equipe Pedagógica 3. Avaliação externa e interna Os resultados da avaliação interna são comparáveis àqueles extraídos da avaliação externa: As habilidades avaliadas pelos professores são as mesmas avaliadas pelo programa de avaliação externa? Os conteúdos desenvolvidos pelos professores da escola, com base no currículo, estão relacionados com as habilidades da matriz de referência? 70

71 Resultado por Escola (TRI)

72 Padrões de Desempenho

73 Resultado por Aluno (TCT) Até o nível Turma

74 Dúvidas???

75 Muito obrigado!