Para que servem as avaliações externas de escolas de ensino básico? José Francisco Soares francisco-soares@ufmg.br GAME FAE UFMG Inhotim, 26 de outubro de 2011
Sumário Competências na Educação Básica Competência Leitora Comparação de Escolas IDEB Resultado da Pesquisa
Educação Escolar Adquirir competências cognitivas Desenvolver talentos pessoais Desenvolver senso de responsabilidade social Socialização das crianças e jovens Instruir, mas também educar
Competência Todo aprendizado é o aprendizado de alguma competência. As aprendizagens na educação básica são aquelas que preparam os alunos para a execução das tarefas necessárias para a participação ativa e produtiva na sociedade. Competência é a capacidade de executar com sucesso tarefas complexas. Complexas porque as ações concretas do cotidiano envolvem, várias dimensões e são, portanto, complexas.
Habilidade d Habilidade à capacidade de realização de ações simples de contorno bem definido. Uma competência exige o domino e uso harmônico e concomitante de várias habilidades. As ações que caracterizam cada habilidade podem ser classificadas em três dimensões: os processos cognitivos exigidos para sua realização, pelos conhecimentos específicos que mobilizam e pelo contexto no qual são exigidas.
Competências Essenciais i Art. 210. Serão fixados conteúdos mínimos para o ensino fundamental, de maneira a assegurar formação básica comum e respeito aos valores culturais e artísticos, nacionais e regionais. (BRASIL, CF, 88)
União Europeia Comunicação na língua materna Comunicação em línguas estrangeiras Competência matemática e competências básicas em ciências e tecnologia. Competência digital Aprender a aprender Competências sociais e cívicas Sentido de iniciativa e empreendedorismo
Consciência cultural Competência que envolve a apreciação da importância da expressão criativa de ideias, experiências e emoções num vasto leque demídia (música, artes cênicas, literaturat e artes visuais). i
Especificação das competências Plano Nacional de Educação: Expectativas de aprendizagem, Padrões de ensino, Currículo. Definir, até dezembro de 2012, expectativas de aprendizagem para todos os anos do ensino fundamental de maneira a assegurar a formação básica comum, reconhecendo a especificidade da infância e da adolescência, os novos saberes e os tempos escolares.
Competência leitora Capacidade de extrair informações, construir significados e de refletir sobre os textos escritos, necessários para que cada indivíduo atinja seus objetivos pessoais, adquira novos conhecimentos, desenvolva seus potenciais e participe criticamente de sua sociedade. A análise da competência leitora exige a consideração de três elementos: o texto, a finalidade da leitura e o leitor.
Texto e suas categorias O texto oral ou escrito é a unidade básica para o ensino e a verificação do aprendizado d da Língua. Complexidade Gênero Tipologia Narração, descrição, orientação, exposição, argumentação.
Finalidade d da Leitura Recuperação de Informações Compreensão e Interpretação Reflexão sobre a forma e o conteúdo
Proficiência iê i Itens Teste Cálculo-UsodaTeoriadeRespostaaoItem.
Item O BICHO Vi ontem um bicho Na imundice do pátio Catando comida entre os detritos. Quando achava alguma coisa, Não examinava nem cheirava: Engolia com voracidade. O bicho não era um cão, Não era um gato. Não era um rato. O bicho, meu Deus, era um homem. BANDEIRA, Manuel. Poesias reunidas. Rio de Janeiro: Ática, 1985. O que motivou o bicho catar restos foi: A) A própria fome. B) A imundice do pátio. C) O cheiro da comida. D) A amizade pelo cão.
Organização do teste Blocos Balanceados Cadernos Blocos I 1 2 4 II 2 3 5 III 3 4 6 Incompletos BIB IV 4 5 7 V 5 6 1 VI 6 7 2 VII 7 1 3
Teoria de Resposta ao Item Forma de atribuição dos escores dos alunos Permite manter comparabilidade entre os escores de anos e séries distintos Cada item é descrito por uma curva empírica
Níveis de Desempenho Insuficiente Básico Proficiente Avançado 4ª Série- Leitura <150 Entre 150 e 200 Entre 200 e 250 Acima de 250
Prova Brasil 2007 Leitura Quarta Série UF IN BA PR AV PR 19,40% 46,90% 28,30% 5,40% SC 22,40% 46,50% 26,70% 4,50% SP 26,10% 41,30% 26,40% 6,20% MG 26,50% 41,90% 25,30% 6,30% RS 23,10% 46,90% 25,80% 4,20% ES 24,60% 47,10% 24,20% 4,00%
Importância dos Níveis ESCOLA PROFICIÊNCIA MÉDIA NÍVEL (%) INSUFICIENTE BÁSICO PROFICIENTE AVANÇADO 1 199.90 9.1 45.5 45.5 0.0 2 199.28 18.8 30.4 39.1 11.6 3 199.26 16.7 32.3 35.4 15.6 4 200.04 4.3 48.6 37.1 10.0 5 200.39 2.9 44.1 47.1 5.9 6 200.64 13.3 30.0 38.9 17.8 7 199.62 94 9.4 34.44 40.6 15.6
Interpretação Pedagógica g Leitura 4ª. Série Níveis de Proficiência Habilidades Identificar e/ou nomear características estruturais do gênero literário e não literário. AVANÇADO Acima de 250 PROFICIENTE Entre 200 e 250 BÁSICO Entre 150 e 200 INSUFICIENTE Até 150 Identificar referências intertextuais (paráfrase, paródia, epígrafe, alusão, citação). Inferir informações implícitas ( pressuposições/subentendidos) em diferentes linguagens. Inferir o assunto do texto. Distinguir a semelhança de assunto entre textos do mesmo gênero. Distinguir repetições/substituições de itens lexicais que dão continuidade ao texto. Estabelecer relação de causa/consequência entre fatos do texto. Identificar formas linguísticas que caracterizam locutor/interlocutor. Identificar formas linguísticas que evidenciam opinião. Inferir o sentido de uma expressão. Analisar o recurso linguístico que provoca humor. Estabelecer a relação de sentido entre pronomes e seus antecedentes. Identificar a finalidade/função social do texto. Identificar formas linguísticas e visuais que caracterizam personagens em discurso direto/indireto. Inferir o sentido de palavras. Analisar o efeito de sentido do recurso gráfico/visual. Analisar o efeito de sentido do recurso notacional. Analisar sequência descritiva. Identificar informação explícita em segmento do texto com auxílio de recursos visuais/verbais.
Modelo conceitual da Interpretação Pedagógica COMPETÊNCIA BANCO DE ITENS CALIBRADOS = ESCALA TESTE HABILIDADES PROFICIÊNCIA ENSINO Processos cognitivos Contexto de uso Conteúdo disciplinar
Comparação de Escolas O resultado dos alunos de uma escola depende de suas características ti sócio ói demográficas e também de características ti dos alunos da escola, fora de seu controle. Diante disso a comparação entre os resultados da escola só é informativa se cada escola é comparada com escolas semelhantes. Uma forma muito efetiva de criar grupos de escolas semelhantes é usar o NSE nível socioeconômico da escola. Nesta abordagem cada escola seria comparada apenas com escola de NSE similar.
Nível Socioeconômico Construído a partir de respostas ao questionário contextual. Escolaridade dos pais Ocupação dos Pais Itens de Conforto Doméstico.
Resultados 8ª série em Leitura NSE BAIXO NSE ALTO ESTADUAIS MUNICIPAIS ESTADUAIS MUNICIPAIS PROVA BRASIL 2005 32% 39% SIMAVE 2006 24% 33% INSUFICIENTE PROVA BRASIL 2007 29% 39% SIMAVE 2007 24% 36% SIMAVE 2008 15% 29% SIMAVE 2009 13% 23% PROVA BRASIL 2005 30% 21% SIMAVE 2006 39% 29% PROFICIENTE e PROVA BRASIL 2007 37% 23% AVANÇADO SIMAVE 2007 37% 26% SIMAVE 2008 43% 27% SIMAVE 2009 37% 21%
Resultados 8ª série em Matemática NSE BAIXO NSE ALTO ESTADUAIS MUNICIPAIS ESTADUAIS MUNICIPAIS SIMAVE 2003 47% - PROVA BRASIL 2005 41% 48% SIMAVE 2006 45% 52% INSUFICIENTE PROVA BRASIL 2007 41% 48% SIMAVE 2007 51% - SIMAVE 2008 40% 54% SIMAVE 2009 28% 35% SIMAVE 2003 23% - PROVA BRASIL 2005 23% 15% PROFICIENTE e AVANÇADO SIMAVE 2006 21% 13% PROVA BRASIL 2007 27% 15% SIMAVE 2007 28% - SIMAVE 2008 27% 14% SIMAVE 2009 23% 11%
Modelo Conceitual Nível Esforço Desempenho da Escola Resultado da Escola Indicador de Reconhecimento Melhoria
Desempenho de Escolas Níveis Excluídos Insuficiente Básico Adequado Avançado Indicador Gerencial Escores 0 3 6 8 10 1 0% 23% 42% 24% 11% 6,2 2 5% 5% 20% 45% 25% 7,5 3 100% 0% 0% 0% 0% 0,0 4 0% 0% 0% 0% 100% 10,0
Índice do Desenvolvimento da Educação Básica - IDEB
Componentes do IDEB IDEB = desempenho*rendimento Desempenho dos alunos: o nível médio da proficiência dos alunos da escola, obtido na Prova Brasil. Rendimento: valor médio das taxas de aprovação da escola, obtido do Censo Escolar.
Padronização das proficiências (Proficiência da Escola na Prova Brasil Limite Inferior das Proficiências) (Limite Superior das Proficiências Limite Inferior das Proficiências)
Limites usados para a padronização das proficiências Matemática Leitura Inferior Superior Inferior Superior 4ª série 60 322 49 324 8ª série 100 400 100 400
Exemplo de cálculo (198-49) Proficiênc ia Padronizada da escola em Leitura = = (324-49) 0,542 (202-60) Proficiênc ia Padronizada da escola em Matemática = = 0,572 (322-60) (0,542 + 0,572) Proficiênc ia Padronizada da Escola = 10 x = 2 5,34
Consequência das definições Proficiência padronizada = Média das proficiências padronizadas dos alunos Médias variam menos do que as observações individuais
Gráfico das médias padronizadas
A questão da dominância da proficiência de Matemática
O indicador de rendimento Algoritmo de cálculo do indicador de rendimento de uma escola Série Ano 0 1 2 3 4 Taxa Aprovação 82,4 79,1 78,4 97,1 88,4 Taxa aprovação em decimais 0,824 0,791 0,784 0,971 0,884 Anos de estudo necessários 1,21 1,26 1,28 1,03 1,13 Anos letivos de estudo para completar a etapa = (1,21 + 1,26 + 1,28 + 1,03 + 1,13) = 5,91 5 Indicador de Rendimento = = 0,8453 5,91
Interpretação Níveis de desempenho para Leitura e Matemática Leitura Matemática NÍVEL 4ª Série EF 8ª Série EF 4ª Série EF 8ª Série EF Abaixo do Básico < 150 < 200 < 175 < 225 Básico Entre 150 e 200 Entre 200 e 275 Entre 175 e 225 Entre 225 e 300 Proficiente Entre 200 e 250 Entre 275 e 325 Entre 225 e 275 Entre 300 e 350 Avançado Acima de 250 Acima de 325 Acima de 275 Acima de 350
Proposta de faixas para o IDEB IDEB Leitura Matemática IDEB Categoria Final Baixo < 3,5 Médio Baixo 150 175 3,86 [3,5 4,5) Médio 175 200 476 4,76 [4,5 5,5) 5) Médio Alto 200 225 5,65 [5,5 6,5) Alto 225 250 6,55 > 6,5
Evolução do IDEB para escolas que oferecem Quarta Série IDEB 2005 2007 2009 Baixo 44,4 30,8 25,7 Médio Baixo 36,8 38,1 30,5 Médio 16,6 25,7 29,0 Médio Alto 21 2,1 50 5,0 12,8 Alto 0,1 0,4 2,0
Evolução do IDEB
Limitações do IDEB Só alunos presentes ao teste são considerados. Não se pode usar a metáfora da nota escolar para analisar o IDEB. Escore em Matemática tem mais peso do que escore em Leitura. Reproduz o nível socioeconômico da escola. Legitima baixos desempenhos para muitos alunos. Assume substituições questionáveis entre indicadores.
IDEB e Nível Socioeconômico i
IDEB e Níveis dos alunos IDEB Insuficiente i Básico Adequadod Avançado Baixo 47,9% 41,7% 9,3% 1,1% Médio Baixo 30,5% 47,6% 18,6% 3,3% Médio 17,8% 44,4% 29,6% 8,2% Médio Alto 90% 9,0% 35,3% 3% 38,5% 17,2% Alto 3,5% 21,5% 42,0% 33,0% Total 27,8% 43,3% 22,4% 6,5%
Escolas Polo e Escolas Controle 143 são escolas Polo 07 não possuíam NSE e não puderam ser incluídas na análise 174 foram utilizadas como escolas controle.
Escolha das escolas controle Mesmo sistema de ensino (Municipal, Estadual ou Federal). Ser escola urbana, como são as escolas Polo. Ter NSE semelhante ao da escola Polo. Pertencer à mesma cidade que á escola Polo. Encontradas 1 ou 2 controles para cada escola estudada em 32 dos 50 municípios onde há escolas Polo.
Controle fora do Município i Escolas controles buscadas em municípios próximos, escolhidos segundo os critérios: Pertencer à mesma mesorregião (se possível, até à mesma microrregião). Possuir população semelhante (foram utilizados dados de 2009).
Proficiência iê i em Leitura POLO ESCOLAS CONTROLE Mínimo 104,54 100,62 Máximo 376,24 376,57 Média 248,74 246,88
Nível Socioeconômico i médio POLO ESCOLAS CONTROLE Mínimo 1,04 0,35 Máximo 976 9,76 984 9,84 Média 655 6,55 636 6,36
Efeito Escola POLO ESCOLAS CONTROLE Mínimo -30,47-30,38 Máximo 26,59 37,65 Média 0,99 0,18
Efeito Escola POLO ESCOLAS CONTROLE Mínimo -30,47-30,38 Máximo 26,59 37,65 Média 0,99 0,18
Modelo Hierárquico i Parâmetros Estimação Erro Padrão Estatística T Significância Intercepto 218,98 2,46 88,84 0,00 Sexo 11,52 0,58 19,83 0,00 Pardo -3,99 0,62-6,49 0,00 Preto -8,81 1,19-7,41 0,00 Atraso -20,60 0,79-26,24 0,00 NSE 1,51 0,21 7,21 0,00 Média do NSE 3,24 0,35 9,18 0,00