SIMARE 2014 SISTEMA MUNICIPAL DE AVALIAÇÃO DO RENDIMENTO ESCOLAR DE CURITIBA

Transcrição

1

2

3 ISSN SIMARE 2014 SISTEMA MUNICIPAL DE AVALIAÇÃO DO RENDIMENTO ESCOLAR DE CURITIBA REVISTA PEDAGÓGICA Ciências 4º ano do Ensino Fundamental

4

5 PREFEITURA MUNICIPAL DE CURITIBA Gustavo Fruet SECRETARIA MUNICIPAL DA EDUCAÇÃO Roberlayne de Oliveira Borges Roballo SUPERINTENDÊNCIA EECUTIVA Antonio Ulisses Carvalho COORDENADORIA DE OBRAS E PROJETOS DO PROGRAMA DE DESCENTRALIZAÇÃO Luiz Marcelo Mochenski DEPARTAMENTO DE LOGÍSTICA Maria Cristina Brandalize DEPARTAMENTO DE PLANEJAMENTO E INFORMAÇÕES Elizabeth Helena Baptista Ramos SUPERINTENDÊNCIA DE GESTÃO EDUCACIONAL Ida Regina Moro Milléo de Mendonça COORDENADORIA DE ATENDIMENTO ÀS NECESSIDADES ESPECIAIS Elda Cristiane Bissi COORDENADORIA DE EDUCAÇÃO INTEGRADA Eliane Aparecida Trojan Butenas COORDENADORIA DE ESTRUTURA E FUNCIONAMENTO DE ENSINO Eliana Cristina Mansano COORDENADORIA DE FORMAÇÃO CONTINUADA Cíntia Caldonazo Wendler COORDENADORIA DE POLÍTICAS EDUCACIONAIS PARA JOVENS E ADULTOS Maria do Socorro Ferreira de Moraes DEPARTAMENTO DE EDUCAÇÃO INFANTIL Maria da Glória Galeb DEPARTAMENTO DE ENSINO FUNDAMENTAL Leticia Mara de Meira DEPARTAMENTO DE TECNOLOGIA E DIFUSÃO EDUCACIONAL Marlon Misael Terres

6

7 Caros EDUCADORES, Uma BOA ESCOLA é aquela que oferece escolarização para todos com condições equânimes de acesso e fruição do direito à educação, com múltiplas possibilidades de expressão e interação com o mundo. Assim sendo, a Rede Municipal de Ensino de Curitiba (RME) assume o desafio e a responsabilidade de realizar essa educação em suas escolas. Nessa perspectiva, políticas e ações governamentais são mais efetivas à medida que os diagnósticos da ação pedagógica sejam mais precisos e eficientes. Essa é a razão de ter sido criado em 2014 o Sistema Municipal de Avaliação do Rendimento Escolar (Simare Curitiba), avaliação em larga escala que contempla análises a partir de informações de rendimento escolar, de contexto e de indicadores sociais. As informações obtidas a partir dessa avaliação permitem repensar e ressignificar as práticas pedagógicas aliadas ao planejamento e ao currículo. Para levantar informações sobre o rendimento escolar dos estudantes da RME, o Simare Curitiba inovou com aplicação de testes orientados pela metodologia que se sustenta na Teoria de Resposta ao Item (TRI), também usada nas avaliações nacionais. Essa metodologia possibilita a comparação dos resultados alcançados pelos estudantes, ao longo dos anos, e também a comparação com aqueles levantados por outras avaliações em larga escala, a exemplo da Prova Brasil. Em 2014, foram avaliados três componentes curriculares: história, geografia e ciências, e as questões dos testes foram elaboradas com base na matriz de referência, cujo conteúdo se constitui em um recorte do currículo trabalhado em nossas escolas municipais. A comunicação dos resultados dos testes aplicados em 2014 foi organizada em um conjunto de publicações que serão encaminhadas às escolas, ao longo do ano de As revistas e cadernos publicados estarão disponíveis em material impresso e/ou on-line, e cada escola terá acesso ao próprio resultado e àquele obtido pelo conjunto das escolas do respectivo núcleo regional e ao total das escolas da RME. Além dos dados relativos à proficiência dos estudantes, divulgados neste início de ano, as publicações previstas para o segundo semestre terão dados contextuais, levantados pelos questionários do Simare Curitiba e obtidos de fontes secundárias, como o Censo Escolar, a Prova Brasil, a Avaliação Nacional da Alfabetização (ANA) e o Programa Bolsa Família. Esses dados irão possibilitar correlações entre a proficiência dos estudantes e os fatores intra e extraescolares, que influenciam o desempenho das unidades educacionais da nossa rede municipal. Nas Revistas Pedagógicas, além dos resultados sistematizados por componente curricular avaliado, são explicitadas as distinções e as ligações existentes entre uma matriz de referência da avaliação e o currículo realizado na escola. A expectativa é a de que ocorra o engajamento de todos os profissionais que atuam na RME, a fim de se obterem análises efetivas das informações aqui apresentadas que contribuam para melhorar a qualidade da nossa educação. Compartilhar dificuldades e conquistas é uma boa forma para encontrar soluções e propor novos desafios, pois somos todos responsáveis pelas ações e práticas pedagógicas que ocorrem nas escolas e demais instâncias de gestão da SME, na direção da BOA ESCOLA. Roberlayne Roballo Secretária Municipal da Educação

8 SUMÁRIO A ESCOLA E A AVALIAÇÃO EM LARGA ESCALA O PAPEL DESEMPENHADO PELOS PROFESSORES NOS SISTEMAS DE AVALIAÇÃO EM LARGA ESCALA

9 20 3. INTERPRETAÇÃO DE RESULTADOS E ANÁLISES PEDAGÓGICAS REFLEÃO PEDAGÓGICA OS RESULTADOS DESTA ESCOLA

10

11 1 A ESCOLA E A AVALIAÇÃO EM LARGA ESCALA O Simare Curitiba compõe, juntamente com outros instrumentos, um Sistema de Avaliação Educacional. Como tal, não tem um fi m em si mesmo, mas é meio ao se constituir em fonte de informações para a tomada de decisões nos diferentes âmbitos do sistema educacional, assim como nas unidades educativas. A efi ciência e credibilidade de um Sistema de Avaliação Educacional está associado a informações credíveis e de múltiplas fontes. Por isso, os instrumentos que compõem o sistema devem contemplar os diferentes aspectos que determinam ou infl uenciam os processos de ensino e aprendizagem nas unidades educativas. Trata-se, portanto, de colocar em discussão o contexto social, as formas de gestão e a aquisição escolar dos estudantes enquanto critérios que subsidiam a análise e elaboração de ações para a distribuição do direito à educação de qualidade para todos. A garantia de qualidade está expressa na Constituição Federal de 1988, no artigo 206, que trata do direito à educação, em que ele é entendido como acesso, permanência e qualidade. Assim, o sentido de um Sistema de Avaliação Educacional está vinculado à disponibilização de um diagnóstico preciso que permita uma análise consistente e confi ável da educação ofertada na cidade de Curitiba. A precisão dos diagnósticos está diretamente associada a informações obtidas por instrumentos confi áveis. O Simare Curitiba é composto por testes e questionários respondidos pelos estudantes, professores, pedagogos, diretores e também pelo Conselho de Escola e equipe gestora (composta pela equipe diretiva e pedagógica), os dois últimos respondidos coletivamente. Além dos resultados obtidos no Simare Curitiba, o Sistema de Avaliação Educacional utiliza informações sobre situação socioeconômica, inclusão, benifi ciários do Bolsa-Família, outras avaliações em larga escala (Prova Brasil e ANA), entre outras variáveis que possam contribuir para análise.

12 As ações da SME, em qualquer âmbito, são planejadas a partir de subsídios teóricos e legais e pelo sistema de avaliação, conforme o esquema a seguir: LBD 9394/96 OF 1998 PNE Legislação municipal Simare Curitiba Parâmetros e indicadores de qualidade Princípios Equidade, Democracia, Trabalho coletivo, Autonomia e intersse público Subsídios teóricos e legais Sistema de avaliação educacional Informações contextuais e socioeconômicas Literatura da área Planejamento de ações para garantia do direito à educação IDEB Dados de inclusão As avaliações em larga escala, por vezes, parecem distantes da realidade escolar, a começar pelo ritual da prova, do preenchimento do gabarito, entre outras coisas que os estudantes, principalmente os dos anos iniciais, não estão habituados. Além disso, também existe a preocupação com a divergência entre o conteúdo avaliado e o conteúdo curricular estabelecido. Nesse sentido, cabem alguns esclarecimentos: o Simare Curitiba mede o desempenho do estudante por meio de uma escala, considerando a profi ciência esperada para cada ano avaliado. O teste prevê comparabilidade entre os anos que participarão dos teste. Então, por exemplo, os testes do 8. ano tem alguma questão igual ao teste do 6. ano, assim como o teste do 6. tem questões também presentes no teste do 4. ano. Essa metodologia considera o processo de ensino e permite a comparabilidade entre os anos, informações essas importantes para compor o resultado dos testes. Além disso, os testes possuem elementos que possibilitam ao CAEd (Centro de Políticas Públicas e Avaliação da Educação), avaliar o próprio instrumento. Portanto, os testes avaliam apenas uma parcela dos conteúdos e conhecimentos trabalhados pela escola, considerando a distribuição destes ao longo dos anos e Os testes avaliam apenas uma parcela dos conteúdos e conhecimentos trabalhados pela escola, considerando a distribuição destes ao longo dos anos e dos ciclos. dos ciclos. Há questões comuns entre os anos avaliados que servem de base para a comparabilidade, ou seja, o teste referente à avaliação de um determinado ano terá tanto questões com menor quanto com maior grau de complexidade. As informações geradas pelos testes são de suma importância para formulação de políticas públicas, desde cursos oferecidos aos professores, a ação destes profi ssionais em sala de aula, até os encaminhamentos da equipe gestora para escola. Os testes são compostos por questões relativas à matriz de referência (elaborada por profi ssionais da RME), com base nas diretrizes curriculares vigentes, ou seja, mesmo com várias questões metodológicas que infl uenciam, a avaliação foi planejada para contemplar o maior número de questões que se relacionem com a proposta curricular da SME e com os encaminhamentos pedagógicos. Os testes do Simare Curitiba não substituem as avaliações feitas pelos professores em sala de aula, mas os resultados proporcionados por ele podem contribuir para refl exão do trabalho pedagógico, como um instrumento aliado aos outros mecanismos organizados pelos professores. A escola tem elementos importantes para analisar os resultados in loco, pois conhece o estudan- SIMARE revista Pedagógica

13 te e tem instrumentos para ponderar o conceito recebido com elementos pontuais. Então, temos uma série de elementos que a escola pode usar para analisar os resultados do Simare Curitiba e planejar ações a partir dele, conforme o esquema a baixo: Testes do Simare Dados contextuais Avaliações escolares Subsídios teóricos e legais Princípios Ações para garantia do direito à educação A SME defende a BOA ESCOLA como aquela que propicia escolarização, como o bem público cujo acesso e fruição assegurem o direito à educação, reconhecido e garantido para todos. Nessa perspectiva, as ações da SME, dos NREs e das escolas devem ser articuladas sob a égide da democracia, da equidade, do trabalho coletivo, da autonomia e do interesse público, e resultar em propostas e práticas educacionais mais justas e equânimes. Isto se justifi ca porque a democracia é prerrogativa legal. Portanto, é necessário olhar as informações sobre a ação pedagógica desenvolvida em determinada unidade educativa por todos os segmentos que integram aquela comunidade. A discussão e análise não podem estar ancoradas por critérios de culpabilização e vitimização individualizada, mas sim, de forma profi ssional, na busca de práticas para superação que devem ser assumidas por todos coletivamente. Por outro lado, também o estudante tem direito de experimentar práticas democráticas no processo acadêmico. Assim, a discussão e análise também devem se estender a eles, no sentido de compreenderem os resultados como responsabilidade de todos. Nessa perspectiva, a democracia e o trabalho coletivo devem pautar todas as formas e espaços de discussão articulados para este fi m. O trabalho coletivo é inerente ao trabalho pedagógico, seja no âmbito do sistema de ensino, da escola ou da sala de aula e está diretamente ligado à efetivação da gestão democrática. A apropriação do sentido dos resultados, de forma profunda e argumentada, dá elementos aos sujeitos da ação pedagógica de deliberar com mais autonomia. A autonomia perpassa a ação de todos os profi ssionais da educação, considerando sua formação, seu conhecimento e sua competência para tomada de decisões. Porém, a autonomia é embazada nas leis vigentes e não deve ferir a gestão democrática e a garantia do direito à educação do estudante. Nessa direção, também cabe à equipe gestora a promoção de formas autônomas no direcionamento de ações pedagógicas. A apropriação do sentido dos resultados, de forma profunda e argumentada, dá elementos aos sujeitos da ação pedagógica de deliberar com mais autonomia. Entretanto, a autonomia na deliberação deve estar sempre vinculada a garantia do direito a educação, ou seja, ao interesse público, e não privilegiando interesses privados, seja de um grupo ou de indivíduos, pois a escola é um espaço público que pertence a todos. Nesse viés, a distribuição do direito à educação em sociedades desiguais exige do Estado a equalização das trajetórias educacionais. Dessa forma, a análise dos resultados do Simare Curitiba, ainda que operado democrática e coletivamente, perde o sentido se não estiver vinculada ao princípio de equidade, que é princípio orientador de ações que busquem equalizar trajetórias dos estudantes. Assim, o plano de ação das escolas, o planejamento dos professores e todas as decisões tomadas em todo âmbito da SME devem contemplar esse princípio. A análise das informações do Simare Curitiba, bem como a sua incorporação nas decisões sobre as práticas pedagógicas, deve conduzir ações que objetivam diminuir as diferenças nos processos de escolarização oriundas de pontos de partida diferentes ou diversos. Ainda que, historicamente, os sistemas de avaliação e testes de rendimento por vezes tenham sido usados para ranquear e responsabilizar unidades educacionais e professores pelo sucesso ou fracasso escolar, desconsiderando as trajetórias e todos os elementos que infl uenciam o rendimento escolar, o Simare Curitiba busca superar esse modelo meritocrático e propõe a responsabilização de todos pelo ato educativo, nos diferentes níveis e âmbitos da SME, a partir do diagnóstico fornecido pelos diferentes instrumentos avaliativos. Ciências - 4º ano do Ensino Fundamental 13 SIMARE 2014

14 2 O PAPEL DESEMPENHADO PELOS PROFESSORES NOS SISTEMAS DE AVALIAÇÃO EM LARGA ESCALA A Revista Pedagógica foi criada para você, professores e professoras, pensando em oferecer informações que possam aprimorar seu conhecimento sobre a avaliação educacional e, consequentemente, contribuir para a sua prática docente. Organizada com esse objetivo, a publicação apresenta os principais elementos das avaliações em larga escala, como a Matriz de Referência e os Padrões de Desempenho. Nela, você encontrará, também, os resultados de sua escola, que representam um importante subsídio para reflexão e planejamento do seu trabalho pedagógico.

15 A avaliação educacional em larga escala, tema que se tornou central para a educação brasileira, especificamente, por se relacionar com a possibilidade de realização de uma reforma educacional efetiva no país, possui características próprias, que a diferenciam em relação a outras formas de avaliação. Tal modelo avaliativo se destina à produção de diagnósticos sobre a qualidade da educação oferecida pelas redes de ensino, e é justamente neste nível, o da rede, que o interesse da avaliação em larga escala repousa. Assim, é possível afirmar que os instrumentos avaliativos em larga escala perseguem uma compreensão em nível macro, permitindo uma análise geral da rede de ensino avaliada. Com isso, a princípio, a concepção de um sistema de avaliação em larga escala faz parecer que seus instrumentos, e os diagnósticos que são capazes de produzir, se destinam a um público específico, qual seja, os gestores das redes de ensino, secretários de educação, equipe técnica dos órgãos de gestão, superintendentes etc. De fato, as informações oriundas das avaliações em larga escala passaram a possibilitar a esses atores envolvidos com a educação uma análise que as avaliações conduzidas pelos professores, em cada unidade escolar, não são capazes de fornecer. E esse é um ponto elementar para conhecer a importância, os objetivos e a efetividade de um sistema de avaliação em larga escala. Sem os diagnósticos desses sistemas, não há dúvida, nosso entendimento em relação às redes de ensino é reduzido a um conjunto de impressões colhidas por atores específicos (como gestores escolares e professores), e jamais formará uma base sólida para que decisões educacionais possam ser tomadas com algum nível de segurança. Ciências - 4º ano do Ensino Fundamental 15 SIMARE 2014

16 O suporte para a tomada de decisões, aliás, é um dos aspectos justificadores e definidores da avaliação em larga escala. Os resultados que elas são capazes de produzir são destinados, em última instância, a servir de suporte para que decisões sejam tomadas no âmbito educacional. Isso não quer dizer, evidentemente, que as decisões só possam ser tomadas com base nas informações das avaliações. Os agentes educacionais e escolares sempre tiveram que tomar decisões, independente da existência dos sistemas de avaliação. Contudo, e nossa história educacional recente reforça esse ponto de vista, ter acesso a um amplo conjunto de diagnósticos sobre a qualidade da educação oferecida por nossas redes de ensino representa um salto na qualidade das próprias decisões tomadas na seara educacional. As difíceis escolhas apresentadas àqueles que vivem a educação em seu cotidiano se tornam menos complexas à medida que tais atores se alimentam com informações capazes de lhes dar um suporte para a ação. Isso quer dizer que a avaliação significa a possibilidade de escolher melhor os caminhos a serem trilhados, estando, necessariamente, para sua eficácia, ligada à ação. Delineado este cenário, pode parecer, equivocamente, que aos atores mais diretamente ligados ao dia a dia da escola, como os professores e os gestores, não é reservado nenhum papel preponderante no que diz respeito às avaliações em larga escala. Ao se debruçarem sobre diagnósticos da rede como um todo, os sistemas de avaliação se apresentam como estranhos e indiferentes às práticas docentes, tendo, desta maneira, pouco a dizer aos professores. Mesmo àqueles que reconhecem a importância da avaliação em larga escala para a tomada O suporte para a tomada de decisões, aliás, é um dos aspectos justificadores e definidores da avaliação em larga escala. de decisões relacionadas à rede de ensino, a avaliação pode se apresentar como um instrumento inócuo para lidar com os problemas que os docentes encontram no âmbito das escolas, visto que o instrumento avaliativo, ao contrário do trabalho do professor, desconheceria o chão da escola. Afinal, se é fundamental que problemas educacionais sejam atacados tendo como foco a rede de ensino, não é menos importante que se reconheça a necessidade de enfrentar as dificuldades enfrentadas por cada unidade escolar, em específico. Nesse último caso, a avaliação, aos olhos docentes, pode ser vista como um elemento pouco produtivo. Articulada a essa forma de entendimento, há a visão que antagoniza os objetivos e os efeitos das avaliações realizadas pelos professores em sala de aula com os daquelas realizadas no conjunto dos sistemas de avaliação em larga escala. Ao ver a avaliação externa como algo desconexo de sua realidade, o corpo docente termina não somente por considerar que tais instrumentos avaliativos, externos à escola, não dialogam com suas dificuldades, mas, além disso, termina por impedir que as avaliações realizadas em sala de aula atinjam seus efeitos pedagógicos. Em regra, a polarização entre essas duas formas de avaliação gera, por parte dos professores, de um lado, a não utilização dos resultados produzidos pelos sistemas de avaliação, ou, em outro extremo, a utilização radical e incompreendida dessas informações. Essa maneira de compreender a avaliação em larga escala e sua (não) relação direta com os problemas enfrentados pelas escolas tende a ganhar força entre os professores e tem como resultado mais imediato e visível a SIMARE revista Pedagógica

17 resistência aos processos avaliativos, que, por sua vez, leva à ausência de ação com base nos diagnósticos. A postura oriunda desse entendimento diminui as possibilidades que, efetivamente, os sistemas de avaliação têm para estabelecer relações produtivas com as escolas. Para contornar esse problema, é preciso desfazer alguns pontos de incompreensão sobre as avaliações em larga escala. Se os sistemas de avaliação se dedicam, conforme ressaltamos anteriormente, à produção de diagnósticos sobre a rede de ensino, isso não significa que as escolas também não possam fazer uso das informações oriundas de tais sistemas. O enfoque é cobrir o sistema, mas, para tanto, é necessário produzir informações sobre as unidades escolares da rede. Isso quer dizer que as escolas têm acesso a informações específicas de sua própria realidade. O entendimento desse ponto desfaz a ideia de que a avaliação em larga escala se destina, exclusivamente, aos atores envolvidos em um nível macroeducacional, ressaltando que professores e professoras e equipes gestoras escolares também desempenham papeis importantes. No caso do corpo docente, especificamente, entender o seu papel implica compreender o que os resultados das avaliações realmente podem dizer, eliminando a leitura que coloca em posições antagônicas as avaliações que os professores e professoras realizam em sala de aula e os sistemas de avaliação. Ao reconhecerem que essas diferentes formas de conduzir o processo avaliativo possuem objetivos e objetos distintos, os professores estarão em condições de vislumbrar aquilo que os resultados das avaliações em larga escala podem oferecer para o Os resultados das avaliações em larga escala podem ser vistos como uma valiosa fonte de informação para o professor, que, a partir deles, é capaz de repensar suas práticas pedagógicas, identificando o que pode ser alterado e o que precisa ser reforçado. seu trabalho em sala de aula. Eliminando o antagonismo, o que resta é a percepção de que essas duas posturas avaliativas se complementam. Com isso, os resultados das avaliações em larga escala podem ser vistos como uma valiosa fonte de informação para o professor, que, a partir deles, é capaz de repensar suas práticas pedagógicas, identificando o que pode ser alterado e o que precisa ser reforçado. Além disso, os resultados das avaliações refletem as dificuldades e os sucessos experimentados por toda a rede de ensino, fornecendo ao professor uma leitura geral de situações que ele passa a ver como compartilhadas por outras escolas. E problemas compartilhados abrem espaço para a busca de soluções compartilhadas, que exigem, dessa maneira, a troca contínua de experiências. Esse pode ser um efeito virtuoso da utilização das avaliações em larga escala pelos professores e professoras nas escolas. Acima de tudo, a avaliação externa é um convite. Ela, como um instrumento, não é capaz de solucionar, por si só, todos os problemas escolares. Entretanto, é capaz de nos ajudar a identificá-los, o que é um passo necessário para que soluções sejam encontradas. Esse convite é feito a todos aqueles que estão envolvidos com a educação. O professores e professoras, não resta dúvida, são atores fundamentais. Para que o direito à educação de qualidade se efetive, todos precisam, sem demagogia, assumir sua parcela de responsabilidade. Ao professor cabe o aceite a esse convite. A BOA ESCOLA não depende somente dos professores, mas jamais ocorrerá sem eles. Ciências - 4º ano do Ensino Fundamental 17 SIMARE 2014

18 1 POR QUE AVALIAR? POLÍTICA PÚBLICA O Brasil assumiu um compromisso, partilhado por estados, municípios e sociedade, de melhorar a qualidade da educação oferecida por nossas escolas. Melhorar a qualidade e promover a equidade: eis os objetivos que dão impulso à avaliação educacional em larga escala. DIAGNÓSTICOS EDUCACIONAIS Para melhorar a qualidade do ensino ofertado, é preciso identificar problemas e lacunas na aprendizagem, sendo necessário estabelecer diagnósticos educacionais. 2 O QUE AVALIAR? CONTEÚDO AVALIADO Reconhecida a importância da avaliação, é necessário definir o conteúdo que será avaliado. Para tanto, especialistas de cada área de conhecimento, munidos de conhecimentos pedagógicos e estatísticos, realizam uma seleção das habilidades consideradas essenciais para os estudantes. Esta seleção tem como base o currículo. MATRIZ DE REFERÊNCIA O currículo é a base para a seleção dos conteúdos que darão origem às Matrizes de Referência. A Matriz elenca as habilidades selecionadas, organizando-as em competências. página 23 3 COMO TRABALHAR OS RESULTADOS? PADRÕES DE DESEMPENHO A partir da identificação dos objetivos e das metas de aprendizagem, são estabelecidos os Padrões de Desempenho estudantil, permitindo identificar o grau de desenvolvimento dos estudantes e acompanhá-los ao longo do tempo. página 30 ITENS Os itens que compõem os testes são analisados, pedagógica e estatisticamente, permitindo uma maior compreensão do desenvolvimento dos estudantes nas habilidades avaliadas. página 30 SIMARE revista Pedagógica

19 AVALIAÇÃO Para que diagnósticos sejam estabelecidos, é preciso avaliar. Não há melhoria na qualidade da educação que seja possível sem que processos de avaliação acompanhem, continuamente, os efeitos das políticas educacionais propostas para tal fim. O CAMINHO DA AVALIAÇÃO EM LARGA ESCALA No diagrama a seguir, você encontrará, de forma sucinta, os fundamentos principais do sistema de avaliação, começando pelo objetivo que fomenta a criação da avaliação em larga escala até a divulgação de seus resultados. Aqui, também, encontram-se as indicações das páginas nas quais alguns conceitos relativos ao tema são apresentados com mais detalhes. COMPOSIÇÃO DOS CADERNOS Através de uma metodologia especializada, é possível obter resultados precisos, não sendo necessário que os estudantes realizem testes extensos. página 28 RESULTADOS DA ESCOLA A partir da análise dos resultados da avaliação, um diagnóstico confiável do ensino pode ser estabelecido, servindo de subsídio para que ações e políticas sejam desenvolvidas, no intuito de melhorar a qualidade da educação oferecida. PORTAL DA AVALIAÇÃO Para ter acesso a toda a Coleção e a outras informações sobre a avaliação e seus resultados, acesse o site página 44 Ciências - 4º ano do Ensino Fundamental 19 SIMARE 2014

20 3 INTERPRETAÇÃO DE RESULTADOS E ANÁLISES PEDAGÓGICAS Para que as avaliações sejam utilizadas de forma significativa em benefício da educação, faz-se necessário compreender e interpretar os resultados obtidos pelos estudantes nos testes de proficiência. Para isso, é importante conhecer a metodologia que guia a elaboração dos testes e a produção dos resultados. Nesta seção, você conhecerá os elementos que orientam a avaliação do Simare: a Matriz de Referência, a composição dos cadernos de testes, a Teoria da Resposta ao Item (TRI), os Padrões de Desempenho e alguns exemplos de itens.

21 As relações entre a Matriz de Referência e o currículo A avaliação educacional em larga escala, diante da sua recente expansão no Brasil,a rigor, trata-se, do ponto de vista histórico, de um tema ainda relativamente novo e, exige, para a efetividade de sua proposta, que uma série de conceitos seja entendida pelos profissionais ligados à educação, na escola e fora dela. É crucial que a conceituação que envolve a avaliação educacional seja apropriada pelos agentes educacionais, sob pena de comprometermos a possibilidade de trabalhar com os diagnósticos produzidos pelos sistemas, em benefício das redes, das escolas e, evidentemente, dos estudantes. Há conceitos que são próprios da avaliação em larga escala, justificando sua existência, e tendo sua esfera de sentido delimitada, no âmbito dos sistemas de avaliação. É o caso, por exemplo, da Matriz de Referência. Esse conceito é muito importante para a avaliação em larga escala e pode gerar uma série de dúvidas, por se relacionar, diretamente, com o currículo. A relação entre a Matriz de Referência e o currículo é, muitas vezes, entendida sob um prisma diverso do que aquele proposto pelos sistemas de avaliação. Em especial, para o professor, é necessário compreender a natureza dessa relação, bem como seus limites. Matriz de Referência não se confunde, em absoluto, com Matriz Curricular (currículo). Elas são documentos relacionados, mas possuem objetos e objetivos distintos. A Matriz de Referência é dotada de um âmbito de atuação mais estreito e delimitado do que a Matriz Curricular. A primeira diz respeito ao contexto das avaliações em larga escala, ao passo que a segunda se relaciona com aspectos que, embora envolvam, extrapolam o âmbito da avaliação. A Matriz Curricular direciona a produção do currículo em uma série de pontos: os objetivos do ensino e da aprendizagem, os conteúdos e as habilidades a serem desenvolvidos, as metodologias a serem utilizadas, os processos de avaliação etc. É um documento que se relaciona com o ensino e com a aprendizagem em múltiplas dimensões, levando em consideração todas as atividades de caráter pedagógico que as instituições escolares devem exercer. Com isso, é preciso que se reconheça que a Matriz Curricular não é o objeto de uma avaliação em larga escala. Quando estamos diante de um sistema de avaliação, não é o currículo, como um todo, que está sendo avaliado. Ciências - 4º ano do Ensino Fundamental 21 SIMARE 2014

22 A Matriz de Referência, por sua vez, é o objeto que dará origem aos instrumentos dos sistemas de avaliação. É o documento que fornece a direção para o que será avaliado nos testes cognitivos. É a partir dela que os itens dos testes são produzidos. Tendo como fonte a Matriz Curricular, a Matriz de Referência, contudo, é um conjunto delimitado de habilidades e competências tidas como essenciais para cada etapa de escolaridade avaliada. As Matrizes de Referência, portanto, não se referem, diretamente, a conteúdos a serem ensinados, mas, antes, a habilidades e competências a serem desenvolvidas. Como objeto de uma avaliação, a Matriz de Referência é formada por um conjunto de elementos que descrevem as habilidades a serem desenvolvidas pelos estudantes. Por seu caráter descritivo, tais elementos são chamados de descritores. Cada descritor apresenta uma, e somente uma, habilidade. Cada item do teste, por sua vez, está relacionado a apenas um descritor. É importante ressaltar que as matrizes são específicas para cada disciplina e cada etapa de escolaridade avaliadas. Com isso, podemos afirmar que, necessariamente, a Matriz de Referência se baseia na Matriz Curricular, mas com essa última não se confunde. A Matriz de Referência envolve uma parte importante do currículo, mas não é capaz, pela própria natureza dos testes de proficiência, de abarcar todo o conteúdo curricular. Assim, tudo que está na Matriz de Referência já se encontra no currículo, mas nem toda previsão curricular é abarcada pela Matriz de Referência. Além de ser baseada no currículo, a Matriz de Referência, em seu processo de construção, envolve outros elementos, como a consulta a pesquisas em livros didáticos, debates com educadores e pesquisadores na área de educação, envolvimento de professores e gestores das redes de ensino. O entendimento da relação entre o currículo e a Matriz de Referência definirá a forma como o professor se valerá dos resultados da avaliação educacional em seu trabalho pedagógico, se apresentando, por conta disso, como um ponto basilar. Por não esgotar os conteúdos curriculares que devem ser trabalhados em sala de aula, sempre mais amplos e complexos, a Matriz de Referência não deve ser confundida como estratégia de ensino, seleção de conteúdos mais importantes, diretriz de trabalho pedagógico ou proposta curricular. Isso quer dizer que o professor deve se pautar na Matriz Curricular para a condução de seu processo de ensino e não se concentrar, somente, nas habilidades previstas na Matriz de Referência. Ao cumprir o currículo, o professor já estará abarcando as habilidades da Matriz de Referência. E a efetivação do currículo é o que se espera de todo corpo docente. SIMARE revista Pedagógica

23 Matriz de Referência de Ciências 4º ano do Ensino Fundamental D Descritores Os descritores associam o conteúdo curricular a operações cognitivas, indicando as habilidades que serão avaliadas por meio de um item. I Item O item é uma questão utilizada nos testes de uma avaliação em larga escala e se caracteriza por avaliar uma única habilidade indicada por um descritor da Matriz de Referência. (N040231E4) É comum, nas grandes cidades do país, observar rios e lagoas sendo poluídas com o esgoto sem tratamento. Esse tipo de poluição traz como consequência o A) aparecimento de doenças. B) aquecimento do planeta. C) crescimento dos peixes. D) reaproveitamento do lixo. Ciências - 4º ano do Ensino Fundamental 23 SIMARE 2014

24 MATRIZ DE REFERÊNCIA DE CIÊNCIAS - ENSINO FUNDAMENTAL DESCRITOR CONHECIMENTO DETALHAMENTO D1 Reconhecer a participação do ar para a manutenção da vida de diferentes seres vivos. Reconhecer a participação do oxigênio e do gás carbônico em processos vitais para os diversos seres vivos. Reconhecer a participação do oxigênio e do gás carbônico na fotossíntese e na respiração dos seres aeróbios associando-os a esses processos. D2 Reconhecer a existência do ar. Reconhecer a existência do ar a partir de suas propriedades (massa, peso e volume). D3 Identificar os estados físicos da água. Identificar os diferentes estados físicos que a água pode ser encontrada na natureza. D4 Relacionar o ciclo da água com a formação das chuvas e o abastecimento de reservatórios. Compreender como se formam as chuvas e como os mananciais são reabastecidos. D5 Reconhecer o processo de formação do solo. Reconhecer que o solo é formado pelos processos de desgaste das rochas e de transformação da matéria orgânica em decomposição. Reconhecer como os processos de intemperismo físicos e químicos contribuem para a formação do solo. D6 Compreender os impactos da poluição para a vida e ambiente na Terra. Reconhecer as consequências da poluição (diminuição da água potável, da biodiversidade e o aparecimento de doenças) para a vida no planeta. D7 Reconhecer a relação de interdependência entre fatores abióticos e bióticos. Reconhecer a relação de interdependência entre fatores abióticos (água, luz do Sol, solo, ar e temperatura) e bióticos (seres vivos). D8 Reconhecer relações ecológicas entre os seres vivos de um ecossistema. Reconhecer relações ecológicas harmônicas (sociedade, colônia e mutualismo) e desarmônicas (competição, predatismo e parasitismo). D9 Reconhecer os níveis tróficos em uma cadeia alimentar. Reconhecer os níveis tróficos de uma cadeia alimentar (produtores, consumidores e decompositores). D10 Relacionar situações de desequilíbrio ambiental às ações antrópicas. Relacionar intervenções humanas no ambiente (introdução e extinção de espécies, desperdício de recursos naturais, poluição do ar, impermeabilização do solo, desmatamento, ocupação irregular de ambientes conservados e descarte inadequado de lixo) aos desequilíbrios ambientais e suas consequências. D11 Reconhecer as propriedades do ar. Reconhecer as propriedades do ar (massa, elasticidade, compressibilidade, expansibilidade e pressão). D12 Compreender o ciclo da água. Compreender o ciclo da água na natureza (mudanças de estado que ocorrem: evaporação, condensação e solidificação). D13 Identificar mudanças de estado físico da água. Identificar, em situações cotidianas, a fusão, a evaporação, a ebulição, a condensação e solidificação como mudanças de estado físico pelas quais a água passa. D14 Reconhecer características comuns a todos os seres vivos. Reconhecer que todos os seres vivos apresentam células, material genético, metabolismo, capacidade de reprodução, podem sofrer mutações e evoluem. ANOS DO E. F. 4º 6º 8º SIMARE revista Pedagógica

25 MATRIZ DE REFERÊNCIA DE CIÊNCIAS - ENSINO FUNDAMENTAL DESCRITOR CONHECIMENTO DETALHAMENTO ANOS DO E. F. 4º 6º 8º D15 Identificar os seres vivos de acordo com a classificação biológica e evolutiva. Identificar os principais grupos de seres vivos de acordo com características morfológicas e evolutivas (número de células, tipo de células e nutrição). D16 Identificar as principais fontes de nutrientes para o organismo humano. Identificar os alimentos considerados fontes de carboidratos, lipídeos, vitaminas e proteínas. D17 Reconhecer as funções da água no corpo humano. Reconhecer a participação da água nos processos de regulação térmica, excreção, hidratação e atividades metabólicas. D18 Reconhecer conceitos da genética básica. Reconhecer os conceitos de DNA, cromossomos, gene e características hereditarias. D19 Identificar medidas de saneamento básico. Identificar a coleta de lixo, tratamento de água e esgoto como medidas de saneamento básico para promoção da saúde. D20 Reconhecer doenças relacionadas à água. Reconhecer doenças relacionadas à água (verminoses, dengue e leptospirose), assim como suas formas de prevenção. D21 Reconhecer doenças que podem ser veiculadas pelo ar, assim como suas formas de prevenção. Reconhecer doenças que podem ser veiculadas pelo ar (meningite, rubéola e gripes), assim como suas medidas profiláticas. D22 Compreender a importância da destinação adequada aos resíduos sólidos. Relacionar o destino dos resíduos sólidos à manutenção da saúde coletiva. D23 Identificar doenças veiculadas pelo solo ou pela água contaminados. Identificar as principais características (profilaxia, sintomas e agente etiológico) de doenças veiculadas pelo solo ou pela água contaminada, como tétano, hepatite A, leptospirose e verminoses. D24 Identificar doenças veiculadas pelo ar. Identificar as principais características (profilaxia, sintomas e agente etiológico) de doenças veiculadas pelo ar (meningite e gripes). D25 Relacionar o saneamento básico à qualidade de vida. Relacionar o abastecimento de água potável, o tratamento do esgoto sanitário e dos resíduos sólidos e a drenagem das águas pluviais à promoção da saúde coletiva. D26 Relacionar o destino dos resíduos sólidos à qualidade de vida. Relacionar o destino dos resíduos sólidos (aterro sanitário, lixão, incineração, usina de separação e reciclagem) à manutenção da saúde coletiva. D27 Reconhecer os níveis de organização do corpo humano. Reconhecer os níveis de organização do corpo humano (células, tecidos, órgãos, sistemas e organismos). D28 Reconhecer conceitos básicos sobre reprodução humana. Reconhecer conceitos de ejaculação, menopausa, menstruação, período fértil, fecundação e ovulação. D29 Reconhecer atitudes que colaboram para a preservação da saúde individual e coletiva. Reconhecer ações necessárias para a promoção da saúde (alimentação saudável, atividades físicas, descanso, lazer e ambiente). D30 Identificar os componentes do sangue. Identificar os componentes do sangue a partir de suas funções. D31 Relacionar tecidos às suas funções. Relacionar os diferentes tecidos do organismo humano (epitelial, conjuntivo, muscular e nervoso) às suas principais características (presença de vasos sanguíneos, proximidade das células e matriz intercelular). Ciências - 4º ano do Ensino Fundamental 25 SIMARE 2014

26 MATRIZ DE REFERÊNCIA DE CIÊNCIAS - ENSINO FUNDAMENTAL DESCRITOR CONHECIMENTO DETALHAMENTO ANOS DO E. F. 4º 6º 8º D32 Reconhecer a função de cada órgão nos sistemas do corpo humano. Reconhecer a função de cada órgão nos diferentes sistemas anatômicos (digestório, respiratório, cardiovascular, nervoso, muscular, urinário, genital e esquelético). D33 Reconhecer como o organismo reage aos estímulos do ambiente Reconhecer como o organismo recebe, interpreta e reage aos estímulos do ambiente através da relação entre cinco sentidos e o sistema nervoso. D34 Reconhecer a relação entre os sistemas envolvidos na função de coordenação. Reconhecer que os sistemas nervoso e endócrino atuam conjuntamente na função de coordenação dos demais sistemas. D35 Reconhecer a relação entre os sistemas envolvidos na função de nutrição. Reconhecer como os sistemas digestório, respiratório, cardiovascular e excretor atuam conjuntamente na função de nutrição. D36 Relacionar os sistemas às suas funções. Relacionar as funções de nutrição, coordenação, reprodução a cada sistema do corpo humano. D37 Relacionar os diferentes tipos de nutrientes à sua função no organismo. Relacionar os nutrientes às funções energética, construtora e reguladora. D38 Reconhecer os modos de prevenção das principais doenças que afetam o ser humano. Reconhecer os modos de prevenção contra doenças infectocontagiosas, parasitárias, degenerativas, ocupacionais, carenciais e provocadas por toxinas. D39 Identificar astros do Sistema Solar. Identificar astros do Sistema Solar: planetas, planeta anão, estrelas e satélites naturais. Identificar a partir do tamanho, da distância relativa do Sol,da composição e da presença de satélites e anéis, os planetas do Sistema Solar. D40 Diferenciar astros luminosos de astros iluminados. Diferenciar astros que possuem luz própria daqueles que não possuem. D41 Reconhecer a composição da atmosfera terrestre. Identificar o ar como uma mistura de gases, contendo principalmente nitrogênio, oxigênio e gás carbônico em sua composição. D42 Ordenar eventos relacionados à origem e à evolução da vida na Terra. Ordenar a sequência de acontecimentos na Terra Primitiva (resfriamento do planeta, formação dos oceanos, surgimento dos primeiros seres vivos, oxigenação da atmosfera e distribuição da vida na Terra). D43 Relacionar os movimentos da Terra à ocorrência dos dias, noites e das estações do ano. Relacionar o movimento de rotação aos dias e às noites e o movimento de translação às estações do ano. D44 Relacionar a estrutura física da Terra à ocorrência de terremotos e vulcanismos. Relacionar a movimentação das placas tectônicas à ocorrência de abalos sísmicos e de atividade vulcânica. D45 Identificar as esferas terrestres. Identificar, em situações contextualizadas, a hidrosfera, a litosfera, a biosfera e a atmosfera. D46 Relacionar a posição dos astros às fases da Lua. Relacionar o movimento da Lua, Terra e Sol às fases da Lua. D47 Identificar as consequências da destruição da camada de ozônio para o corpo humano. Identificar que o aumento do buraco na camada de ozônio traz prejuízos à pele humana (câncer de pele). D48 Reconhecer o Sol como fonte de luz e calor para a vida humana. Reconhecer a dependência do organismo humano em relação à luz solar para a síntese de vitamina D. D49 Relacionar ações antrópicas à poluição da água. Relacionar atitudes humanas (descarte inadequado de resíduos, despejo de esgoto doméstico e industrial) à poluição de cursos d'água. SIMARE revista Pedagógica

27 MATRIZ DE REFERÊNCIA DE CIÊNCIAS - ENSINO FUNDAMENTAL DESCRITOR CONHECIMENTO DETALHAMENTO ANOS DO E. F. 4º 6º 8º D50 Identificar processos domésticos de tratamento de água. Identificar a filtração, o processo de fervura e a desinfecção por hipoclorito de sódio como formas eficazes de tratar a água em ambientes domésticos. D51 Identificar atitudes voltadas para o consumo consciente da água. Identificar atitudes que contribuam para evitar o desperdício da água. D52 Relacionar o uso dos recursos naturais com o consumo sustentável. Relacionar a produção, o consumo e o desperdício de recursos naturais ao consumo sustentável. D53 Relacionar ações antrópicas aos prejuízos no solo. Relacionar atividades humanas (agricultura, pecuária, obras de pavimentação e queimadas) aos prejuízos no solo (erosão, desertificação, alterações da permeabilidade e fertilidade e contaminação por agrotóxicos). D54 Identificar a destinação correta de resíduos. Identificar a separação correta de diferentes tipos de resíduos (reciclável, não reciclável, orgânico e tóxico). D55 Identificar processos de tratamento de resíduos sólidos. Relacionar a coleta seletiva, a reciclagem e o aterro sanitário à diminuição do impacto ambiental. D56 Relacionar atividades humanas à intensificação do efeito estufa e ao aquecimento global. Relacionar atividade humanas à emissão de gases de efeito estufa. D57 Identificar medidas de controle da poluição do ar. Identificar atitudes que buscam diminuir a poluição atmosférica. D58 Reconhecer a utilização de recursos naturais. Reconhecer os recursos naturais como matéria-prima na fabricação de produtos do cotidiano. D59 Reconhecer a importância da tecnologia para o avanço da pesquisa em astronomia. Reconhecer a utilização de instrumentos de observação astronômica (telescópios, lunetas, satélites artificiais e sondas) para ampliar o conhecimento em astronomia. D60 Identificar as consequências do aquecimento global para a vida na Terra. Identificar o aumento do nível dos oceanos, a perda de biodiversidade e o derretimento das geleiras como consequências do aquecimento global. D61 Identificar as etapas de tratamento de uma Estação de Tratametno de Água. Identificar as estapas e a importância de cada uma das etapas do tratamento da água. D62 Reconhecer procedimentos que auxiliam na prevenção e cura de doenças. Reconhecer diferentes procedimentos que auxiliam na prevenção e cura de doenças (vacinas, soros, exames e medicamentos). D63 Identificar os diferentes métodos contraceptivos. Identificar os diferentes métodos contraceptivos (métodos de barreira, químicos/hormonais, cirúrgicos e comportamentais). D64 Interpretar uma tabela nutricional. Interpretar uma tabela nutricional a partir de conceitos como diet, light, zero, quantidade de sódio e gordura trans relacionando aos habitos alimentares saudáveis. Ciências - 4º ano do Ensino Fundamental 27 SIMARE 2014

28 COMPOSIÇÃO DOS CADERNOS Composição dos cadernos para a avaliação Ciências 77 itens divididos em 7 blocos por disciplina com 11 itens cada 3 blocos (33 itens) de cada disciplina formam um caderno 77 x Ciências iiiii iiiiii iiiiii iiiiiii iiiii iiiiii iiiii iiiiii iiiii iiiiii Ao todo, são 7 modelos diferentes de cadernos. TEORIA DE RESPOSTA AO ITEM (TRI) E TEORIA CLÁSSICA DOS TESTES (TCT) O desempenho dos estudantes em um teste pode ser analisado a partir de diferentes enfoques. Através da Teoria Clássica dos Testes TCT, os resultados dos estudantes são baseados no percentual de acerto obtido no teste, gerando a nota ou escore. As análises produzidas pela TCT são focadas na nota obtida no teste. A título de exemplo, um estudante responde a uma série de itens e recebe um ponto por cada item corretamente respondido, obtendo, ao final do teste, uma nota total, representando a soma destes pontos. A partir disso, há uma relação entre a dificuldade do teste e o valor das notas: os estudantes tendem a obter notas mais altas em testes mais fáceis e notas mais baixas em testes mais difíceis. As notas são, portanto, teste-dependentes, visto que variam conforme a dificuldade do teste aplicado. A TCT é muito empregada nas atividades docentes, servindo de base, em regra, para as avaliações internas, aplicadas pelos próprios professores em sala de aula. SIMARE revista Pedagógica

29 A Teoria da Resposta ao Item TRI, por sua vez, adota um procedimento diferente, baseando- -se em modelos matemáticos para estimar um determinado traço latente, uma característica não observável diretamente, como o conhecimento ou a aptidão de um estudante. A TRI atribui ao desempenho do estudante uma proficiência, não uma nota, que relaciona o conhecimento do estudante à probabilidade de acerto nos itens referentes aos domínios elencados em uma Matriz de Referência, que dá origem ao teste. A proficiência é uma estimativa do nível de desempenho dos estudantes nos conhecimentos dispostos em testes padronizados, formados por questões de múltiplas alternativas. Para estimar essa proficiência, a TRI leva em conta o padrão de respostas dos estudantes, de acordo com o grau de dificuldade dos itens respondidos por eles. Através da TRI, é possível determinar parâmetros diferenciados para cada item, em um procedimento chamado de calibração dos itens. A partir desses parâmetros, são estimadas as proficiências dos estudantes de acordo com os itens respondidos no teste. O modelo utilizado na avaliação foi o Modelo Logístico de 3 Parâmetros, que é o mais utilizado para testes de avaliação educacional com itens dicotômicos, isto é, itens em que há apenas uma opção correta entre as alternativas de resposta. PARÂMETRO A Discriminação - envolve a capacidade de um item de discriminar, entre os estudantes avaliados, aqueles que desenvolveram os conhecimentos avaliados daqueles que não os desenvolveram. PARÂMETRO B Dificuldade - permite mensurar o grau de dificuldade dos itens: fáceis, médios ou difíceis. Os itens estão distribuídos de forma equânime entre os diferentes cadernos de testes, possibilitando a criação de diversos cadernos com o mesmo grau de dificuldade. PARÂMETRO C Acerto ao acaso - realiza a análise das respostas do estudante para verificar o acerto ao acaso nas respostas: se for constatado que ele errou muitos itens de baixo grau de dificuldade e acertou outros de grau elevado, situação estatisticamente improvável, o modelo deduz que ele respondeu aleatoriamente às questões e reestima a proficiência para um nível mais baixo. A TCT e a TRI não produzem resultados incompatíveis ou excludentes. Antes, estas duas teorias devem ser utilizadas de forma complementar, fornecendo um quadro mais completo do desempenho dos estudantes. O Simare utiliza a TRI para o cálculo da proficiência do estudante, que não depende unicamente do valor absoluto de acertos, já que depende também da dificuldade e da capacidade de discriminação das questões que o estudante acertou e/ou errou. O valor absoluto de acertos permitiria, em tese, que um estudante que respondeu aleatoriamente tivesse o mesmo resultado que outro que tenha respondido com base em suas habilidades, elemento levado em consideração pelo Parâmetro C da TRI. O modelo, contudo, evita essa situação e gera um balanceamento de graus de dificuldade entre as questões que compõem os diferentes cadernos e as habilidades avaliadas em relação ao contexto escolar. Esse balanceamento permite a comparação dos resultados dos estudantes ao longo do tempo e entre diferentes escolas. Ciências - 4º ano do Ensino Fundamental 29 SIMARE 2014