PARTE I RESULTADOS DOS ALUNOS PORTUGUESES NO PISA 2003

Transcrição

1

2 ÍNDICE Apresentação do estudo internacional PISA Organização do Estudo... 4 O que mede o PISA... 6 PARTE I RESULTADOS DOS ALUNOS PORTUGUESES NO PISA 2003 Desempenho dos alunos portugueses Literacia matemática... 9 Distribuição dos níveis de proficiência na escala global e nas subescalas de literacia matemática Comparação dos resultados obtidos no PISA 2003 com os do Pisa Desempenho médio na escala global de literacia matemática e contexto socioeconómico nos vários países Desempenho na escala global de literacia matemática por género sexual Desempenho na escala global de literacia matemática por ano de escolaridade Desempenho na escala global de literacia matemática, natureza pública ou privada da escola e sua organização Desempenho na escala global de literacia matemática e situação socio-económica dos alunos Em que diferem os alunos portugueses com nível de literacia matemática igual ou inferior a 1 dos que têm um nível igual ou superior a Itens de matemática e curriculum nacional Desempenho dos alunos portugueses Literacia em contexto de leitura 40 Comparação dos resultados obtidos no PISA 2003 com os do PISA Desempenho na escala de literacia em contexto de leitura por género sexual Desempenho na escala de literacia em contexto de leitura por ano de escolaridade Desempenho dos alunos portugueses Literacia científica Comparação dos resultados obtidos no PISA 2003 com os do PISA Desempenho na escala de literacia científica por género sexual Desempenho na escala de literacia científica por ano de escolaridade Desempenho dos alunos portugueses Resolução de problemas Desempenho na escala de resolução de problemas por género sexual Desempenho na escala de resolução de problemas por ano de escolaridade

3 Conclusões PARTE II - ITENS DE LITERACIA MATEMÁTICA DO PISA 2003 Apresentação dos Itens de literacia matemática incluídos, sua Codificação e resultados Apreciação da adequação dos itens ao currículo em vigor em REFEREÊNCIAS BIBLIOGRÁFICAS ANEXOS Anexo A Descrições sumárias dos seis níveis de proficiência em literacia matemática nas várias subescalas Anexo B Percentagens de estudantes nos vários níveis de proficiência em literacia matemática, escala global Anexo C Percentagens de estudantes nos vários níveis de proficiência em literacia matemática subescala espaço e forma Anexo D Percentagens de estudantes nos vários níveis de proficiência em literacia matemática subescala mudança e relações Anexo E Percentagens de estudantes nos vários níveis de proficiência em literacia matemática subescala quantidade Anexo F Percentagens de estudantes nos vários níveis de proficiência em literacia matemática subescala incerteza Anexo G Comparações múltiplas do desempenho médio na escala global de literacia matemática Anexo H Classificações médias e variações na subescala espaço e forma PISA 2000 Anexo I Classificações médias e variações na subescala espaço e forma PISA 2003 Anexo J Classificações médias e variações na subescala mudança e relações PISA 2000 Anexo K Classificações médias e variações na subescala mudança e relações PISA

4 APRESENTAÇÃO DO ESTUDO INTERNACIONAL PISA 2003 O estudo PISA (Programme for International Student Assessment) foi lançado pela OCDE, em Os resultados obtidos nesse estudo permitem monitorizar, de uma forma regular, os resultados dos sistemas educativos em termos do desempenho dos alunos, no contexto de um enquadramento conceptual aceite internacionalmente. O PISA procura medir a capacidade dos jovens de 15 anos para usarem os conhecimentos que têm de forma a enfrentarem os desafios da vida real, em vez de simplesmente avaliar o domínio que detêm sobre o conteúdo do seu currículo escolar específico. A primeira recolha de informação ocorreu em 2000 (primeiro ciclo do PISA) e teve como principal domínio de avaliação a literacia em contexto de leitura. O estudo envolveu, então, cerca de alunos de 15 anos de 32 países, 28 dos quais membros da OCDE. No ano seguinte, o estudo foi repetido em mais 11 países. O PISA 2003 (segundo ciclo do PISA), cujos resultados aqui se apresentam, contou com 41 países, incluindo a totalidade dos membros da OCDE (30), envolvendo mais de alunos de 15 anos. A Figura 1 identifica as participações. A sondagem efectuada deu um maior enfoque à literacia matemática e teve como domínios secundários as literacias de leitura e científica, bem como a resolução de problemas. No estudo PISA que terá lugar em 2006 (terceiro ciclo), haverá preponderância da literacia científica. 3

5 Figura 1. Lista dos países em que teve lugar o estudo PISA 2003 PAÍSES DO ESPAÇO DA OCDE Alemanha Austrália Áustria Bélgica Canadá Coreia Dinamarca Espanha Estados Unidos da América Finlândia França Grécia Hungria Irlanda Islândia Itália Japão Luxemburgo México Noruega Nova Zelândia Países Baixos Polónia Portugal Reino Unido República Checa República da Eslováquia Suécia Suíça Turquia OUTROS PAÍSES PARTICIPANTES Brasil Federação Russa Hong Kong-China Indonésia Letónia Liechtenstein Macau-China Sérvia e Montenegro Tailândia Tunísia Uruguai Organização do Estudo Como atrás se mencionou, a recolha de informação no segundo ciclo do PISA teve lugar em 2003 e envolveu mais de alunos de 15 anos de 41 países, 30 dos quais membros da OCDE. A população alvo consistiu nos estudantes que, na altura da sondagem, tinham idades compreendidas entre os 15 anos e três meses e os 16 anos e dois meses, desde que frequentassem a escola, do 7º ao 11º ano de escolaridade, independentemente do tipo de instituição onde o fizessem. Neste segundo ciclo, foi dado um enfoque especial à avaliação da literacia matemática, significando isto que os instrumentos utilizados incluíam mais questões referentes a este tipo de literacia. Em 2006, terá lugar o terceiro ciclo do estudo com uma recolha mais intensiva no domínio das ciências. 4

6 Em Portugal foram seleccionadas, segundo um processo de amostragem aleatória estratificada, 159 escolas. Explicitamente, foram tidas em conta nesta selecção a representação das regiões (NUT II) Alentejo, Algarve, Centro, Lisboa e Vale do Tejo, Norte, Região Autónoma dos Açores e Região Autónoma da Madeira - e a dimensão de cada escola. De uma forma implícita, foram considerados o carácter público ou privado da escola e o estatuto socioeconómico médio dos seus alunos. Das escolas seleccionadas, duas recusaram-se a participar no estudo e outras quatro não tinham alunos de 15 anos a frequentar os anos de escolaridade abrangidos. Os alunos, em cada escola, foram aleatoriamente seleccionados de entre os que tinham nascido em Em consequência da aplicação destes critérios, o PISA envolveu 153 escolas, 141 públicas e 12 privadas, abrangendo um total de 4608 alunos. Os instrumentos utilizados foram construídos com base em enquadramentos conceptuais elaborados para o efeito, para cada um dos domínios, e em especificações dos testes consensualmente aceites. Em 2002, um conjunto muito vasto de itens foi alvo de um estudo-piloto, em 2002, que recolheu informação nos países participantes, com base no qual foi feita a selecção para a aplicação em Os instrumentos que vieram a ser administrados foram testes de papel e lápis, que deveriam ser respondidos por cada estudante num período total de duas horas. As questões apresentadas incluíam itens de escolha múltipla, cerca de um terço, e itens que requeriam dos alunos a produção de respostas, umas mais curtas, outras mais elaboradas. Os itens estavam organizados em unidades baseadas num texto ou num gráfico ilustrando a situação concreta que se procurava que fosse tão próxima quanto possível de tarefas do mundo real. Foram construídos 13 cadernos diferentes, com combinações várias de unidades de itens, correspondendo a um total de seis horas e meia de avaliação. Destas, três horas e meia foram dedicadas a literacia matemática e uma hora a cada uma das restantes áreas leitura, ciências e resolução de problemas. Cada aluno respondeu também a um questionário sobre si próprio, sobre os seus hábitos de aprendizagem e as suas percepções do contexto de aprendizagem, sobre o seu envolvimento na escola e as suas motivações. Os responsáveis pelos Conselhos Executivos das escolas seleccionadas preencheram um questionário acerca das respectivas escolas. Em Portugal, a aplicação destes instrumentos, em Portugal, ocorreu entre Abril e Maio de 2003 e foi realizada por 28 colaboradores do GAVE devidamente formados para o efeito, segundo normas estabelecidas pelo centro internacional e registadas num manual de aplicação. 5

7 O que Mede o PISA Como atrás se referiu, cada domínio de avaliação tem um enquadramento conceptual desenvolvido por especialistas internacionais e aceite pelos representantes dos vários países membros da OCDE no PISA Governing Board. Cada um destes referenciais tem por base o conceito de literacia, que remete para a capacidade de os alunos aplicarem os seus conhecimentos e analisarem, raciocinarem e comunicarem com eficiência, à medida que colocam, resolvem e interpretam problemas numa variedade de situações. O conceito de literacia utilizado no PISA é mais amplo do que a noção histórica da capacidade de ler e escrever e é medido num continuum, não podendo ser reduzida à dicotomia de ser ou não ser letrado. O desenvolvimento da literacia é um processo de aprendizagem ao longo da vida. Não se pode esperar dos jovens de 15 anos que tenham aprendido tudo aquilo de que vão precisar quando forem adultos. Mas eles deverão ter um conhecimento sólido em áreas como leitura, matemática e ciências. De forma que possam continuar a aprender nestes domínios e a aplicar a sua aprendizagem ao mundo real, eles precisam também de compreender processos e princípios fundamentais e de os usar com flexibilidade, em diferentes situações. Os domínios de avaliação cobertos pelo PISA são definidos em termos de: conteúdo ou estrutura de conhecimento que o estudante necessita adquirir em cada domínio de avaliação (p. ex., familiaridade com conceitos matemáticos); processos que têm de ser desempenhados (p. ex., desenvolvendo um certo argumento matemático); situações em que os estudantes encontram problemas matemáticos e em que são aplicados os conhecimentos relevantes (p. ex., tomando decisões relativamente à vida pessoal, ou compreendendo os acontecimentos mundiais). A Figura 2 apresenta o sumário da definição central de cada uma das literacias nos três domínios considerados e ilustra o desenvolvimento nas três dimensões atrás referidas. 6

8 Figura 2. Resumo das áreas de avaliação do PISA 2003 Área de avaliação Matemática Ciências Leitura Definição e características distintivas Dimensão do «conteúdo» Dimensão do «processo» Dimensão da «situação» «A capacidade de um indivíduo identificar e compreender o papel que a matemática desempenha no mundo real, de fazer julgamentos bem fundamentados e de usar e se envolver na resolução matemática das necessidades da sua vida, enquanto cidadão construtivo, preocupado e reflexivo. (OCDE, 2003e) Relaciona-se com o uso mais abrangente e funcional da matemática; o envolvimento requer a capacidade de reconhecer e formular problemas matemáticos em várias situações. Núcleos de áreas e conceitos matemáticos relevantes: quantidade; espaço e forma; mudança e relações; e incerteza. As «constelações de competências» definem as capacidades necessárias para a matemática: reprodução (operações matemáticas simples); conexão (ligar ideias para resolver problemas de resolução directa); e reflexão (pensamento matemático mais abrangente). As situações variam de acordo com a «distância» das mesmas em relação às vidas dos indivíduos: pessoal; trabalho e lazer; comunidade local e sociedade; e científica. «A capacidade de usar conhecimentos científicos, de identificar questões científicas e de retirar conclusões baseadas em evidência, de forma a compreender e apoiar a tomada de decisões acerca do mundo natural e das mudanças nele efectuadas através da actividade humana.» (OCDE, 2003e) Requer a compreensão dos conceitos científicos, a capacidade de aplicar a ciência perspectiva e de pensar na evidência em termos científicos. Áreas do conhecimento e conceitos científicos, tais como: biodiversidade; forças e movimento; e alterações fisiológica. A capacidade de usar a percepção e os conhecimentos científicos para adquirir, interpretar e actuar sobre evidência: descrever, explicar e prever fenómenos científicos; compreender a investigação científica; e interpretar evidências e conclusões científicas. O contexto da ciência, focando os usos em relação a: ciência, vida e saúde; ciência, Terra e ambiente; e ciência e tecnologia. «A capacidade de cada indivíduo compreender, usar textos escritos e reflectir sobre eles, de modo a atingir os seus objectivos, a desenvolver os seus conhecimentos e potencialidades e a participar activamente na sociedade.» (OCDE, 2003e) Nesta definição, ler é muito mais do que descodificar e compreender literalmente: implica compreensão e reflexão e a capacidade de usar a leitura para atingir os próprios objectivos na vida. A forma dos materiais de leitura: materiais «contínuos», incluindo diferentes tipos de prosa, tais como textos narrativos, expositivos e argumentativos; e textos «não-contínuos», incluindo gráficos, formulários e listas. Tipo de tarefa de leitura ou de processo: extrair e recuperar informação; interpretar textos; reflectir sobre textos e avaliá-los. O PISA incide sobre «ler para aprender» e não sobre «aprender a ler»; por consequência, os estudantes não são avaliados ao nível das capacidades de leitura mais básicas. O uso previsto para o texto: uso privado (p. ex., carta pessoal); uso público (p. ex., documento oficial); uso ocupacional (p.ex., relatório). 7

9 Este trabalho está parcialmente baseado nos dois relatórios internacionais elaborados pela OCDE (OECD, 2004a e 2004b), procurando aprofundar alguns aspectos específicos do desempenho dos nossos alunos. Está dividido em duas partes. A primeira ilustra os resultados médios obtidos pelos alunos portugueses nesta sondagem, nos três domínios de avaliação e na área transversal da resolução de problemas. A segunda parte inclui os itens de literacia matemática, cuja divulgação foi autorizada, juntamente com os resultados dos estudantes portugueses em cada um desses itens; apresenta, por fim, uma apreciação do grau de adequação de cada item ao currículo português em vigor, em O relatório foi redigido por Glória Ramalho, Directora do GAVE, com o apoio de Lídia Padinha, que realizou as análises estatísticas e elaborou os gráficos e as figuras que produzimos. Maria João Lagarto e Ana Vieira Lopes são as autoras da apreciação do estudo da adequação dos itens de literacia matemática incluídos no estudo PISA 2003 ao currículo português. Este primeiro trabalho sobre os resultados do PISA 2003 não pretende esgotar as possibilidades de exploração destes resultados, mas apenas ser uma primeira abordagem que, esperamos, venha a ser útil à comunidade educativa. 8

10 PARTE I RESULTADOS DOS ALUNOS PORTUGUESES NO PISA 2003 Apresentamos agora os resultados dos alunos portugueses de 15 anos, por comparação com os dos seus colegas do espaço da OCDE. De salientar que os valores em que os desempenhos vêm expressos correspondem a uma escala construída para cada um dos domínios de literacia, de forma que, no conjunto dos países da OCDE, em cada domínio, a média fosse de 500 pontos, e o desvio padrão fosse de 100, o que significa que cerca de dois terços dos alunos têm entre 400 e 600 pontos. Quando, neste trabalho, referimos a existência, ou não, de diferenças significativas entre países ou grupos de estudantes, consideramos o nível de significância igual ou inferior a A primeira secção aborda os resultados obtidos pelos alunos portugueses em literacia matemática, no contexto dos resultados internacionais. As secções seguintes expõem os resultados relativos às literacias de leitura e científica e também à resolução de problemas. A última secção regista as principais conclusões que se retiram da participação de Portugal no segundo ciclo deste estudo internacional. DESEMPENHO DOS ALUNOS PORTUGUESES - LITERACIA MATEMÁTICA Esta secção apresenta, com algum detalhe, os resultados da avaliação de literacia matemática no PISA O referencial conceptual que presidiu à elaboração do instrumento utilizado está exposto na brochura Literacia matemática, entretanto publicada (GAVE, 2004a). Como atrás se referiu, os itens deste instrumento, cuja divulgação foi autorizada, juntamente com os correspondentes indicadores de sucesso dos nossos alunos, relativamente aos seus colegas dos países membros da OCDE, e uma apreciação da adequação desses mesmos itens ao currículo nacional constituem a segunda parte deste relatório. A literacia matemática no PISA é definida como a capacidade de um indivíduo identificar e compreender o papel que a matemática desempenha no mundo, de fazer julgamentos bem fundamentados e de usar e se envolver na resolução matemática das necessidades da sua vida, enquanto cidadão construtivo, preocupado e reflexivo (OCDE (2003), GAVE (2004a)). Uma vez que os resultados se mostraram diferentes nas quatro áreas de conteúdo examinadas (quantidade, espaço e forma, mudança e relações e incerteza), apresentase, em primeiro lugar, a análise correspondente a cada uma destas áreas. No final desta análise, apreciar-se-ão os resultados globais neste domínio. Nas secções seguintes, faz-se uma exposição sobre a relação existente entre algumas variáveis de contexto e o desempenho obtido na escala global de literacia matemática. 9

11 Distribuição dos Níveis de Proficiência na Escala Global e nas Subescalas de Literacia Matemática As quatro áreas de conteúdo estabelecidas nesta avaliação foram as seguintes: espaço e forma tem a ver com os fenómenos e as relações espaciais e geométricas, muitas vezes presentes na disciplina de geometria. Requer que se procurem semelhanças e diferenças quando se analisam as componentes das formas, que se reconheçam formas em representações distintas e com dimensões diferentes e que se compreendam as propriedades dos objectos e das suas posições relativas. mudança e relações envolve manifestações matemáticas de mudança bem como de relações e dependências funcionais entre variáveis; está muito relacionada com a álgebra. As relações matemáticas tomam muitas vezes a forma de equações ou de inequações, mas as relações de natureza mais geral (p. ex., equivalência, divisibilidade, inclusão) são também relevantes. As relações podem ser representadas de forma bastante diversa, incluindo representações simbólicas, algébricas, gráficas, tabulares e geométricas. As diferentes representações podem servir fins distintos e terem propriedades diferentes. Daí que a tradução das várias representações seja muitas vezes de importância-chave quando se lida com situações e com tarefas. quantidade envolve fenómenos numéricos, tais como relações e padrões quantitativos. Relaciona-se com a compreensão de dimensão relativa com o reconhecimento de padrões numéricos e com o uso de números para representar quantidades e atributos quantificáveis de objectos do mundo real (contagens e medidas). A quantidade lida também com o processamento e a compreensão dos números, representados de várias formas. Um aspecto importante para se lidar com a quantidade é o raciocínio quantitativo, que envolve a percepção do número, a representação dos números, a compreensão do significado das operações, a aritmética mental e a estimativa. O ramo curricular que lhe está mais próximo é a aritmética. incerteza abrange os fenómenos e as relações probabilísticos e estatísticos, que têm cada vez mais importância na sociedade da informação. Estes fenómenos são tema de estudo de probabilidades e estatística. No estudo PISA 2003, estabeleceram-se escalas e níveis de desempenho para cada uma destas áreas de conteúdo. Lembramos que as escalas em que os resultados são apresentados foram construídas de forma que, no conjunto dos países da OCDE, a média fosse de 500 pontos, e cerca de dois terços dos alunos tivessem entre 400 e 600 pontos. As pontuações nas escalas de literacia matemática foram agrupadas em seis níveis de proficiência que representam conjuntos de tarefas de dificuldade crescente, em que o nível 1 é o mais baixo, e o nível 6 o mais elevado. Os alunos que tiveram menos de 358 pontos na escala foram classificados como estando abaixo do nível 1. Estes 10

12 alunos, que representam 11 por cento do total dos estudantes dos países da OCDE, não foram capazes de utilizar as capacidades matemáticas requeridas pelas tarefas mais simples do estudo PISA. A proficiência em cada um destes níveis pode ser compreendida através da descrição das competências matemáticas requeridas para os atingir. A Figura 3 apresenta um sumário dessas descrições. 11

13 Figura 3. Descrições sumárias dos seis níveis de proficiência em literacia matemática Nível NÍVEL 6 Nível 5 Nível 4 Nível 3 Nível 2 Nível 1 O que os alunos são tipicamente capazes de fazer No nível 6, os estudantes são capazes de conceptualizar, generalizar e utilizar informação, com base nas suas investigações e na modelação de situações problemáticas complexas. Conseguem estabelecer a ligação entre diferentes fontes de informação e diferentes representações e fazer transferências entre elas, com flexibilidade. Neste nível, os estudantes dispõem de pensamento e raciocínio matemáticos avançados. Estes estudantes são capazes de aplicar a perspicácia (insight) e a compreensão, a par do domínio de operações e relações matemáticas simbólicas e formais, no desenvolvimento de novas abordagens e estratégias face a situações novas. São capazes de formular e comunicar com exactidão as suas acções e reflexões no que respeita às suas descobertas, interpretações, argumentos, bem como a adequação dos mesmos às situações originais. No nível 5, os estudantes conseguem desenvolver e trabalhar com modelos de situações complexas, identificando constrangimentos e especificando hipóteses. São capazes de seleccionar, comparar e avaliar estratégias adequadas de resolução de problemas, para lidarem com problemas complexos relacionados com estes modelos. Neste nível, os estudantes são capazes de trabalhar estrategicamente, usando capacidades mentais e de raciocínio amplas e bem desenvolvidas, representações adequadamente ligadas, caracterizações simbólicas e formais e a perspicácia (insight) apropriada a estas situações. Conseguem reflectir sobre as suas acções e formular e comunicar as suas interpretações e raciocínios. No nível 4, os estudantes são capazes de trabalhar eficazmente com modelos explícitos para situações concretas complexas, as quais podem envolver constrangimentos ou exigir a formulação de hipóteses. Conseguem seleccionar e integrar representações diferentes, inclusivamente simbólicas, ligando-as directamente a aspectos de situações da vida real. Neste nível, os estudantes são capazes de utilizar capacidades bem desenvolvidas e de raciocinar de modo flexível, com alguma perspicácia (insight), nestes contextos. São capazes de construir e de comunicar explicações e argumentos, com base nos seus argumentos, interpretações, e acções. No nível 3, os estudantes são capazes de executar, procedimentos descritos com clareza, incluindo os que requerem decisões sequenciais. Conseguem seleccionar e aplicar estratégias simples de resolução de problemas. Neste nível, os estudantes são capazes de interpretar e usar representações, com base em diferentes fontes de informação, e de raciocinar directamente a partir delas. Conseguem desenvolver comunicações curtas, que relatam os seus resultados, interpretações e raciocínios. No nível 2, os estudantes são capazes de interpretar e reconhecer situações em contextos que não requerem mais do que inferência directa. São capazes de extrair informação relevante de uma única fonte e fazer uso de um único modelo de representação. Os estudantes, conseguem empregar algoritmos, fórmulas, procedimentos ou convenções a um nível básico. São capazes de efectuar raciocínios directos e de fazer interpretações literais dos resultados. No nível 1, os estudantes são capazes de responder a questões que envolvem contextos familiares, em que toda a informação relevante está presente e as questões são claramente definidas. São capazes de identificar a informação e de executar procedimentos de rotina, de acordo com instruções directas, em situações explícitas. Conseguem executar acções que são óbvias e cujo desenvolvimento parte directamente dos estímulos dados. A cada uma das áreas de conteúdo corresponde uma especificação das competências enunciadas, presentes em anexo (Anexo A). Apresentam-se em seguida, na Figura 4, as distribuições dos vários níveis de proficiência nas quatro áreas de conteúdo a que se fez referência. Os países estão colocados por ordem crescente da percentagem de alunos no nível 1 e no nível inferior a 1. Os valores das percentagens correspondentes a cada um dos níveis estão registados em anexo (Anexos B a F). 12

14 Figura 4. Desempenho dos alunos em literacia matemática - percentagem dos alunos por nível de proficiência na escala global e nas subesca Os países estão ordenados por ordem decrescente de percentagem agregada dos níveis 2 a 6 Abaixo do nível 1 Nível 1 Nível 2 Nível 3 Nível 4 Nível 5 Nível 6 F 2.16 a Matemática - Escala global Finland Korea Canada Hong Kong-China Netherlands Macao-China Liechtenstein Japan Australia Switzerland Iceland NewZealand Denmark Belgium Czech Republic France Ireland Sweden Austria Slovak Republic Norway Germany Luxembourg Poland Spain Hungary Latvia United States Portugal Russian Federation Italy Greece Serbia Uruguay Turkey Thailand Mexico Brazil Tunisia Indonesia F 2.6 a Matemática - Espaço e Forma Finland Hong Kong-China Japan Korea Liechtenstein Macao-China Netherlands Switzerland Canada NewZealand Australia Belgium Denmark Iceland Czech Republic France Austria Sweden Slovak Republic Germany Luxembourg Poland Latvia Spain Norway Ireland Hungary United States Russian Federation Italy Portugal Greece Serbia Thailand Uruguay Turkey Mexico Indonesia Tunisia Brazil F 2.9 a Matemática - Mudança e relações Netherlands Finland Korea Canada Hong Kong-China Australia Liechtenstein Japan NewZealand France Ireland Belgium Macao-China Czech Republic Switzerland Iceland Denmark Sweden Germany Austria Hungary Slovak Republic Norway United States Latvia Luxembourg Poland Spain Russian Federation Portugal Italy Greece Uruguay Serbia Turkey Thailand Mexico Brazil Tunisia Indonesia F 2.12 a Matemática - Quantidade Finland Korea Macao-China Hong Kong-China Liechtenstein Canada Switzerland Netherlands Czech Republic Sweden Austria Japan Denmark Belgium Slovak Republic Australia Iceland France Ireland NewZealand Germany Luxembourg Poland Hungary Norway Spain Latvia Russian Federation United States Italy Portugal Serbia Greece Uruguay Thailand Turkey Mexico Brazil Tunisia Indonesia F 15 a Matemática - Incerteza Finland Netherlands Canada Korea Fonte: OECD, 2004a. Hong Kong-China Macao-China Iceland Australia NewZealand Ireland Japan Liechtenstein Denmark Switzerland Belgium Norway Sweden France Poland Czech Republic Spain Hungary Austria Luxembourg United States Germany Latvia Slovak Republic Portugal Italy Greece Russian Federation Turkey Serbia Uruguay Thailand Mexico Indonesia Brazil 13 Tunisia

15 Como podemos observar na figura anterior, existe alguma heterogeneidade na distribuição dos diversos níveis nos vários países. Portugal tem ainda um elevado número de estudantes com níveis muito baixos de literacia matemática: cerca de 30% dos nossos alunos têm um nível de literacia matemática, no PISA, igual ou inferior a 1, quando entre os países da OCDE esse valor é de 21%. Isto significa que quase um terço dos nossos jovens de 15 anos se limita a responder correctamente a questões que envolvem contextos familiares, em que toda a informação relevante para a resolução está presente, e só consegue identificar informação e levar a cabo procedimentos de rotina de acordo com instruções, em situações explícitas. Esses jovens obtêm sucesso em acções que se podem considerar óbvias e que decorrem directamente dos estímulos apresentados. Se compararmos agora as percentagens de alunos nos níveis mais altos de literacia, constatamos a existência também de uma grande disparidade. Enquanto 15% dos alunos do espaço da OCDE estão nos níveis de proficiência 5 ou 6 do PISA, apenas 5% dos alunos do nosso país se encontram na mesma situação. Também nas diversas subescalas o panorama se mantém, embora com algumas diferenças. Apesar de, em todas as subescalas, as percentagens de alunos identificados com baixo nível de literacia serem sempre superiores às médias da OCDE, o afastamento é maior nas subescalas de espaço e forma (38% em Portugal versus 25% na OCDE) e quantidade (31% versus 21%) e menor em incerteza (27% versus 20%) e mudança e relações (31% versus 23%). As percentagens de alunos com níveis elevados de literacia matemática nas várias subescalas são, também, sempre inferiores às médias da OCDE. O afastamento decresce da subescala espaço e forma (5% em Portugal versus 16% na OCDE), para a subescala incerteza (5% versus 15%), quantidade (6% versus 15%) e, finalmente, mudança e relações (8% versus 16%). Olhemos agora para os desempenhos médios alcançados nos diversos países. A Figura 5 ilustra esses desempenhos na escala global de literacia matemática e nas diversas subescalas. Em anexo (Anexo G), podemos verificar as diferenças de desempenho médio estatisticamente significativas (p<0.05) e, portanto, válidas, na escala global de literacia matemática, nos vários países. 14

16 Figura 5. Desempenho médio na escala global e nas subescalas de literacia matemática Matemática - Escala Global Matemática - Espaço e Forma Matemática - Mudança e Relações Matemática - Quantidade Matemática - Incerteza Média S.E. Média S.E. Média S.E. Média S.E. Média S.E. Hong Kong-China 550 (4,5) Hong Kong-China 558 (4,8) Países Baixos 551 (3,1) Finlândia 549 (1,8) Hong Kong-China 558 (4,6) Finlândia 544 (1,9) Japão 553 (4,3) Coreia 548 (3,5) Hong Kong-China 545 (4,2) Países Baixos 549 (3,0) Coreia 542 (3,2) Coreia 552 (3,8) Finlândia 543 (2,2) Coreia 537 (3,0) Finlândia 545 (2,1) Países Baixos 538 (3,1) Suíça 540 (3,5) Hong Kong-China 540 (4,7) Liechtenstein 534 (4,1) Canadá 542 (1,8) Liechtenstein 536 (4,1) Finlândia 539 (2,0) Liechtenstein 540 (3,7) Macau-China 533 (3,0) Coreia 538 (3,0) Japão 534 (4,0) Liechtenstein 538 (4,6) Canadá 537 (1,9) Suíça 533 (3,1) Nova Zelândia 532 (2,3) Canadá 532 (1,8) Bélgica 530 (2,3) Japão 536 (4,3) Bélgica 530 (2,3) Macau-China 532 (3,2) Bélgica 529 (2,3) Macau-China 528 (3,3) Bélgica 535 (2,4) Países Baixos 528 (3,1) Austrália 531 (2,2) Macau-China 527 (2,9) República Checa 527 (4,1) Nova Zelândia 526 (2,4) Canadá 528 (1,8) Japão 528 (3,9) Suíça 527 (3,4) Países Baixos 526 (2,9) Austrália 525 (2,3) República Checa 528 (3,5) Islândia 528 (1,5) Austrália 524 (2,1) Nova Zelândia 525 (2,3) Suíça 523 (3,7) Japão 527 (3,8) Bélgica 526 (2,2) Nova Zelândia 523 (2,3) Austrália 521 (2,3) França 520 (2,6) Austrália 517 (2,1) Liechtenstein 523 (3,7) República Checa 516 (3,5) Canadá 518 (1,8) Macau-China 519 (3,5) Dinamarca 516 (2,6) Irlanda 517 (2,6) Islândia 515 (1,4) Áustria 515 (3,5) República Checa 515 (3,5) Alemanha 514 (3,4) Suiça 517 (3,3) Dinamarca 514 (2,7) Dinamarca 512 (2,8) Islândia 509 (1,4) Suécia 514 (2,5) Dinamarca 516 (2,8) França 511 (2,5) França 508 (3,0) Dinamarca 509 (3,0) Islândia 513 (1,5) Noruega 513 (2,6) Suécia 509 (2,6) República da Eslováquia 505 (4,0) Alemanha 507 (3,7) Áustria 513 (3,0) Suécia 511 (2,7) Áustria 506 (3,3) Islândia 504 (1,5) Irlanda 506 (2,4) República da Eslováquia 513 (3,4) França 506 (2,4) Alemanha 503 (3,3) Alemanha 500 (3,3) Suécia 505 (2,9) Nova Zelândia 511 (2,2) República Checa 500 (3,1) Irlanda 503 (2,4) Suécia 498 (2,6) Áustria 500 (3,6) França 507 (2,5) Áustria 494 (3,1) República da Eslováquia 498 (3,3) Polónia 490 (2,7) Hungria 495 (3,1) Irlanda 502 (2,5) Polónia 494 (2,3) Noruega 495 (2,4) Luxemburgo 488 (1,4) República da Eslováquia 494 (3,5) Luxemburgo 501 (1,1) Alemanha 493 (3,3) Luxemburgo 493 (1,0) Letónia 486 (4,0) Noruega 488 (2,6) Hungria 496 (2,7) Luxemburgo 492 (1,1) Polónia 490 (2,5) Noruega 483 (2,5) Letónia 487 (4,4) Noruega 494 (2,2) E. U. A. 491 (3,0) Hungria 490 (2,8) Hungria 479 (3,3) Luxemburgo 487 (1,2) Espanha 492 (2,5) Hungria 489 (2,6) Espanha 485 (2,4) Espanha 476 (2,6) E. U. A. 486 (3,0) Polónia 492 (2,5) Espanha 489 (2,4) Letónia 483 (3,7) Irlanda 476 (2,4) Polónia 484 (2,7) Letónia 482 (3,6) República da Eslováquia 476 (3,2) E. U. A. 483 (2,9) Federação Russa 474 (4,7) Espanha 481 (2,8) E. U. A. 476 (3,2) Letónia 474 (3,3) Federação Russa 468 (4,2) E. U. A. 472 (2,8) Federação Russa 477 (4,6) Itália 475 (3,4) Portugal 471 (3,4) Portugal 466 (3,4) Itália 470 (3,1) Portugal 468 (4,0) Federação Russa 472 (4,0) Itália 463 (3,0) Itália 466 (3,1) Portugal 450 (3,4) Itália 452 (3,2) Portugal 465 (3,5) Grécia 458 (3,5) Grécia 445 (3,9) Grécia 437 (3,8) Grécia 436 (4,3) Sérvia 456 (3,8) Turquia 443 (6,2) Sérvia 437 (3,8) Sérvia 432 (3,9) Turquia 423 (7,6) Grécia 446 (4,0) Federação Russa 436 (4,0) Turquia 423 (6,7) Tailândia 424 (3,3) Sérvia 419 (4,0) Uruguai 430 (3,2) Sérvia 428 (3,5) Uruguai 422 (3,3) Turquia 417 (6,3) Uruguai 417 (3,6) Tailândia 415 (3,1) Tailândia 423 (2,5) Tailândia 417 (3,0) Uruguai 412 (3,0) Tailândia 405 (3,4) Turquia 413 (6,8) Uruguai 419 (3,1) México 385 (3,6) México 382 (3,2) México 364 (4,1) México 394 (3,9) México 390 (3,3) Indonésia 360 (3,9) Indonésia 361 (3,7) Tunísia 337 (2,8) Tunísia 364 (2,8) Indonésia 385 (2,9) Tunísia 359 (2,5) Tunísia 359 (2,6) Indonésia 334 (4,6) Brasil 360 (5,0) Brasil 377 (3,9) Brasil 356 (4,8) Brasil 350 (4,1) Brasil 333 (6,0) Indonésia 357 (4,3) Tunísia 363 (2,3) Fonte: OECD, 2004a. Estatisticamente acima da média da OCDE Estatisticamente abaixo da média da OCDE

17 É importante ter em conta, na leitura destes resultados, que as médias, como medidas de tendência central, não nos permitem, por si só, apreciar a variação de desempenho de vários grupos de estudantes, no seio dos diferentes países. Apenas 10% da variação total das classificações dos estudantes que participaram no PISA é atribuível à diferença entre países e pode, por conseguinte, ser captada pela comparação entre as médias desses países. A restante variação ocorre dentro dos países, isto é, entre os vários sistemas e programas, entre as escolas (29%) e entre os alunos de cada escola (61%). A diversidade da variação dos desempenhos no interior de cada país pode ser apreciada na Figura 6, em que as barras coloridas mostram o intervalo de desempenho entre o 5º percentil e o 95º. Figura 6. Distribuição do desempenho dos alunos na escala global de literacia matemática Desempenho na escala global de matemática Hong Kong-China Finland Korea Netherlands Liechtenstein Japan Canada Belgium Macao-China Switzerland Australia New Zealand Czech Republic Iceland Denmark France Sweden Austria Germany Ireland Slovak Republic Norway Luxembourg Poland Hungary Spain Latvia United States Russian Federation Portugal Italy Greece Serbia Turkey Uruguay Thailand Mexico Indonesia Tunisia Brazil A graduação das barras estende-se do 5.º percentil ao 95.º percentil Classificação média na escala global de literacia matemática Intervalo de confiança a 95% da classificação média Classificação média feminina Classificação média masculina Fonte OECD, 2004a. Nas comparações entre países relativas ao PISA 2003, estão omissos os resultados do Reino Unido, uma vez que os dados da Inglaterra não estavam de acordo com as taxas mínimas de resposta acordadas pelos países da OCDE, com o objectivo de que os resultados deste estudo fossem fiáveis e internacionalmente comparáveis. Pode-se, contudo, afirmar que a situação média dos estudantes portugueses nesta recolha de informação sobre literacia matemática é preocupante. O valor da média portuguesa, tanto na escala global como nas subescalas de literacia matemática, situa- 16

18 se abaixo da média da OCDE e muito distanciado dos valores dos países que obtiveram as melhores classificações médias. De notar que Portugal não apresenta diferenças significativas relativamente à Federação Russa e à Itália, na escala global. Nas subescalas de literacia matemática os resultados dos estudantes portugueses não são diferentes dos da Grécia (subescala espaço e forma) dos da Espanha, Federação Russa e Itália (mudança e relações), dos dos Estados Unidos da América, Itália, Federação Russa e Sérvia (subescala quantidade) e, finalmente, dos da República da Eslováquia, Letónia, Itália e Grécia (subescala incerteza). Para uma melhor apreciação das diferenças de pontuação, convém ter presente que a distância entre dois níveis de proficiência contíguos está estimada em 62 pontos da escala de literacia matemática. Isto significa que a diferença da pontuação média, na escala global de literacia matemática, entre Hong Kong China (550) e Portugal (466), para além de ser estatisticamente significativa, corresponde a mais de um nível de proficiência. Nos 26 países da OCDE em que uma proporção apreciável de alunos de 15 anos está distribuída por mais do que um ano de escolaridade, estima-se que cada ano corresponde, em média, a 41 pontos da escala do PISA. Mais à frente, apresentaremos o panorama nacional relativamente aos desempenhos médios no PISA 2003, nos vários anos de escolaridade. Analisemos agora, com maior detalhe, as variações no desempenho dos alunos entre as escolas, comparando-as com as variações observadas dentro das escolas. Na Figura 7 o comprimento total das barras indica a variação no desempenho dos estudantes observada em cada país, na escala de literacia matemática. Os valores exprimem as percentagens da variação média desse desempenho nos países da OCDE. Um valor superior a 100 indica que, nesse país, a variação no desempenho dos estudantes é maior do que a média de variação nos países membros da OCDE. A ordenação na mesma figura segue a ordem crescente das variações entre as escolas. A existência de uma variação substancial entre as escolas e, simultaneamente, de uma variação menor dentro das escolas, indica que os estudantes estão agrupados em escolas nas quais os alunos têm resultados próximos entre si. Esta situação pode dever-se a decisões das famílias, à localização das residências ou à atribuição de currículos diferentes. Pode-se constatar que em Portugal é claramente maior a variação no desempenho observada dentro das escolas do que a variação entre as escolas. 17

19 Figura 7. Variação no desempenho dos alunos inter e intra-escolas, na escala global de literacia matemática Expressa como uma percentagem da variação média no desempenho dos alunos nos países da OCDE Variação entre escolas Variação intra-escolas Países Desempenho médio em literacia matemática Média da OCDE Média da OCDE Turquia 423 Hungria 490 Japão 534 Bélgica 529 Itália 466 Alemanha 503 Áustria 506 Países Baixos 538 Uruguai 422 Hong Kong China 550 República Checa 516 Brasil 356 Coreia 542 República da Eslováquia 498 Liechtenstein 536 Grécia 445 Suíça 527 Tunísia 359 Indonésia 360 Luxemburgo 493 Tailândia 417 Portugal 466 Federação Russa 468 Sérvia 437 México 385 E. U. A. 483 Austrália 524 Letónia 483 Nova Zelândia 523 Espanha 485 Macau China 527 Canadá 532 Irlanda 503 Dinamarca 514 Polónia 490 Suécia 509 Noruega 495 Finlândia 544 Islândia 515 Reino Unido 1 m Variação total entre escolas Variação entre escolas explicada pelo índice socioeconómico e pelo estatuto sociocultural dos alunos e escolas Variação total intra-escolas Variação intra-escolas explicada pelo índice socioeconómico e pelo estatuto sociocultural dos alunos e escolas 1. A taxa de resposta é demasiado baixa para poder assegurar comparabilidade. Fonte: OECD, 2004a.

20 No PISA 2000, a literacia matemática não foi, como em 2003, a área predominante. Daí que os resultados desse ano se tivessem restringido a apenas duas das quatro subescalas de literacia matemática: espaço e forma, mudança e relações. No panorama internacional, uma vez analisados os valores médios do conjunto dos 25 países participantes de que existem dados nos dois estudos, verifica-se que não há diferenças assinaláveis entre os valores de 2000 e os de 2003, no que respeita à subescala espaço e forma. Uma vez discriminados os valores médios de desempenho nos vários países, assinala-se, no entanto, a presença de alguma variação, como se pode constatar por observação das Figuras 8 e 9. Já em relação aos valores médios na subescala mudança e relações a situação é diferente. O desempenho médio nos países da OCDE subiu de 489 para 499 pontos. No entanto, as variações foram, uma vez mais, muito heterogéneas nos vários países da OCDE. Figura 8. Diferenças entre o desempenho médio no PISA 2003 e no PISA 2000 em literacia matemática - subescala Espaço e Forma Média no PISA 2003 Média no PISA 2000 Países estatisticamente com melhor desempenho : - no PISA 2000, no intervalo de confiança a 90 % + no PISA 2003, no intervalo de confiança a 90 % -- no PISA 2000, no intervalo de confiança a 95 % ++ no PISA 2003, no intervalo de confiança a 95 % --- no PISA 2000, no intervalo de confiança a 99 % +++ no PISA 2003, no intervalo de confiança a 99 % o Países sem diferença estatisticamente significativa entre o PISA 2003 e o PISA Iceland -- Mexico -- Denmark - Australia o Austria o Canada o Finland o France o Greece o Hungary o Ireland o Japan o New Zealand o Norway o Portugal o Spain o Sweden o Switzerland o United States o Liechtenstein o Russian Federation o Germany + Korea + Hong Kong-China + Czech Republic ++ Italy ++ Poland ++ Thailand ++ Belgium +++ Brazil +++ Indonesia +++ Latvia +++ A apresentação dos países está feita de acordo com a ordenação crescente da diferença de desempenho entre o PISA 2003 e o PISA Fonte OECD, 2004a. 19

21 Figura 9. Diferenças entre o desempenho médio no PISA 2003 e no PISA 2000 em literacia matemática - subescala Mudança e Relações Média no PISA 2003 Média no PISA 2000 Países estatisticamente com melhor desempenho : - no PISA 2000, no intervalo de confiança a 90 % + no PISA 2003, no intervalo de confiança a 90 % -- no PISA 2000, no intervalo de confiança a 95 % ++ no PISA 2003, no intervalo de confiança a 95 % --- no PISA 2000, no intervalo de confiança a 99 % +++ no PISA 2003, no intervalo de confiança a 99 % o Países sem diferença estatisticamente significativa entre o PISA 2003 e o PISA Thailand -- Australia o Austria o Denmark o France o Greece o Iceland o Ireland o Italy o Japan o Mexico o New Zealand o Norway o Sweden o United States o Hong Kong-China o Indonesia o Russian Federation o Switzerland + Finland ++ Hungary ++ Spain ++ Belgium +++ Canada +++ Czech Republic +++ Germany +++ Korea +++ Poland +++ Portugal +++ Brazil +++ Latvia +++ Liechtenstein +++ A apresentação dos países está feita de acordo com a ordenação crescente da diferença de desempenho entre o PISA 2003 e o PISA Fonte OECD, 2004a. Em Portugal, quando comparamos os resultados médios dos nossos alunos nestas duas subescalas, constatamos que em ambas existiu uma ligeira melhoria, que se mostrou significativa. Na subescala espaço e forma, estas pontuações passaram de 440 para 450 pontos; na subescala mudança e relações, a mudança nos valores médios foi de 448 para 468 pontos. Verificamos que as maiores variações ocorreram no conjunto dos alunos com piores desempenhos na avaliação de espaço e forma. Na avaliação de mudança e relações a melhoria ocorreu de forma homogénea ao longo da subescala (Anexos H, I, J, K). Convém, no entanto, salientar que a interpretação desta melhoria deve ser feita com algum cuidado. Em primeiro lugar, porque se trata da comparação de apenas dois pontos no tempo, não se podendo ainda falar em tendências. Em segundo lugar, temos de ter em conta que, enquanto em 2000 participaram alunos do 5º ao 11º anos de escolaridade, em 2003 foram apenas seleccionados alunos entre o 7º e o 11º anos. Sabemos que, para alunos com a mesma idade, os desempenhos médios são tanto mais baixos quanto mais recuado é o ano de escolaridade que frequentam. Daí que se 20

22 esperasse já algum efeito, nos resultados portugueses, da alteração introduzida. No nosso país, como sabemos, os estudantes com a mesma idade frequentam anos de escolaridade muito variados, situação essa pouco frequente entre os restantes países da OCDE. Uma outra diferença que se deve registar é a inexistência, em 2003, de diferenças entre os desempenhos médios nas regiões (NUT II), ao contrário do que sucedera em Desempenho Médio na Escala Global de Literacia Matemática e Contexto Socioeconómico dos Vários Países O contexto socioeconómico apresenta uma grande variação de país para país, isto é, as circunstâncias económicas e os recursos que os vários países destinam à educação apresentam uma grande diversidade. As duas figuras seguintes apresentam o posicionamento relativo de cada um dos países participantes, tendo simultaneamente em consideração o desempenho global médio dos alunos em literacia matemática, o rendimento nacional (Figura 10) e o investimento em educação (Figura 11). Os valores de rendimento nacional são representados pelo PIB per capita, em 2002, ajustado para diferenças do poder de compra. Figura 10. Desempenho dos alunos e Rendimento Nacional Relação entre desempenho em literacia matemática e PIB per capita, em dólares americanos, ajustado para as diferenças do poder de compra. Desempenho em matemática Slovak Republic Poland Korea New Zealand Czech Republic Hungary Spain Finland Netherlands Japan Canada Australia Belgium Switzerland Iceland France Sweden Denmark Germany Austria Ireland Norway United States 450 Portugal Greece Italy Turkey 400 Mexico 350 R 2 = ,000 10,000 15,000 20,000 25,000 30,000 35,000 40,000 PIB per capita Fonte OECD, 2004a. 21

23 Figura 11. Desempenho dos alunos e gastos por aluno Relação entre desempenho em literacia matemática e despesa acumulada em instituições de educação, por aluno, entre os 6 e 15 anos, em dólares americanos, ajustada para as diferenças do poder de compra. Desempenho em matemática Czech Republic Slovak Republic Poland Hungary Korea Ireland Finland Netherlands Japan Canada Australia Germany Spain Sweden France Belgium Switzerland Iceland Denmark Austria Norway United States 450 Greece Portugal Italy 400 Mexico R 2 = ,000 20,000 30,000 40,000 50,000 60,000 70,000 80,000 90, ,000 Despesa acumulada per capita Fonte OECD, 2004a. Constata-se que existe uma associação positiva entre os dois tipos de variáveis, isto é, que, de uma maneira geral, recursos económicos mais elevados estão associados a melhores resultados no PISA. No entanto, está a falar-se apenas de uma linha de tendência. Se compararmos os desempenhos médios de dois países próximos, em termos de rendimento nacional (e o mesmo é verdade para o investimento em educação), como Portugal e a Coreia, notamos a enorme disparidade entre os desempenhos médios dos respectivos alunos de 15 anos. Se procurássemos ajustar o desempenho médio de cada país àquele que seria de esperar se as condições sociais e económicas fossem médias, haveria alteração da situação relativa já apresentada. Na Figura 12, apresentam-se os resultados de vários ajustamentos possíveis. 22

24 Figura 12. Indicadores económicos e sociais e relação com o desempenho a matemática Países Desempenho médio na escala global de literacia matemática PIB per capita (em dólares americanos, ajustado para as diferenças do poder de compra) Indicadores socioeconómicos Percentagem da população de 35 a 44 anos com, pelo menos, a educação secundária Média do índice socioeconómico e cultural do PISA (ESCS) Despesa acumulada por aluno entre os 6 e os 15 anos de idade (em dólares americanos, ajustada para as diferenças do poder de compra) Desempenho médio na escala de literacia matemática, ajustado pelo PIB per capita Desempenho ajustado na escala global de matemática Desempenho médio na escala de literacia matemática ajustado pelo PIB per capita e educação alcançada Desempenho médio na escala de literacia matemática, ajustado pela média do índice socioeconómico e cultural do PISA Desempenho médio na escala de literacia matemática, ajustado pela despesa acumulada por aluno, entre os 6 e os 15 anos de idade Alemanha , Austrália , Áustria , Bélgica , Canadá , Coreia , Dinamarca , E. U. A , Espanha , Finlândia , França , Grécia , Hungria , Irlanda , Islândia , Itália , Japão , Luxemburgo 493 w w w w w w w w México , Noruega , Nova Zelândia ,21 m m Países Baixos , Polónia , Portugal , República Checa , República da Eslováquia , Suécia , Suíça , Turquia ,98 m m Reino Unido 1 m m m m m m m m m 1. A taxa de resposta é demasiado baixa para poder assegurar comparabilidade. Fonte: OECD, 2004a.

25 Como se pode ver, vários países cujo PIB per capita é menos elevado alteram substancialmente a sua posição relativamente aos restantes, uma vez feito o ajustamento para o rendimento nacional. No caso de Portugal, o desempenho médio passaria de 466 para 479 pontos. Se se tiver simultaneamente em linha de conta o nível de educação alcançado pelos pais dos alunos, na hipótese de ele ser médio, as alterações seriam ainda maiores. No caso de Portugal, o desempenho médio estimado passaria para 521 pontos, em vez dos 466 realmente obtidos. Desempenho na Escala Global de Literacia Matemática por Género Sexual Em todos os países participantes, com excepção da Islândia, em que eram significativas as diferenças entre os desempenhos médios dos rapazes e os das raparigas, aqueles suplantaram estas, como se pode observar na Figura 13. Esta tendência é a mesma em todas as subescalas, embora no conteúdo incerteza a Indonésia tenha revelado, a par da Islândia, valores médios mais elevados por parte das raparigas. 24

26 Figura 13. Desempenho médio em matemática - diferenças por género sexual Diferenças de classificação nas subescalas de literacia matemática Diferenças estatisticamente significativas Diferenças estatisticamente não significativas Matemática - Escala global Matemática - Espaço e Forma Matemática - Mudança e Relações Matemática - Quantidade Matemática - Incerteza Liechtenstein Korea Macao-China Greece Slovak Republic Italy Luxembourg Switzerland Denmark Brazil Turkey Czech Republic Ireland New Zealand Portugal Tunisia Uruguay Canada Mexico Russian Federation Germany Spain France Japan Hungary Austria Belgium Finland Sweden United States Norway Poland Australia Netherlands Hong Kong-China Indonesia Latvia Serbia Thailand Iceland Melhor desempenho feminino Melhor desempenho masculino Melhor desempenho feminino Melhor desempenho masculino Melhor desempenho feminino Melhor desempenho masculino Melhor desempenho feminino Melhor desempenho masculino Melhor desempenho feminino Melhor desempenho masculino Fonte: OECD, 2004a.

27 À semelhança do que sucedeu em 2000, em que o desempenho médio dos rapazes superava o das raparigas, os respondentes portugueses, em 2003, revelam ter melhor desempenho médio do que as suas colegas, em todas as subescalas de literacia matemática. Desempenho na Escala Global de Literacia Matemática por Ano de Escolaridade O ano de escolaridade está muito fortemente associado ao desempenho dos alunos (p<0.001), como se pode observar na Figura 14. Figura 14. Desempenho médio na escala global de literacia matemática, por ano de escolaridade Desempenho médio em literacia matemática Média da OCDE Média Nacional Ano de Escolaridade As barras representam o erro padrão da média, e as esferas representam a proporção de elementos na amostra nacional. Tal como se verificou no PISA 2000 e em todos os estudos internacionais em que Portugal participou (Ramalho, 2003), no PISA 2003, os alunos a frequentarem anos de escolaridade inferiores ao 10º ano, seguramente devido a repetição de um ou mais anos, estão claramente afastados dos seus colegas que seguem o percurso sem retenção. Os valores de desempenho médio, por ano de escolaridade, são, aliás, tanto mais baixos quanto menos elevados são os anos de escolaridade. 26

28 Desempenho na Escala Global de Literacia Matemática, Natureza Pública ou Privada da Escola e sua Organização Alguns aspectos, relativos à natureza pública ou privada da escola e à sua organização, captados pelos questionários dirigidos às escolas e respondidos por membros dos seus Conselhos Executivos são relevantes para uma melhor compreensão das diferenças reveladas pelos resultados do PISA Escolas públicas e escolas privadas No conjunto dos membros da OCDE, a percentagem média dos alunos que frequentam escolas públicas é de 83%, e estes alunos têm, em média, desempenhos inferiores aos dos seus colegas que frequentam escolas privadas. Em Portugal, 93% dos alunos da amostra frequentam escolas públicas, e a média destes (494 pontos) não é significativamente diferente da dos que frequentam escolas privadas (459 pontos) (OECD, 2004a: Tabela 5.19). Práticas de monitorização dos professores Portugal é o país da OCDE que tem menos responsáveis pelas escolas a declararem que observam as aulas dos professores que nelas leccionam. Concretamente, no nosso país apenas 5% dos alunos da amostra frequentam estabelecimentos de ensino em que existe monitorização de aulas. Na OCDE, essa percentagem é, em média, de 61%. Quando contrastamos os desempenhos médios dos alunos portugueses das escolas em que existe essa observação de aulas com aqueles em que tal prática não tem lugar, verificamos que os 18 valores da diferença são favoráveis às escolas em que existe monitorização, e estão entre os mais altos da OCDE, em que a média da diferença é de 12 valores (OECD, 2004a: Tabela 5.16). Esses valores não são, no entanto, significativamente diferentes de zero, dada a dispersão elevada existente nestes grupos de alunos. Infra-estruturas e recursos educacionais nas escolas Tanto a qualidade das infra-estruturas físicas, como a dos recursos educacionais da escola têm valor médio igual ao da OCDE e não revelam estar associados, no nosso país, a um desempenho diferenciado dos alunos que a frequentam (OECD, 2004a: Tabelas 5.17 e 5.18). 27

29 Clima de escola O clima de escola foi avaliado junto, dos responsáveis de cada escola, através de várias perguntas incluídas no questionário que lhes foi dirigido. Os resultados obtidos revelam que, em Portugal, tanto as faltas à escola dos alunos, como a sua ausência das aulas são considerados factores muito negativos para as suas aprendizagens. Pelo contrário, na opinião dos respondentes, aspectos tais como a disrupção das aulas, a falta de respeito pelos professores, a violência entre os alunos e o uso de álcool ou de drogas ilegais não têm tanto impacto nos desempenhos escolares. (OECD, 2004a: Tabela 5.2b). Factores relacionados com os professores Os responsáveis pelas escolas que preencheram os questionários enfatizam, mais do que os seus colegas da área da OCDE, as expectativas baixas dos professores relativamente aos seus alunos, o absentismo dos professores e a resistência à mudança como factores com impacto negativo real nas aprendizagens dos alunos portugueses (OECD, 2004a: Tabela 5.4b). Desempenho na Escala Global de Literacia Matemática e Situação Socioeconómica dos Alunos Esta secção examina a relação entre o desempenho dos alunos na escala de literacia matemática e os seus antecedentes socioeconómicos, medidos no PISA por um índice de status económico, social e cultural. Quando temos em consideração o índice de ocupação profissional dos pais (o valor mais alto do pai ou da mãe) verificamos, em primeiro lugar, que esse índice (43) é, em Portugal, inferior ao valor médio do dos países membros da OCDE (49). Em segundo lugar, quando analisamos a percentagem de variabilidade do desempenho dos alunos explicada por este índice, constatamos que essa percentagem é, no caso português de 14.9%, tendo na OCDE o valor médio de 11.7%. A situação de ocupação profissional dos pais tem, em consequência, um maior impacto em Portugal do que em média, nos países da OCDE. É, no entanto, interessante observar a variabilidade existente: os países onde a relação parece ser mais forte são, de acordo com os dados, a Hungria (16.9% de variância explicada), a Alemanha (15.5%) e a Bélgica 15.3%); no pólo oposto temos a Islândia (2.7%), o Japão (4.4%) e a Coreia (5.5%) (OECD, 2004: Tabela 4.2a). O nível de educação dos pais está também relacionado com o desempenho dos alunos no PISA. Em todos os países participantes, o nível de educação da mãe revela, em particular, uma correlação positiva e significativa com o desempenho dos filhos. Quando comparamos a situação portuguesa com a dos restantes países envolvidos, verificamos que, enquanto na OCDE, em média, na OCDE existem 26% de mães com a escolaridade máxima correspondente ao 6º ano de escolaridade, em Portugal, essa 28

30 percentagem é de 63%. O desempenho médio dos alunos deste grupo é, em Portugal, de 453 valores (458 em média na OCDE); em contraponto, estão 22% de alunos portugueses de 15 anos, cujas mães têm um diploma de licenciatura ou de mestrado com um desempenho médio claramente superior, de 494 pontos (532, em média, na OCDE). A língua falada em casa faz a diferença: na maior parte dos países onde 3%, ou mais, dos estudantes de 15 anos fazem uso, em casa, de uma língua diferente daquela em que são instruídos na escola, o desempenho médio é-lhes desfavorável, quando comparado com o dos estudantes que não estão nessas condições. Em Portugal, a percentagem de alunos que não falam a mesma língua, em casa e na escola, incluídos na amostra foi muito pequena, razão pela qual não se apresentam estatísticas associadas (OECD, 2004a: fig. 4.3). 29

31 Quando, na análise, se tem em conta o local de nascimento do alunos, verifica-se que o desempenho médio apresenta valores superiores nos estudantes que nasceram no país, seguindo-se-lhes os alunos de primeira geração e, finalmente, os estudantes não nativos, como se pode ver na Figura 15. Figura 15. Local de nascimento e desempenho dos alunos na escala global de literacia matemática Escala da esquerda Escala da direita Macao-China Hong Kong-China Luxembourg Australia Canada Switzerland New Zealand Liechtenstein Germany United States France Russian Federation Austria Belgium Sweden Netherlands Latvia Serbia Greece Denmark Norway Portugal United Kingdom1 Percentagem de não nativos e primeira geração de alunos (escala da esquerda): Percentagem de alunos de primeira geração Percentagem de alunos não nativos Percentagem de não nativos e primeira geração de alunos (escala da esquerda): Desempenho médio de alunos nativos na escala global de matemática Desempenho médio de alunos de primeira geração na escala global de matemática Desempenho médio de alunos não nativos na escala global de matemática 1. A taxa de resposta é muito baixa para assegurar comparabilidade. Nota: Inclui os países com pelo menos 3 por cento de alunos em pelo menos uma das categorias. Fonte OECD, 2004a. Em Portugal, a percentagem de alunos nativos (95%) é superior à da OCDE (91%). A média do desempenho em literacia matemática destes alunos é, no nosso país de 470 pontos (na OCDE é de 505); entre os alunos de primeira geração (2.3% em Portugal, 4.0% na OCDE) estes valores baixam, no nosso país, para 440 pontos (481 na OCDE) (OECD; 2004a: Tabela 4.2f). 30

32 A Figura 16 ilustra a relação global existente entre o desempenho dos alunos em literacia matemática e os antecedentes socioeconómicos para toda a área da OCDE. Figura 16. Relação entre o desempenho dos alunos na escala global de matemática e os antecedentes socioeconómicos para a OCDE Gradiente socioeconómico na área da OCDE Nível 6 Nível 5 Nível 4 Nível 3 Nível 2 Nível 1 Abaixo do Nível Status económico, social e cultural * Cada ponto representa 538 alunos da área da OCDE. Fonte OECD, 2004a. Cada ponto neste gráfico representa 538 alunos de 15 anos. A linha colorida representa o gradiente socioeconómico internacional, que é a linha que melhor se ajusta ao conjunto de pontos figurado e que ilustra a associação entre desempenho em matemática e estatuto socioeconómico. Pode afirmar-se que, de uma forma geral, alunos com melhores antecedentes socioeconómicos têm melhores desempenhos. A relação entre estas duas variáveis não é, no entanto, determinística, uma vez que muitos alunos com condições desvantajosas (zona esquerda da figura) têm desempenhos muito melhores do que aqueles que se poderiam prever, utilizando os valores correspondentes à linha desenhada. A compreensão desta relação é importante na análise da distribuição de oportunidades educacionais nos vários países. A inclinação da linha, o gradiente socioeconómico, é uma indicação, nesse país, da desigualdade do desempenho atribuível a factores socioeconómicos. O comprimento dessa mesma linha é determinado pela amplitude dos níveis socioeconómicos entre o 5º e o 95º percentil de cada país. 31

33 A Figura 17 apresenta os gradientes correspondentes a dois conjuntos de países: aqueles em que o desempenho médio é significativamente superior à média da OCDE e aqueles em que o desempenho médio é significativamente inferior à média da OCDE, mas em que o impacto dos antecedentes socioeconómicos não é diferente da média. Portugal é um exemplo dos países deste segundo grupo. Quando comparamos os dois gráficos da figura, notamos que as linhas dos dois grupos se distinguem em várias características. No primeiro grupo: - essas linhas iniciam-se em valores mais elevados do que as do segundo grupo (não existem factores socioeconómicos tão desvantajosos); - os valores de desempenho entre os quais se definem são mais elevados (os seus alunos têm melhores resultados); - as linhas são muito próximas de serem segmentos rectilíneos (o impacto dos factores socioeconómicos é o mesmo para os vários níveis socioeconómicos). Mais especificamente, nos países do segundo grupo, que Portugal integra, as linhas têm pouca inclinação para os níveis socioeconómicos mais baixos e passam a ser mais inclinadas nos níveis mais elevados. Isto é, no grupo dos alunos mais bem preparados, os antecedentes familiares têm mais implicações nos resultados do PISA 32

34 Figura 17. Relação entre o desempenho dos alunos em literacia matemática e o impacto do panorama socioeconómico de cada país Impacto do panorama socioeconómico: acima da média da OCDE abaixo da média da OCDE sem diferença da média da OCDE Desempenho b. Países com desempenho médio estatisticamente acima da média da OCDE Belgium 1. Hong Kong- 2. Macao- 3. Finland 4. Canada 5. Japan 6. Australia 7. Iceland Nível 6 Nível 5 Nível Nível Nível Nível 1 Abaixo nível Status económico, social e cultural Desempenho e. Países com desempenho médio estatisticamente abaixo da média da OCDE Poland 2. Luxembourg 3. United States 4. Turkey 5. Portugal 6. Greece 7. Uruguay 8. Mexico 9. Brazil 10. Tunisia Nível 6 Nível 5 Nível Nível Nível Nível 1 4 Abaixo nível Status económico, social e cultural Fonte OECD, 2004a.

35 Para responder a esta questão, elaborámos os perfis destes estudantes recorrendo, por um lado, a atitudes e características dos alunos e dos contextos familiares em que estão inseridos e, por outro lado, a características das escolas que frequentam. Os dados de que partimos correspondem a respostas dadas pelos alunos aos questionários que eles próprios preencheram. Não são, por consequência, medidas obtidas através de observação. Características e atitudes dos alunos aprendentes de Matemática Comecemos pelos perfis traçados com base nas atitudes e nas características dos alunos, perfis que estão ilustrados na Figura 18. Figura 18. Perfil pessoal dos alunos no nível de proficiência 1 ou inferior e dos alunos no nível 4 ou superior. Proficiência <= 1 Proficiência >= 4 Interesse pela Matemática 1 Estratégias de controlo Motivação instrumental para a Matemática 0.5 Estratégias de elaboração 0 Atitude face à escola -0.5 Estratégias de memorização Sentimento de pertença à escola Ansiedade com a Matemática Autoconceito Auto-eficácia Os valores expressos são percentagens das médias relativamente ao máximo das escalas Como se pode observar, há, no PISA, diferenças significativas entre o grupo de alunos com melhores pontuações e o grupo de alunos com piores pontuações, em todas as variáveis estudadas (p<0.001). Uma apresentação mais detalhada dos conceitos envolvidos está presente na Figura

36 Figura 19. Características e atitudes dos alunos enquanto estudantes de matemática Categoria das características e fundamentação A. Factores de motivação e atitudes gerais face à escola A motivação é muitas vezes considerada a força motriz por detrás da aprendizagem. É possível distinguir-se motivos que derivam de recompensas externas por um bom desempenho, tais como elogios ou perspectivas futuras, de motivos gerados internamente, tal como o interesse em áreas disciplinares (Deci and Ryan, 1985; Schiefele, 2001). As atitudes mais genéricas dos estudantes face à escola e a sua sensação de pertença à escola também foram consideradas como previsões dos resultados da aprendizagem tanto quanto como importantes resultados da educação em si. B. Convicções sobre a matemática auto-impostas Os estudantes formam representações mentais sobre a sua competência e as suas características de aprendizagem, que exercem um impacto considerável sobre o modo como estabelecem metas, sobre as estratégias que usam e sobre os resultados obtidos (Zimmerman, 1999). Há duas maneiras de definir estas convicções: em termos do modo como os estudantes pensam que conseguem lidar com tarefas, mesmo que difíceis auto-eficácia (Bandura, 1994); e em termos da confiança nas suas próprias capacidades autoconceito (Marsch, 1993). Estas duas idealizações estão intimamente associadas entre si, não obstante serem diferentes. As convicções auto-impostas são muitas vezes referidas em termos de autoconfiança, o que indica que são convicções positivas. Características dos estudantes utilizadas na construção de uma escala para descrever os resultados 1. Interesse e prazer na matemática. Questionou-se os estudantes quanto ao seu interesse pela matemática como disciplina, bem como sobre o prazer na aprendizagem da matemática. O interesse e o prazer numa disciplina são uma orientação relativamente estável que afecta a intensidade e a continuidade do empenho em situações de aprendizagem, selecção de estratégias e profundidade da compreensão. 2. Motivação instrumental para a matemática. Perguntou-se aos estudantes até que ponto são encorajados a aprender, a partir de recompensas externas, tais como boas perspectivas de emprego. Os estudos longitudinais (p.ex., Wigfield, Eccles and Rodriguez, 1998) demonstram que este tipo de motivações influencia tanto as escolhas ao nível dos estudos como o próprio desempenho. 3. Atitude face à escola. Pediu-se aos estudantes que pensassem sobre o que tinham aprendido na escola, relativamente ao modo como a escola os tinha preparado para a vida adulta, lhes tinha incutido confiança para tomarem decisões, lhes tinha ensinado coisas que lhes pudessem ser úteis nos seus empregos ou se fora uma perda de tempo. 4. Sentimento de pertença à escola. Pediu-se aos estudantes que exprimissem as suas percepções sobre a escola como um local onde se sentiam como estranhos, faziam amigos facilmente, sentiam que lá pertenciam, se sentiam mal e deslocados ou solitários. 5. Auto-eficácia na matemática. Perguntou-se aos estudantes até que ponto acreditavam na sua própria capacidade de lidar eficazmente com situações de aprendizagem da matemática, superando dificuldades. Este aspecto afecta a disposição com que os estudantes assumem os desafios das tarefas e se esforça e persistem em enfrentá-las, o que, deste modo, terá um impacto fulcral na motivação (Bandura, 1994). 6. Autoconceito na matemática. Perguntou-se aos estudantes se acreditavam na própria competência matemática. Acreditar-se nas próprias capacidades é um factor altamente relevante para uma aprendizagem bem sucedida (Marsch, 1986), do mesmo modo que, por si só, é um objectivo. Em ambos os casos, a autoconfiança traz benefícios importantes à motivação e ao modo como os estudantes abordam as tarefas de aprendizagem. C. Factores emocionais na matemática O facto de os alunos evitarem a matemática por questões de pressão emocional é uma constatação generalizada a muitos países. Há estudos que tratam esta idealização como uma parte das atitudes globais face à matemática, apesar de geralmente não 7. Ansiedade com a matemática. Perguntou-se aos estudantes até que ponto se sentem desamparados ou sofrem de pressão emocional quando lidam com matemática. Os efeitos da ansiedade na matemática são indirectos, caso os conhecimentos auto-relacionadas sejam tidos em consideração (Meece, Wigfield and Eccles, 1990). 35

37 se incluir esta idealização entre as variáveis ao nível das atitudes. D. Estratégias dos estudantes para a aprendizagem da matemática As estratégias de aprendizagem são os planos que os estudantes seleccionam para atingirem os seus objectivos: esta capacidade distingue os alunos que conseguem regular a sua aprendizagem (Zimmerman and Schunk, 2001; Brown et al., 1983). As estratégias cognitivas que requerem capacidades de processamento de informação incluem a memorização e a elaboração, mas não estão limitadas às mesmas. As estratégias «metacognitivas», que implicam a regulação consciente da própria aprendizagem, são extraídas do conceito de estratégias de controlo. 8. Estratégias de memorização. Perguntou-se aos estudantes se, na matemática, usavam estratégias de aprendizagem que envolvessem representações de conhecimentos e procedimentos guardados na memória e que foram pouco ou nada processadas. 9. Estratégias de elaboração. Perguntou-se aos estudantes se, na matemática, usavam estratégias de aprendizagem que envolvessem relacionar material novo com aprendizagens antigas. Ao explorarem o modo como o conhecimento aprendido noutros contextos se relaciona com o material novo, os estudantes adquirem um maior grau de compreensão do que através da simples memorização. 10. Estratégias de controlo. Perguntou-se aos estudantes se, na matemática, usavam estratégias de aprendizagem que envolvessem a verificação do que aprenderam e a organização do que ainda têm de aprender, permitindo aos estudantes adaptarem a sua aprendizagem à tarefa em mãos. Estas estratégias são usadas para assegurar que se atinge os objectivos de aprendizagem e estão no cerne das abordagens à aprendizagem testadas pelo PISA. O sentimento de auto-eficácia e o autoconceito surgem como as variáveis que mais diferenciam os dois grupos de estudantes, sendo mais elevados nos estudantes com melhores desempenhos. Neste grupo existem também valores mais elevados de interesse pela matemática, de motivação instrumental por esta disciplina, de um sentimento de pertença à escola e de uma atitude favorável face à escola. Pelo contrário, a ansiedade relativamente à matemática é mais elevada entre os alunos com piores desempenhos. É interessante salientar que, tal como já sucedera em 2000 com a leitura, Portugal apresenta um dos valores médios mais elevados de interesse pela matemática, de acordo com as declarações dos alunos. Entre os países da OCDE, apenas o México, a Turquia e a Dinamarca têm valores mais elevados. No pólo oposto encontram-se os estudantes do Japão, da Áustria, do Luxemburgo e da Finlândia, que têm os valores médios mais baixos de interesse pela matemática. Em Portugal, o sentimento de pertença à escola está mais relacionado com o desempenho dos alunos do que em qualquer outro país da OCDE. A variação no desempenho em literacia matemática, explicada por este factor, é a mais elevada (2.8%) (OECD, 2004: Tabela 3.5a). De assinalar também a distância a que se encontram as estratégias de estudo que os dois grupos de desempenho utilizam: tal como sucedeu no PISA 2000, os alunos com melhor desempenho, neste caso, em literacia matemática, usam mais estratégias de controlo e de elaboração. Pelo contrário, os alunos com pior desempenho utilizam mais estratégias de memorização. 36

38 Contexto familiar Passemos agora às características familiares dos dois grupos atrás definidos, características essas patentes na Figura 20. Figura 20. Perfil familiar dos alunos no nível de proficiência 1, ou inferior, e dos alunos no nível de proficiência 4 ou superior. Proficiência <= 1 Proficiência >= 4 Bens culturais da família Nível de educação dos pais -0.5 Recursos educacionais da família Status de ocupação profissional dos pais Os valores expressos são percentagens das médias relativamente ao máximo das escalas. No PISA 2003 e no que respeita a literacia matemática, verifica-se que são os bens culturais de família que mais discriminam os alunos com melhores desempenhos dos que revelam piores desempenhos, tal como se verificou no PISA Do mesmo modo, melhores recursos educacionais, níveis de educação e status profissional mais elevados estão, também neste estudo, associados a melhores resultados. Contexto escolar A Figura 21 ilustra os perfis dos alunos no que respeita às apreciações que fizeram das suas escolas, diferenciados pelo seu desempenho no PISA

39 Figura 21. Perfil escolar dos alunos no nível de proficiência 1, ou inferior, e dos alunos no nível de proficiência 4, ou superior. Proficiência <= 1 Proficiência >= 4 Ambiente disciplinar nas aulas de Matemática Tempo dedicado aos trabalhos de casa de Matemática -0.5 Relações aluno-professor na escola Ajuda do professor nas aulas de Matemática Os valores expressos são percentagens das médias relativamente ao máximo das escalas. Podemos constatar que o ambiente disciplinar nas aulas de Matemática discrimina os melhores dos piores desempenhos (p<0.001). Mais precisamente, os alunos com piores resultados avaliam mais positivamente o ambiente disciplinar do que os que têm melhores resultados. Verifica-se também que, entre os alunos menos proficientes, é dedicado mais tempo à realização de trabalhos de casa (p<0.001). Estes alunos apreciam mais o relacionamento existente entre os professores e os estudantes bem como o apoio que deles recebem. Itens de Matemática e Currículo Nacional Os 84 itens do PISA, cuja divulgação foi autorizada, foram classificados tendo em conta o seu conteúdo ser ou não parte integrante do programa de Matemática do 2º e 3º ciclos do Ensino Básico português, em vigor em O trabalho resultante está exposto na Parte II deste relatório. Nessa classificação foi utilizada uma escala de 1 a 5, em que 1 significa ideias matemáticas envolvidas no item não contempladas no programa, e 5 significa ideias matemáticas envolvidas no item totalmente contempladas no programa. De uma forma geral, pode-se dizer que existe uma adequação razoável destes itens ao programa de Matemática então vigente. A média global das pontuações atribuídas nesta classificação é de 4.4, relativamente próxima do valor máximo, 5. 38

40 Dividindo esses itens pelos temas do programa, temos que aqueles em que a adequação parece ser maior são Funções e Álgebra e Números e Cálculo (valor médio de 4.5), seguidos de Estatística e Probabilidades (4.3) e, finalmente, de Geometria (3.9). Procurou-se, por outro lado, inquirir se existia uma relação entre a classificação obtida pelos alunos no final do 2º período em matemática e o seu desempenho na escala global de literacia matemática do PISA O valor apurado para o coeficiente de correlação (de Pearson) entre as duas variáveis foi Este valor, embora não sendo muito elevado, indica a existência de alguma relação entre as duas classificações dos estudantes. 39

41 DESEMPENHO DOS ALUNOS PORTUGUESES - LITERACIA EM CONTEXTO DE LEITURA No estudo PISA 2003, as áreas de leitura e de ciências tiveram um tempo de avaliação menor que a literacia matemática, como já foi referido. Daí que os resultados nesses dois domínios não sejam apresentados com uma profundidade idêntica à deste último. Esta secção descreve os resultados dos alunos portugueses de 15 anos relativamente aos dos seus colegas do espaço da OCDE e compara os desempenhos encontrados em 2003 com os que tinham sido verificados em No estudo PISA, a literacia de leitura foi definida como a capacidade de cada indivíduo compreender, usar textos escritos e reflectir sobre eles, de modo a atingir os seus objectivos, a desenvolver os seus próprios conhecimentos e potencialidades e a participar activamente na sociedade. O conceito de literacia de leitura é definido através de três dimensões: o formato do material de leitura, o tipo de tarefa de leitura, ou aspectos de leitura, e a situação, ou o uso que se pretende para o texto. Quanto ao formato, os textos podem ser contínuos (tipicamente compostos de frases que, por sua vez, estão organizadas em parágrafos) ou não-contínuos. Mais concretamente, foram incluídos textos contínuos, em prosa, de vários tipos: narrativos, expositivos e argumentativos. O PISA incluiu também listas, formulários, gráficos e diagramas. Quanto ao tipo de tarefa, os estudantes podem ser avaliados quanto à capacidade para extrairem e recuperarem determinada informação, para interpretarem aquilo que lêem e para reflectirem sobre e/ou avaliarem o conteúdo e o formato do texto, com base nos seus conhecimentos. No PISA 2000, foi criada uma escala para cada um destes tipos de tarefa. Como, em 2003, os itens de leitura foram em número bastante inferior, os resultados serão apresentados numa única escala que combina os três tipos de tarefa. A situação, ou contexto, reflecte a categorização dos textos baseada no seu conteúdo e na utilização pretendida pelo autor. As situações seleccionadas foram: uso privado, uso público, uso ocupacional e uso educacional. A escala de leitura do PISA 2003 está ancorada nos resultados da avaliação de Os 28 itens seleccionados para 2003 formam um subconjunto dos 141 itens utilizados em No conjunto dos 25 países da OCDE que participaram em 2000, os resultados, em 2003, em literacia em contexto de leitura permaneceram os mesmos. No entanto, dada a inclusão de novos países em 2003, a média sofreu uma pequena alteração (494 pontos em vez de 500). O desvio padrão permaneceu o mesmo e é de 100 pontos. 40

42 O estabelecimento de níveis de proficiência de leitura torna possível descrever o que os alunos identificados com cada um desses níveis podem fazer. A Figura 22 apresenta uma descrição sumária de cada um dos cinco níveis de proficiência. 41

43 Figura 22. Descrições sumárias dos cinco níveis de proficiência em literacia em contexto de leitura Extrair informação Interpretar Reflectir e avaliar Explicar o significado de linguagem com nuances ou demonstrar uma compreensão exaustiva e pormenorizada do texto. 5 Localizar e, possivelmente, pôr em sequência ou combinar várias partes de informação bastante implícita, em que algumas partes podem ser exteriores ao corpo principal do texto. Inferir que informação do texto é relevante para a tarefa. Lidar com informação profundamente plausível e/ou informação exaustiva acessória. Avaliar criticamente ou pôr hipóteses, remetendo para conhecimentos especializados. Lidar com conceitos contrários às expectativas e traçar uma compreensão profunda de textos longos ou complexos. Textos contínuos: Analisar textos cuja estrutura do discurso não seja óbvia e não esteja explicitamente marcada, a fim de discernir a relação entre partes específicas do texto e a sua intenção ou tema implícitos. Textos não contínuos: Identificar padrões entre as muitas partes de informação expostas, cuja apresentação pode ser longa e detalhada, por vezes referindo-se a informação externa à que está exposta. 4 Localizar e, possivelmente, pôr em sequência ou combinar várias partes de informação bastante implícita, em que cada parte pode ter de corresponder a vários critérios, num texto cujo contexto ou forma são familiares. Inferir que informação do texto é relevante para a tarefa. Usar um elevado nível de inferência baseada no texto, para compreender e aplicar categorias num contexto não familiar e para explicar o significado de uma secção de um texto, tendo em conta o texto como um todo. Lidar com ambiguidades, ideias que são contrárias às expectativas e ideias expressas de forma negativa. Usar conhecimentos formais ou comuns para pôr hipóteses sobre um texto ou para o avaliar criticamente. Demonstrar uma compreensão precisa de textos longos e complexos. Textos contínuos: Seguir ligações linguísticas ou temáticas ao longo de vários parágrafos do texto, frequentemente na ausência de marcadores discursivos claros, de forma a localizar, interpretar ou avaliar informação implícita ou a inferir o seu significado psicológico ou metafísico. Textos não contínuos: Escrutinar um texto longo e pormenorizado para descobrir informação relevante, frequentemente com pouca ou nenhuma ajuda de organizadores, tais como títulos ou grafismo especial, com o objectivo de localizar várias partes de informação que serão posteriormente comparadas ou combinadas. 3 Localizar e, em alguns casos, reconhecer a relação entre partes de informação, em que cada qual pode ter de corresponder a vários critérios. Lidar com informação eminentemente acessória. Combinar várias partes de um texto, de forma a identificar uma ideia principal, compreender uma relação ou explicar o significado de uma palavra ou expressão. Comparar, contrastar ou categorizar, tendo em conta muitos critérios. Lidar com informação acessória. Estabelecer ligações ou fazer comparações, fornecer explicações ou avaliar uma característica de um texto. Demonstrar uma compreensão exaustiva do texto em relação a conhecimentos familiares e da vida quotidiana; ou remeter para conhecimentos menos comuns. Textos contínuos: Usar convenções de organização textual, quando existem, e seguir ligações lógicas implícitas ou explícitas, tais como relações de causa e efeito, através de frases ou parágrafos do texto, de forma a localizar, interpretar ou avaliar informação. Textos não contínuos: Considerar um enunciado à luz de um segundo documento ou enunciado, possivelmente em formato diferente, ou combinar várias partes de informação espacial, verbal e numérica, num gráfico ou numa tabela, para retirar conclusões sobre a informação. 2 Localizar uma ou mais partes de informação, em que cada qual pode ter de corresponder a vários critérios. Lidar com informação acessória. Identificar a ideia principal num texto, compreender relações, formar ou aplicar categorias simples ou explicar o significado no âmbito de uma parte limitada do texto, em que a informação não é explícita e se requer inferências de nível inferior. Estabelecer ligações ou fazer comparações entre o texto e conhecimentos exteriores ao mesmo; ou explicar uma característica do texto remetendo para a experiência e as atitudes pessoais. 42

44 Textos contínuos: Seguir ligações lógicas e linguísticas no âmbito de um parágrafo para localizar ou interpretar informação, ou sintetizar informação, ao longo de textos ou partes de um texto, a fim de inferir o objectivo do autor. Textos não contínuos: Demonstrar compreensão de uma estrutura implícita de uma apresentação visual, tal como diagramas simples em forma de árvore ou tabelas, ou combinar duas partes de informação de um gráfico ou tabela. 1 Localizar uma ou mais partes independentes de informação explícita, em que cada qual, em geral, corresponde a um único critério, e o texto inclui pouca ou nenhuma informação acessória. Reconhecer o tema principal ou o objectivo do autor, num texto sobre um tópico familiar, em que a informação requerida não está explícita no texto. Estabelecer uma ligação simples entre informações do texto e conhecimentos comuns e da vida quotidiana. Textos contínuos: Usar a redundância, títulos de parágrafos ou convenções gráficas comuns para formar uma impressão da ideia principal do texto ou para localizar informação explícita, no âmbito de uma curta secção do texto. Textos não contínuos: Focar partes distintas de informação, em geral no âmbito de uma única apresentação, tal como um mapa simples, um gráfico de linhas ou um gráfico de barras. Na Figura 23, podemos observar a distribuição dos alunos, por nível de proficiência de leitura, no conjunto dos países participantes. Os países estão ordenados por ordem decrescente da percentagem de alunos nos níveis 3, 4 ou 5. Figura 23. Desempenho médio dos alunos em literacia em contexto de leitura - percentagem por nível de proficiência na escala global de leitura Abaixo do nível 1 Nível 1 Nível 2 Nível 3 Nível 4 Nível 5 Percentagem de alunos Finland Korea Canada Liechtenstein Australia Hong Kong-China Ireland New Zealand Sweden Netherlands Belgium Macao-China Switzerland Norway Japan France Poland Denmark United States Germany Iceland Austria Latvia Czech Republic Luxembourg Spain Hungary Portugal Italy Greece Slovak Republic Uruguay Russian Federation Turkey Brazil Thailand Mexico Serbia Tunisia Indonesia Os países estão ordenados por ordem decrescente de percentagem de alunos nos níveis 3, 4 e 5. Fonte OECD, 2004a. 43

45 Tal como em 2000, Portugal continua a ter uma percentagem demasiadamente elevada de alunos nos níveis inferiores: 48% dos nossos jovens de 15 anos têm nível de proficiência de leitura 2, ou inferior, enquanto essa percentagem, no espaço da OCDE, é de 42%. Se examinarmos agora, na Figura 24, o desempenho médio dos nossos alunos na escala de literacia em contexto de leitura, por comparação com os resultados médios da OCDE, verificamos que os alunos portugueses se situam, em média, abaixo da média da OCDE e muito distanciados dos valores dos países que obtiveram melhores classificações médias. 44

46 Figura 24. Comparações múltiplas do desempenho médio em literacia em contexto de leitura Escala de literacia de leitura Finlândia Coreia Canadá Austrália Liechtenstein Nova Zelândia Irlanda Suécia Países Baixos Hong Kong-China Bélgica Nouega Suíça Japão Macau-China Polónia Média S.E. (1,6) (3,1) (1,7) (2,1) (3,6) (2,5) (2,6) (2,4) (2,9) (3,7) (2,6) (2,8) (3,3) (3,9) (2,2) (2,9) (2,7) (3,2) (2,8) (1,6) (3,4) (3,8) (3,7) (3,5) (2,5) (2,6) (1,5) (3,7) (3,0) (4,1) (3,1) (3,9) (5,8) (3,4) (2,8) (3,6) (4,6) (4,1) (3,4) (2,8) Finlândia 543 (1,6) Coreia 534 (3,1) Canadá 528 (1,7) Austrália 525 (2,1) Liechtenstein 525 (3,6) Nova Zelândia 522 (2,5) Irlanda 515 (2,6) Suécia 514 (2,4) Países Baixos 513 (2,9) Hong Kong-China 510 (3,7) Bélgica 507 (2,6) Nouega 500 (2,8) Suíça 499 (3,3) Japão 498 (3,9) Macau-China 498 (2,2) Polónia 497 (2,9) França 496 (2,7) E. U. A. 495 (3,2) Dinamarca 492 (2,8) Islândia 492 (1,6) Alemanha 491 (3,4) Áustria 491 (3,8) Letónia 491 (3,7) República Checa 489 (3,5) Hungria 482 (2,5) Espanha 481 (2,6) Luxemburgo 479 (1,5) Portugal 478 (3,7) Itália 476 (3,0) Grécia 472 (4,1) República da Eslováquia 469 (3,1) Federação Russa 442 (3,9) Turquia 441 (5,8) Uruguai 434 (3,4) Tailândia 420 (2,8) Sérvia 412 (3,6) Brasil 403 (4,6) México 400 (4,1) Indonésia 382 (3,4) Tunísia 375 (2,8) Ordem possível* Países da OCDE Superior Inferior Todos os países Superior Inferior * Nota. Uma vez que os dados se baseiam em amostragens, não é possível indicar as posições exactas dos países na ordem dos desempenhos. É, todavia, possível indicar o intervalo de escalões em que a média do país se situa com 95 % de probabilidade. Instruções: Ler a linha de um determinado país para comparar o desempenho com o dos países apresentados no topo do gráfico. Os símbolos indicam se o desempenho médio do país nessa linha está significativamente abaixo do do país de comparação, significativamente acima do do país de comparação ou se não há estatisticamente diferença entre o desempenho médio dos dois países. França E. U. A. Dinamarca Islândia Alemanha Áustria Letónia República Checa Hungria Espanha Luxemburgo Portugal Itália Grécia Rep. da Eslováquia Federação Russa Turquia Uruguai Tailândia Sérvia Brasil México Indonésia Tunísia Sem o ajustamento de Bonferroni: Desempenho médio significativamente acima do do país de comparação Sem diferença estatisticamente significativa do do país de comparação Desempenho médio significativamente abaixo do do país de comparação Com o ajustamento de Bonferroni: Desempenho médio significativamente acima do do país de comparação Sem diferença estatisticamente significativa do do país de comparação Desempenho médio significativamente abaixo do do país de comparação Estatisticamente acima da média da OCDE Estatisticamente não diferente da média da OCDE Estatisticamente abaixo da média da OCDE Fonte: OECD, 2004a

47 Da observação da figura, salienta-se que não existe diferença no desempenho médio dos alunos portugueses quando comparados com os da Dinamarca, da Alemanha, da Áustria, da Letónia, da República Checa, da Hungria, da Espanha, do Luxemburgo, da Itália, da Grécia e da República da Eslováquia. Comparação dos Resultados Obtidos no PISA 2003 com os do Pisa 2000 A Figura 25 apresenta as diferenças nos desempenhos médios em leitura entre 2000 e Figura 25. Diferenças entre o desempenho médio, no PISA 2003 e no PISA 2000 em literacia em contexto de leitura Média no PISA 2003 Média no PISA 2000 Países estatisticamente com melhor desempenho : - no PISA 2000, no intervalo de confiança a 90 % + no PISA 2003, no intervalo de confiança a 90 % -- no PISA 2000, no intervalo de confiança a 95 % ++ no PISA 2003, no intervalo de confiança a 95 % --- no PISA 2000, no intervalo de confiança a 99 % +++ no PISA 2003, no intervalo de confiança a 99 % o Países sem diferença estatisticamente significativa entre o PISA 2003 e o PISA Japan --- Mexico --- Russian Fed. --- Austria --- Hong Kong-China --- Iceland --- Spain -- Italy -- Ireland -- Thailand - United States o France o New Zealand o Canada o Norway o Denmark o Czech Republic o Finland o Australia o Sweden o Greece o Belgium o Hungary o Switzerland o Brazil o Germany o Portugal o Korea + Indonesia + Poland +++ Latvia +++ Liechtenstein +++ A apresentação dos países está feita de acordo com a ordenação crescente da diferença de desempenho entre o PISA 2003 e o PISA Fonte OECD, 2004a. Como se pode observar na figura, a pequena diferença positiva que a amostra de 2003 revelou em relação à de 2000 não é significativa. 46

48 Desempenho na Escala de Literacia em Contexto de Leitura por Género Sexual Em todos os países participantes, com excepção do Liechtenstein em que a diferença não foi significativa, as raparigas têm um desempenho médio superior ao dos rapazes, como se pode ver na Figura 26. O nosso país não constitui excepção. Figura 26. Desempenho médio em literacia em contexto de leitura diferenças por género sexual no PISA 2003 e no PISA 2000 Diferenças no PISA 2003: Diferenças no PISA 2000: Estatisticamente significativas Estatisticamente não significativas Estatisticamente significativas Estatisticamente não significativas Diferenças na pontuação Melhor desempenho masculino Melhor desempenho feminino -60 Iceland Norway Austria Finland Serbia Thailand Germany Poland Italy Australia Uruguay Spain Latvia France Greece Belgium Sweden Portugal Switzerland Brazil Turkey Luxembourg Slovak Republic United States Hong Kong-China Canada Czech Republic Hungary Ireland Russian Federation New Zealand Denmark Tunisia Indonesia Japan Mexico Korea Liechtenstein Macao-China OECD average Netherlands1 1. A taxa de resposta é demasiado baixa para assegurar comparabilidade. Fonte OECD, 2004a. Desempenho na Escala de Literacia em Contexto de Leitura por Ano de Escolaridade Tal como se observou em literacia matemática, o ano de escolaridade está muito fortemente associado ao desempenho dos alunos, como mostra a Figura

49 Figura 27. Desempenho médio na escala global de literacia em contexto de leitura, por ano de escolaridade Desempenho médio em literacia de leitura Média da OCDE Média Nacional Ano de Escolaridade As barras representam o erro padrão da média e as esferas representam a proporção de elementos na amostra nacional. Como se pode observar na figura, os alunos a frequentarem anos de escolaridade inferiores ao 10º ano, seguramente devido a repetição de um ou mais anos, estão claramente afastados dos seus colegas que seguem o percurso sem retenção. Os valores de desempenho médio, por ano de escolaridade, são tanto mais baixos quanto menos elevados os anos de escolaridade. 48

50 DESEMPENHO DOS ALUNOS PORTUGUESES - LITERACIA CIENTÍFICA Como atrás se referiu, no estudo PISA 2003, as áreas de ciências e de leitura tiveram um tempo de avaliação menor do que a literacia matemática. Daí que os resultados nesses dois domínios não sejam apresentados com uma profundidade idêntica à deste último. Esta secção descreve os resultados dos alunos portugueses de 15 anos, em literacia científica relativamente aos dos seus colegas do espaço da OCDE, e compara os desempenhos encontrados em 2003 com os que tinham sido verificados em No estudo PISA, a literacia científica foi definida como a capacidade de cada indivíduo usar o conhecimento científico, de reconhecer questões científicas e de retirar conclusões baseadas em evidência, de forma a compreender e a apoiar a tomada de decisões acerca do mundo natural e das mudanças nele efectuadas através da actividade humana. A operacionalização desta definição passou pela identificação de três dimensões: processos (processos mentais envolvidos na resposta a um item), conteúdos (o conhecimento científico e a compreensão conceptual que é requerida no uso destes processos) e contextos (situações nas quais os processos são aplicados). Para uma visão mais detalhada destas dimensões, ver GAVE, Ao contrário de literacia matemática e de literacia de leitura, a escala de literacia científica não pode ainda ser definida em termos de níveis de proficiência. Isto só será possível a partir de 2006, quando esta área for predominante no PISA. Apresentamos, em seguida, o quadro comparativo dos desempenhos médios dos alunos de 15 anos em literacia científica. Na figura 28, estão representados os resultados médios dos estudantes dos países participantes, por ordem decrescente desses valores. 49

51 Figura 28. Comparações múltiplas do desempenho médio em literacia científica Escala de literacia científica Finlândia Japão Hong Kong-China Coreia Liechtenstein Austrália Macau-China Países Baixos República Checa Nova Zelândia Canadá Suíça França Bélgica Suécia Irlanda Média S.E. (1,9) (4,1) (4,3) (3,5) (4,3) (2,1) (3,0) (3,1) (3,4) (2,4) (2,0) (3,7) (3,0) (2,5) (2,7) (2,7) (2,8) (3,6) (2,9) (3,7) (1,5) (3,1) (3,4) (4,1) (3,9) (2,6) (3,1) (2,9) (1,5) (3,8) (3,0) (3,5) (2,9) (3,5) (5,9) (2,7) (3,5) (3,2) (4,3) (2,6) Finlândia 548 (1,9) Japão 548 (4,1) Hong Kong-China 539 (4,3) Coreia 538 (3,5) Liechtenstein 525 (4,3) Austrália 525 (2,1) Macau-China 525 (3,0) Países Baixos 524 (3,1) República Checa 523 (3,4) Nova Zelândia 521 (2,4) Canadá 519 (2,0) Suíça 513 (3,7) França 511 (3,0) Bélgica 509 (2,5) Suécia 506 (2,7) Irlanda 505 (2,7) Hungria 503 (2,8) Alemanha 502 (3,6) Polónia 498 (2,9) República da Eslováquia 495 (3,7) Islândia 495 (1,5) E. U. A. 491 (3,1) Áustria 491 (3,4) Federação Russa 489 (4,1) Letónia 489 (3,9) Espanha 487 (2,6) Itália 486 (3,1) Nouega 484 (2,9) Luxemburgo 483 (1,5) Grécia 481 (3,8) Dinamarca 475 (3,0) Portugal 468 (3,5) Uruguai 438 (2,9) Sérvia 436 (3,5) Turquia 434 (5,9) Tailândia 429 (2,7) México 405 (3,5) Indonésia 395 (3,2) Brasil 390 (4,3) Tunísia 385 (2,6) Ordem possível* Países da OCDE Superior Inferior Todos os países Superior Inferior * Nota. Uma vez que os dados se baseiam em amostragens, não é possível indicar as posições exactas dos países na ordem dos desempenhos. É, todavia, possível indicar o intervalo de escalões em que a média do país se situa com 95 % de probabilidade. Instruções: Ler a linha de um determinado país para comparar o desempenho com o dos países apresentados no topo do gráfico. Os símbolos indicam se o desempenho médio do país nessa linha está significativamente abaixo do do país de comparação, significativamente acima do do país de comparação ou se não há estatisticamente diferença entre o desempenho médio dos dois países. Hungria Alemanha Polónia Rep. da Eslováquia Islândia E. U. A. Áustria Federação Russa Letónia Espanha Itália Nouega Luxemburgo Grécia Dinamarca Portugal Uruguai Sérvia Turquia Tailândia México Indonésia Brasil Tunísia Sem o ajustamento de Bonferroni: Desempenho médio significativamente acima do do país de comparação Sem diferença estatisticamente significativa do do país de comparação Desempenho médio significativamente abaixo do do país de comparação Com o ajustamento de Bonferroni: Desempenho médio significativamente acima do do país de comparação Sem diferença estatisticamente significativa do do país de comparação Desempenho médio significativamente abaixo do do país de comparação Estatisticamente acima da média da OCDE Estatisticamente não diferente da média da OCDE Estatisticamente abaixo da média da OCDE Fonte: OECD, 2004a

52 Podemos constatar, em primeiro lugar, que, tal como em 2000, Portugal se encontra entre os países com resultados significativamente mais baixos do que a média da OCDE e muito distanciado dos países que obtiveram melhores classificações médias. Em segundo lugar, verificamos que esses resultados não diferem dos da Grécia e dos da Dinamarca. Comparação dos Resultados Obtidos no PISA 2003 com os do Pisa 2000 A Figura 29 ilustra as diferenças nos desempenhos médios em ciências, entre o PISA 2000 e o PISA Figura 29. Diferenças entre o desempenho médio no PISA 2003, e no PISA 2000, em literacia científica Média no PISA 2003 Média no PISA 2000 Países estatisticamente com melhor desempenho : - no PISA 2000, no intervalo de confiança a 90 % + no PISA 2003, no intervalo de confiança a 90 % -- no PISA 2000, no intervalo de confiança a 95 % ++ no PISA 2003, no intervalo de confiança a 95 % --- no PISA 2000, no intervalo de confiança a 99 % +++ no PISA 2003, no intervalo de confiança a 99 % o Países sem diferença estatisticamente significativa entre o PISA 2003 e o PISA Austria --- Norway --- Mexico --- Canada --- Korea -- Ireland o New Zealand o Thailand o Sweden o Denmark o United States o Spain o Australia o Japan o Iceland o Hong Kong-China o Indonesia o Hungary o Portugal o Italy + France ++ Poland ++ Belgium ++ Czech Republic ++ Brazil ++ Finland ++ Switzerland +++ Germany +++ Greece +++ Latvia +++ Russian Federation +++ Liechtenstein +++ A apresentação dos países está feita de acordo com a ordenação crescente da diferença de desempenho entre o PISA 2003 e o PISA Fonte OECD, 2004a. 51

53 Como se pode observar na figura, a pequena diferença positiva que a amostra de 2003 revelou, em relação à de 2000, não é significativa. Também em literacia científica não houve diferenças entre os desempenhos médios nas várias regiões, ao contrário do que sucedera em Desempenho na Escala de Literacia Científica por Género Sexual Da mesma forma que em 2000, existe um panorama misto no conjunto dos países, no que se refere à existência de diferenças em literacia científica entre rapazes e raparigas, como se pode apreciar na Figura 30. Figura 30. Desempenho médio em literacia científica diferenças por género sexual no PISA 2003 e PISA 2000 Diferenças no PISA 2003: Diferenças no PISA 2000: Estatisticamente significativas Estatisticamente não significativas Estatisticamente significativas Estatisticamente não significativas Diferenças na pontuação Melhor desempenho masculino 0-20 Melhor desempenho feminino -40 Liechtenstein Korea Denmark New Zealand Slovak Republic Luxembourg Greece Canada Switzerland Mexico Russian Federation Macao-China Poland Portugal Italy Germany Czech Republic United States Sweden Japan Uruguay Spain Ireland Norway Indonesia Turkey Brazil France Australia Belgium Hungary Austria Hong Kong-China Latvia Serbia Finland Thailand Tunisia Iceland OECD average Netherlands1 1. A taxa de resposta é muito baixa para assegurar comparabilidade. Fonte OECD, 2004a. Verificamos que, em Portugal, no PISA 2003, os rapazes revelam ter, em média, resultados melhores do que as suas colegas. 52

54 Desempenho na Escala de Literacia Científica por Ano de Escolaridade Tal como se observou em literacia matemática e de leitura, o ano de escolaridade está muito fortemente associado ao desempenho dos alunos, como revela a Figura 31. Figura 31. Desempenho médio na escala de literacia científica, por ano de escolaridade Desempenho médio em literacia científica Média da OCDE Média Nacional Ano de Escolaridade As barras representam o erro padrão da média, e as esferas representam a proporção de elementos na amostra nacional. Os alunos que frequentam anos de escolaridade inferiores ao 10º ano, certamente devido a repetição de um ou mais anos, estão claramente afastados dos seus colegas que seguem o percurso sem retenção. Os valores de desempenho médio, por ano de escolaridade, são tanto mais baixos quanto menos elevados os anos de escolaridade. 53

55 DESEMPENHO DOS ALUNOS PORTUGUESES RESOLUÇÃO DE PROBLEMAS Tanto em 2000 como em 2003, o estudo internacional PISA avaliou as competências dos estudantes de 15 anos em domínios tais como a leitura, a matemática e as ciências. Essas competências não se identificam, no entanto, com a capacidade para resolver problemas em situações da vida real que ultrapassem os referidos domínios. A importância da recolha de dados nesta área interdisciplinar levou à definição de um enquadramento conceptual e de instrumentos que avaliassem a capacidade dos alunos para: Identificar situações problemáticas em ambientes interdisciplinares, Identificar informação e constrangimentos relevantes, Representar alternativas ou linhas de resolução possíveis, Seleccionar uma estratégia de resolução, Resolver um problema, Verificar a solução, e Comunicar o resultado. A resolução de problemas, no PISA, é definida como a capacidade de um indivíduo usar processos cognitivos para confrontar e resolver situações reais e interdisciplinares, nas quais o caminho para a solução não é imediatamente óbvio e em que os domínios de literacia ou áreas curriculares passíveis de aplicação não se inserem num único domínio, seja o de matemática, das ciências ou da leitura. Nas tarefas do PISA consideraram-se as seguintes componentes: - Tipologia dos problemas. Uma definição geral de resolução de problemas abarcaria uma ampla gama de tipos de problemas. Tendo em conta o objectivo da avaliação PISA 2003, foram escolhidos três tipos de problemas: tomada de decisão, análise e concepção de sistemas e despiste de problemas. - Contexto dos problemas. Esta componente implica o posicionamento dos problemas, relativamente à experiência dos estudantes no âmbito da resolução de problemas. Assim, os problemas do PISA 2003 devem recorrer a contextos que envolvam a vida pessoal, o trabalho e o lazer, a comunidade local e a sociedade. - Disciplinas envolvidas. Para reflectir o enfoque dado à resolução de problemas da vida real, o domínio da resolução de problemas do estudo PISA 2003abrangerá uma vasta gama de disciplinas, incluindo Matemática, Ciências, Literatura, Estudos Sociais, Tecnologia e Comércio. Deste modo, a resolução de problemas complementa os domínios principais do estudo PISA, nomeadamente, a literacia em contexto de leitura, matemática e científica. - Processos de resolução de problemas. Até que ponto o estudante é capaz de confrontar um determinado problema e de se encaminhar no sentido de uma solução? - Competências de raciocínio. Cada um destes processos de resolução de problemas remete não só para as bases de conhecimento do sujeito que está a 54

56 resolver o problema como também para as suas competências de raciocínio: raciocínio analítico, raciocínio quantitativo, raciocínio analógico e raciocínio combinatório. A exposição mais detalhada do enquadramento conceptual definido, a apresentação de itens exemplificativos, juntamente com os itens incluídos no PISA 2003, integram a publicação editada pelo GAVE, Resolução de Problemas (GAVE, 2004b). A Figura 32 ilustra as características dos três tipos de resolução de problemas. Figura 32 - Comparação de características dos três tipos de resolução de problemas Tomada de decisão Análise e concepção de sistemas Despiste de problemas Objectivo Processos envolvidos Possíveis fontes de complexidade Escolher entre alternativas, sob constrangimentos. Compreender uma situação que apresenta várias alternativas e constrangimentos, bem como uma tarefa específica. Identificar constrangimentos relevantes. Representar as alternativas possíveis. Tomar uma decisão entre alternativas. Verificar e avaliar a decisão. Comunicar ou justificar a decisão. Número de constrangimentos. Número e tipo de representações usadas (verbais, pictóricas, numéricas). Identificar as relações entre partes do sistema e/ou conceber um sistema para expressar as relações entre partes. Compreender a informação que caracteriza um dado sistema e os requisitos associados a uma tarefa específica. Identificar partes relevantes do sistema. Representar as relações entre partes do sistema Analisar ou conceber um sistema que apreenda as relações entre as partes. Verificar e avaliar a análise ou concepção do sistema. Comunicar a análise ou justificar a concepção proposta. Número de variáveis inter- -relacionadas e natureza das relações. Número e tipo de representações usadas (verbais, pictóricas, numéricas). Diagnosticar e corrigir um sistema ou mecanismo defeituoso ou com um desempenho subaproveitado. Compreender as características principais de um sistema ou mecanismo e do seu defeito, bem como as exigências de uma tarefa específica. Identificar variáveis com uma relação causal entre si. Representar o funcionamento do sistema. Diagnosticar o funcionamento defeituoso de um sistema e/ou propor uma solução. Verificar e avaliar o diagnóstico e a solução. Comunicar ou justificar o diagnóstico e a solução. Número de partes inter- -relacionadas no sistema ou mecanismo e os modos como estas partes interagem. Número e tipo de representações usadas (verbais, pictóricas, numéricas). 55

57 A escala de resolução de problemas do PISA resulta de uma análise dos conceitos teóricos que subjazem as componentes de resolução de problemas apresentadas na Figura 32 e da análise do trabalho dos estudantes na resolução desses problemas. A escala engloba desde os estudantes que apresentam capacidades mais fracas ao nível da resolução de problemas aos que apresentam grandes capacidades e inclui quatro intervalos de desempenho distintos, com a respectiva descrição. Estes intervalos são descritos como níveis de proficiência e facultam um modelo analítico para a descrição das capacidades individuais dos estudantes, bem como a comparação e o contraste entre a proficiência dos estudantes nos vários países. Nível 3: Estudantes que resolvem o problema reflectindo e comunicando Os estudantes proficientes no Nível 3 não se limitam a analisar a situação e a tomar decisões; também pensam sobre as relações subjacentes a um problema, relacionandoas com a solução. Os estudantes de Nível 3 abordam os problemas sistematicamente, constroem as suas próprias representações para os ajudar na solução e verificam se a sua solução satisfaz todos os requisitos do problema. Estes estudantes comunicam as suas soluções a outros por meio de enunciados escritos, entre outras representações. Os estudantes de Nível 3 consideram e lidam com um vasto número de condições, tais como monitorizar variáveis, ter em conta restrições temporais, entre outros constrangimentos. Neste nível, os problemas exigem um alto nível de resistência mental e de auto-regulação. Os estudantes que apresentam o melhor desempenho no Nível 3 conseguem lidar com várias condições inter-relacionadas, que requerem que estes, durante o seu trabalho, oscilem entre as suas soluções e as condições estabelecidas no problema. Os estudantes de Nível 3 organizam e monitorizam o seu pensamento enquanto desenvolvem a solução. Os problemas de Nível 3 são frequentemente multifacetados e requerem que os estudantes façam a gestão simultânea de todas as interacções e que desenvolvam uma solução única. Os estudantes de nível 3 abordam este tipo de problemas com sucesso e comunicam as suas soluções com clareza. Nível 2: Estudantes que resolvem o problema raciocinando sobre ele e tomando decisões Os estudantes proficientes no Nível 2 usam processos analíticos e de raciocínio e resolvem problemas recorrendo a capacidades de tomada de decisão. Os estudantes de Nível 2 aplicam vários tipos de raciocínio (raciocínio indutivo e dedutivo, raciocínio tipo causa-efeito ou raciocínio «combinatório», que envolve a comparação sistemática de todas as variações possíveis em situações bem descritas) para analisarem situações e resolverem problemas que requerem deles a tomada de decisão no âmbito de alternativas bem definidas. Para analisar um sistema ou tomar decisões, os estudantes de Nível 2 combinam informação de várias fontes e sintetizam-na. Podem ter que combinar várias formas de representação (por exemplo, linguagem formalizada, informação numérica e informação gráfica), lidar com representações não familiares (por exemplo, exposições numa linguagem de programação ou diagramas de fluxo relacionados com uma combinação de componentes estrutural ou mecânica) ou fazer inferências com base em duas ou mais fontes de informação. 56

58 Nível 1: Estudantes que resolvem o problema a um nível básico Os estudantes proficientes no Nível 1 resolvem problemas quando têm de lidar com uma única fonte de dados que contenha informação distinta e bem definida. Compreendem a natureza de um problema e localizam e extraem, consistentemente, informação relacionada com as características relevantes do problema. Os estudantes de Nível 1 podem conseguir transformar a informação do problema para apresentarem o problema de modo diferente, como por exemplo, retirar informação de uma tabela para criar um desenho ou um gráfico. Os estudantes também serão capazes de aplicar a informação para verificarem um número limitado de condições bem definidas no âmbito do problema. Contudo, estes estudantes, em geral, não são capazes de lidar com problemas multifacetados, que envolvam mais do que uma fonte de dados ou que requeiram que estes argumentem a partir da informação fornecida. Abaixo do Nível 1: Estudantes que resolvem o problema a um nível fraco e emergente A avaliação do estudo PISA não foi concebida para avaliar processos básicos de resolução de problemas. Deste modo, os materiais da avaliação não contêm tarefas suficientes que permitam uma descrição exaustiva dos desempenhos que recaem abaixo do Nível 1. Os estudantes cujo desempenho se encontra abaixo do nível 1 interpretam os problemas de Nível 1 de forma errada ou falham na aplicação dos processos necessários à descrição de características importantes ou à representação dos problemas. Na melhor das hipóteses, conseguem lidar com problemas evidentes, que incluam tarefas cuidadosamente estruturadas e que requerem aos estudantes respostas baseadas em factos ou observações com pouca ou nenhuma interferência. Os estudantes abaixo do Nível 1 têm sérias dificuldades em tomar decisões, analisar e avaliar sistemas e quando se deparam com situações de despiste de problemas. Além disso, arriscam-se a não conseguirem fazer uma transição bem sucedida entre a educação e o mundo do trabalho ou o prosseguimento dos estudos. Tal como foi referido no início deste relatório, os valores em que os desempenhos na resolução de problemas vêm expressos correspondem a uma escala construída de forma que, no conjunto dos países da OCDE, a média fosse de 500 pontos e o desvio padrão de 100. A Figura 33 ilustra a classificação dos estudantes dos países participantes de acordo com o nível de proficiência que atingiram. Nesta figura, os países estão colocados por ordem decrescente da percentagem de alunos nos níveis 2 e 3. Figura 33. Desempenho médio dos alunos em resolução de problemas - percentagem por nível de proficiência Abaixo do nível 1 Nível 1 Nível 2 Nível 3 57

59 Percentagem de alunos Finland Korea Hong Kong-China Japan Macao-China Australia New Zealand Canada Liechtenstein Belgium Switzerland France Denmark Netherlands Czech Republic Germany Sweden Iceland Austria Hungary Ireland Luxembourg Slovak Republic Norway Poland Spain Latvia Russian Federation United States Italy Portugal Greece Uruguay Thailand Serbia Turkey Mexico Brazil Indonesia Tunisia Os países estão ordenados por ordem decrescente de percentagem de alunos nos níveis 2 e 3. Fonte OECD, 2004b A observação da figura permite salientar a variação grande existente entre os países participantes no que se refere à distribuição dos estudantes por nível de proficiência na resolução de problemas. Se distinguirmos os alunos com um perfil baixo de proficiência (abaixo do nível 1), verificamos que existem países no espaço da OCDE em que a percentagem desses alunos é superior a 50%, México e Turquia e, fora deste espaço, Brasil, Indonésia e Tunísia, enquanto que outros países têm menos de 10% de alunos nesta situação: Austrália, Canadá, Finlândia e Coreia (OCDE) e Hong Kong- China e Macau-China. Em Portugal, da mesma forma que na Itália e nos Estados Unidos da América, existem quase 25% de alunos que não atingem o nível 1 de proficiência na resolução de problemas. Na Grécia, a proporção desses alunos ascende a um terço. Passemos agora a examinar os desempenhos médios alcançados nos diversos países. A Figura 34 apresenta esses desempenhos médios e o resultado das comparações múltiplas entre os mesmos, o que nos permite distinguir os países entre os quais existem diferenças significativas. 58

60 Figura 34. Comparações múltiplas do desempenho médio em resolução de problemas Escala de resolução de problemas Coreia Hong Kong-China Finlândia Japão Nova Zelândia Macau-China Austrália Liechtenstein Canadá Bélgica Suíça Países Baixos França Dinamarca República Checa Alemanha Média S.E. (3,1) (4,2) (1,9) (4,1) (2,2) (2,5) (2,0) (3,9) (1,7) (2,2) (3,0) (3,0) (2,7) (2,5) (3,4) (3,2) (2,4) (3,2) (1,4) (2,9) (2,3) (1,4) (3,4) (2,6) (2,8) (3,9) (2,7) (4,6) (3,1) (3,9) (3,1) (4,0) (2,7) (3,3) (3,7) (6,0) (4,3) (4,8) (3,3) (2,1) Coreia 550 (3,1) Hong Kong-China 548 (4,2) Finlândia 548 (1,9) Japão 547 (4,1) Nova Zelândia 533 (2,2) Macau-China 532 (2,5) Austrália 530 (2,0) Liechtenstein 529 (3,9) Canadá 529 (1,7) Bélgica 525 (2,2) Suíça 521 (3,0) Países Baixos 520 (3,0) França 519 (2,7) Dinamarca 517 (2,5) República Checa 516 (3,4) Alemanha 513 (3,2) Suécia 509 (2,4) Áustria 506 (3,2) Islândia 505 (1,4) Hungria 501 (2,9) Irlanda 498 (2,3) Luxemburgo 494 (1,4) República da Eslováquia 492 (3,4) Nouega 490 (2,6) Polónia 487 (2,8) Letónia 483 (3,9) Espanha 482 (2,7) Federação Russa 479 (4,6) E. U. A. 477 (3,1) Portugal 470 (3,9) Itália 469 (3,1) Grécia 448 (4,0) Tailândia 425 (2,7) Sérvia 420 (3,3) Uruguai 411 (3,7) Turquia 408 (6,0) México 384 (4,3) Brasil 371 (4,8) Indonésia 361 (3,3) Tunísia 345 (2,1) Ordem possível* Países da OCDE Superior Inferior Todos os países Superior Inferior * Nota. Uma vez que os dados se baseiam em amostragens, não é possível indicar as posições exactas dos países na ordem dos desempenhos. É, todavia, possível indicar o intervalo de escalões em que a média do país se situa com 95 % de probabilidade. Instruções: Ler a linha de um determinado país para comparar o desempenho com o dos países apresentados no topo do gráfico. Os símbolos indicam se o desempenho médio do país nessa linha está significativamente abaixo do do país de comparação, significativamente acima do do país de comparação ou se não há estatisticamente diferença entre o desempenho médio dos dois países. Suécia Áustria Islândia Hungria Irlanda Luxemburgo Rep. da Eslováquia Nouega Polónia Letónia Espanha Federação Russa E. U. A. Portugal Itália Grécia Tailândia Sérvia Uruguai Turquia México Brasil Indonésia Tunísia Sem o ajustamento de Bonferroni: Desempenho médio significativamente acima do do país de comparação Sem diferença estatisticamente significativa do do país de comparação Desempenho médio significativamente abaixo do do país de comparação Com o ajustamento de Bonferroni: Desempenho médio significativamente acima do do país de comparação Sem diferença estatisticamente significativa do do país de comparação Desempenho médio significativamente abaixo do do país de comparação Estatisticamente acima da média da OCDE Estatisticamente não diferente da média da OCDE Estatisticamente abaixo da média da OCDE Fonte: OECD, 2004b

61 Podemos constatar que os alunos portugueses de 15 anos têm um desempenho médio significativamente inferior ao da média da OCDE (470 pontos e 500 respectivamente) e, tal como nos outros domínios, este afastamento é preocupante. Não existem, no entanto, diferenças significativas entre as médias dos resultados em Portugal, na Letónia, na Espanha, na Federação Russa, nos Estados Unidos da América e em Itália. Entre os países da OCDE, os resultados dos alunos de 15 anos da Grécia, da Turquia e do México são inferiores aos resultados dos alunos portugueses. A variação de desempenhos no interior de cada país pode ser avaliada na Figura 35. Figura 35. Distribuição do desempenho dos alunos em resolução de problemas Desempenho em resolução de problemas Korea Hong Kong- Finland Japan New Zealand Macao-China Australia Liechtenstein Canada Belgium Switzerland Netherlands France Denmark Czech Republic Germany Sweden Austria Iceland Hungary Ireland Luxembourg Slovak Republic Norway Poland Latvia Spain Russian United States Portugal Italy Greece Thailand Serbia Uruguay Turkey Mexico Brazil Indonesia Tunisia A graduação das barras estende-se do 5.º percentil ao 95.º percentil Classificação média na escala de resolução de problemas Intervalo de confiança a 95% da classificação média 90.º percentil 75.º percentil 25.º percentil 10.º percentil Fonte OECD, 2004b Verificamos que os valores correspondentes aos 5% dos nossos alunos com melhores resultados (95º percentil) são bastante inferiores aos correspondentes valores da Coreia, da Nova Zelândia e da Bélgica. 60

62 Por outro lado, em Portugal, os 5% de alunos com os resultados mais fracos (5º percentil) têm desempenhos médios mais baixos do que os da Coreia, da Finlândia e da Nova Zelândia. 61

63 Desempenho na Escala Global de Resolução de Problemas por Género Sexual A comparação dos resultados médios dos rapazes e das raparigas na resolução de problemas está ilustrada na Figura 36. Figura 36. Desempenho médio em resolução de problemas diferenças por género sexual Estatisticamente significativas Estatisticamente não significativas Liechtenstein Macao-China Korea Slovak Republic Czech Republic Brazil Mexico Denmark Netherlands Uruguay Tunisia Luxembourg Russian Turkey Greece Ireland Canada Portugal France United States Poland Japan Switzerland Latvia Austria New Zealand Belgium Hungary Italy Hong Kong-China Germany Spain Australia Indonesia Serbia Norway Sweden Finland Thailand Iceland Melhor desempenho feminino Melhor desempenho masculino Diferença de pontuação no PISA Os países estão ordenados por ordem decrescente de vantagem de desempenho dos alunos de género sexual masculino. Fonte OECD, 2004b. Podemos constatar que, tal como ocorreu quanto a literacia científica, na resolução de problemas existem países em que a diferença favorece os rapazes e países em que o panorama é favorável às raparigas, situação em que a Islândia aparece muito destacada. 62

64 Em Portugal os rapazes e as raparigas têm um desempenho médio igual. Desempenho na Escala de Resolução de Problemas por Ano de Escolaridade Tal como nos três domínios de literacia já abordados, leitura, matemática e ciências, existe uma relação forte entre os resultados médios na resolução e de problemas e o ano de escolaridade, como se pode observar na Figura 37. Figura 37. Desempenho médio na escala de resolução de problemas, por ano de escolaridade. 700 Desempenho médio em resolução de problemas Média da OCDE Média Nacional Ano de Escolaridade As barras representam o erro padrão da média e as esferas representam a proporção de elementos na amostra nacional. Se nos 10º e 11º anos esses resultados são um pouco superiores aos da média da OCDE, já os do 9º ano são notoriamente inferiores, sendo os desempenhos progressivamente mais baixos até chegarmos aos alunos que frequentam o 7º ano de escolaridade. 63

65 Para terminar, e à semelhança do que se observou nos outros domínios avaliados, fazse notar que não se registaram diferenças significativas entre os desempenhos médios das sete regiões (NUTII) de Portugal. 64

66 Conclusões 1. Em todos os domínios avaliados leitura, matemática, ciências e resolução de problemas os alunos portugueses de 15 anos tiveram um desempenho modesto, uma vez comparado com os correspondentes valores médios dos países do espaço da OCDE. 2. Na literacia matemática, área predominante no PISA 2003, verificou-se existir uma percentagem demasiado elevada de alunos portugueses de 15 anos com nível de proficiência inferior a 1, o que configura uma situação grave para cerca de um terço dos nossos estudantes. 3. A comparação de resultados obtidos em literacia matemática no PISA 2000 com os resultados obtidos em 2003 indica que, neste domínio, existiu uma ligeira melhoria. Temos, no entanto, que considerar que, do primeiro para o segundo estudo, existiu uma alteração na população alvo: se em 2000 foram seleccionados alunos de 15 anos entre os 5º e 11º anos de escolaridade, em 2003 o intervalo diminuiu, correspondendo agora aos estudantes entre os 7º e 11º anos de escolaridade. 4. Existe uma associação positiva entre o desempenho médio dos alunos de cada país e o rendimento nacional ou o gasto por aluno nesse país. Se ajustássemos o desempenho médio de cada país aquele que seria de esperar se as condições sociais e económicas fossem médias, Portugal melhorava substancialmente a sua posição relativamente aos restantes participantes. 5. Na amostra de escolas que foi seleccionada, o número de escolas públicas foi muito superior ao número de escolas privadas, uma vez que se procurou espelhar a distribuição realmente existente no nosso sistema de ensino. Embora sendo muito diferente o número de alunos que frequentavam um e outro tipo de escolas, pode dizer-se que não houve diferença significativa nos desempenhos médios em literacia matemática dos respectivos alunos. 6. Portugal é, dos países da OCDE, o que tem menos responsáveis de escolas a declarar que monitorizam as aulas dos professores que nelas leccionam. No nosso país, apenas 5% dos alunos da amostra frequentam estabelecimentos de ensino em que tal acontece, enquanto que na OCDE, essa percentagem é, em média, de 61%. 7. Tanto a qualidade das infra-estruturas físicas, como dos recursos educacionais das escolas, avaliados pelos seus responsáveis, têm, em Portugal, um valor médio igual ao da OCDE e não revelam estar relacionados com o desempenho em literacia matemática. 8. Na literacia matemática verificou-se a existência de diferenças entre os perfis pessoais dos alunos com alto nível de literacia e os dos alunos com baixo nível de literacia. As diferenças reportam-se a: i) estratégias de estudo que utilizam; ii) autoconceito, sentimento de auto-eficácia e ansiedade com a matemática; iii) sentido de pertença à escola e atitude face à escola; iv) motivação instrumental para a matemática e interesse por esta disciplina. 65

67 Assim, tendo por base as declarações dos alunos: i) alunos com melhor desempenho tendem a usar mais estratégias de elaboração e de controlo do que os seus colegas com pior desempenho; pelo contrário, estes últimos utilizam mais estratégias de memorização do que os primeiros; ii) melhores desempenhos acompanham um maior autoconceito académico, um maior sentido de eficácia e menos ansiedade quando lidam com a matemática; iii) melhores desempenhos estão associados um maior sentido de pertença à escola e a uma atitude mais positiva face a ela; iv) melhores desempenhos acompanham, também, uma maior motivação para a matemática e um maior interesse pela disciplina. 9. Na literacia matemática verificou-se a existência de diferenças entre os perfis das famílias dos alunos com alto nível de literacia e os dos alunos com baixo nível de literacia. Os melhores resultados do PISA tendem a identificar-se com alunos provenientes de famílias em que os bens culturais, os recursos educacionais, os níveis de educação e o status profissional são mais elevados. 10. Na literacia matemática verificou-se a existência de diferenças entre os contextos escolares dos alunos com alto nível de literacia e os dos alunos com baixo nível de literacia. O ambiente disciplinar percebido pelos estudantes com piores desempenhos é avaliado mais positivamente do que do que o percebido pelos alunos com melhores resultados. São também os alunos menos proficientes que declaram dedicar mais tempo ao trabalho de casa e apreciam mais o relacionamento professor-aluno. 11. À semelhança do que se verificou no PISA 2000, no PISA 2003 os rapazes tiveram, em média, melhores resultados do que as raparigas em literacia matemática. Em literacia de leitura as raparigas tiveram resultados superiores aos dos rapazes e em literacia científica deu-se o inverso: as raparigas tiveram resultados inferiores aos dos rapazes. Em resolução de problemas não existiu qualquer diferença entre os desempenhos médios de uns e de outros. 12. O ano de escolaridade que os alunos frequentam está fortemente associado aos resultados que obtêm em média. Em todos os domínios avaliados os desempenhos médios dos alunos nos 10º e 11º anos de escolaridade são ligeiramente superiores à média correspondente no espaço da OCDE. Os resultados decrescem consistentemente do 9º para o 7º. 13. Não existiu diferença entre as várias regiões (NUT II) nos resultados médios correspondentes aos quatro domínios avaliados. 66

68 PARTE II - ITENS DE LITERACIA MATEMÁTICA DO PISA 2003 Nesta segunda parte iremos apresentar informação referente aos itens de literacia matemática incluídos no PISA 2003 e cuja divulgação foi autorizada. A par da exposição de cada um destes itens, serão fornecidas as frequências correspondentes aos vários códigos de classificação utilizados, juntamente com um indicador de sucesso dos nossos alunos relativamente aos dos seus colegas do espaço da OCDE. Por último, comenta-se o nível de adequação de cada uma das questões relativamente aos programas de matemática em vigor, na altura, em Portugal. Apresentação dos Itens de Literacia Matemática, sua Codificação e Resultados Na apresentação dos itens, definimos o índice de sucesso num item como a razão entre a percentagem de respostas correctas dos nossos estudantes e a obtida em média na OCDE. Assim, valores próximos de 1 indicam um sucesso idêntico aos dos alunos do espaço da OCDE; valores superiores apontam para um desempenho melhor dos jovens portugueses; pelo contrário, valores inferiores a 1 significam resultados piores dos nossos alunos. 67

69 LIXOS Questão 19: LIXOS M505Q Para um trabalho de casa sobre o meio ambiente, os alunos recolheram informação sobre o tempo de decomposição de diferentes tipos de resíduos que as pessoas deitam no lixo. Tipo de resíduos Casca de banana Casca de laranja Caixas de cartão Pastilha elástica Jornais Vasilhas de plástico Tempo de decomposição 1 3 anos 1 3 anos 0,5 ano anos Alguns dias Mais de 100 anos Um aluno está a pensar em apresentar estes resultados sob a forma de um gráfico de barras. Indique uma razão que mostre que um gráfico de barras não é conveniente para apresentar estes dados. Códigos Percentagem de ocorrência Inválido/Omite 19.1 Índice de sucesso 1.10 Tipo de Item: Resposta construtiva aberta Constelação de competências: Reflexão Ideia abrangente: Incerteza Situação: Científica 68

70 69

71 DADOS Questão 1: DADOS M145Q01 Na fotografia vêem-se seis dados, rotulados de (a) a (f). Existe uma regra para todos os dados: A soma das pintas em duas faces opostas, em cada dado, é sempre igual a sete. (b) (c) (a) (d) (e) (f) Escreva em cada quadrado o número de pintas da face inferior de cada um dos dados representados na fotografia. (a) (b) (c) (d) (e) (f) Códigos Percentagem de ocorrência A 7.1 B 3.5 C 1.1 D 0.8 E 3.1 F 63.9 Inválido/Omite 5.3 Índice de sucesso 0.94 Tipo de Item: Resposta construtiva fechada Constelação de competências: Reprodução Ideia abrangente: Espaço e forma Situação: Ocupacional 70

72 SKATE O Edgar gosta muito de andar de skate. Foi a uma loja chamada SKATERS, para verificar alguns preços. Nessa loja pode comprar-se um skate completo ou pode comprar-se uma prancha, um conjunto de 4 rodas, um conjunto de 2 eixos e um conjunto de ferragens, para montar o próprio skate. Os preços dos artigos, nessa loja, são os seguintes: Artigo Preço em zedes Skate completo 82 ou 84 Prancha 40, 60 ou 65 Um conjunto de 4 rodas 14 ou 36 Um conjunto de 2 eixos 16 Um conjunto de ferragens (rolamentos de esferas, calços de borracha, porcas e parafusos) 10 ou 20 71

73 Questão 3: SKATE M520Q01a M520Q01b O Edgar quer ser ele a montar o seu próprio skate. Nessa loja, qual é o preço mínimo e o preço máximo de um skate por montar? (a) Preço mínimo:...zedes. (b) Preço máximo:...zedes. Códigos Percentagem de ocorrência Inválido/Omite 4.4 Índice de sucesso 1.00 Tipo de Item: Resposta curta Constelação de competências: Reprodução Ideia abrangente: Quantidade Situação: Pessoal Questão 4: SKATE M520Q02 A loja tem três tipos de pranchas diferentes, dois conjuntos de rodas diferentes e dois conjuntos de ferragens diferentes. Para o conjunto de eixos só há uma escolha possível. Quantos skates diferentes é que o Edgar consegue montar? A 6 B 8 C 10 D 12 72

74 Códigos Percentagem de ocorrência 0 0 A 35.0 B 23.3 C 4.8 D 32.0 Inválido/Omite 4.9 Índice de sucesso 0.70 Tipo de Item: Escolha múltipla Constelação de competências: Reprodução Ideia abrangente: Quantidade Situação: Pessoal Questão 5: SKATE M520Q03 O Edgar pode gastar 120 zedes e quer comprar o skate mais caro que puder. Quanto dinheiro é que o Edgar pode gastar em cada uma das 4 partes? Escreva as suas respostas na tabela que se segue. Parte Prancha Rodas Eixos Ferragens Quantia (zedes) Códigos Percentagem de ocorrência Inválido/Omite 7.5 Índice de sucesso 0.80 Tipo de Item: Resposta curta Constelação de competências: Conexões Ideia abrangente: Quantidade Situação: Pessoal 73

75 APOIO AO PRESIDENTE Questão 9: APOIO AO PRESIDENTE M702Q Na Zedelândia, foram efectuadas sondagens de opinião para determinar o nível de apoio ao Presidente nas próximas eleições. Quatro editoras de jornais efectuaram separadamente sondagens a nível nacional. Os resultados dessas quatro sondagens são os seguintes: Jornal 1: 36,5% (sondagem realizada a 6 de Janeiro, com base numa amostra de 500 cidadãos com direito a voto, escolhidos ao acaso); Jornal 2: 41,0% (sondagem realizada a 20 de Janeiro, com base numa amostra de 500 cidadãos com direito a voto, escolhidos ao acaso); Jornal 3: 39,0% (sondagem realizada a 20 de Janeiro, com base numa amostra de 1000 cidadãos com direito a voto, escolhidos ao acaso); Jornal 4: 44,5% (sondagem realizada a 20 de Janeiro, com base em 1000 leitores do jornal, que telefonaram para a redacção para votar). Qual é o jornal, cujos resultados darão, provavelmente, uma melhor previsão do nível de apoio ao Presidente, se as eleições se realizarem no dia 25 de Janeiro? Indique duas razões para justificar a sua resposta. Códigos Percentagem de ocorrência Inválido/Omite 22.3 Índice de sucesso 0.85 Tipo de Item: Resposta construtiva aberta Constelação de competências: Conexões Ideia abrangente: Incerteza Situação: Pública 74

76 75

77 DADOS DE JOGAR Questão 12: DADOS DE JOGAR M555Q02 No desenho à direita estão representados dois dados. Os dados são cubos com as faces numeradas de acordo com a regra seguinte: A soma das pintas em duas faces opostas é sempre igual a 7. Podemos facilmente construir um dado recortando, dobrando e colando cartão. Isto pode ser feito de diversas maneiras. Na figura abaixo estão representados quatro desses cortes que podem ser utilizados para construir dados, com pintas nas faces. Qual, ou quais, da(s) forma(s) seguinte(s) pode(m) ser dobrada(s) de modo a formar um cubo que obedece à regra segundo a qual a soma das pintas das faces opostas é 7? Para cada uma das formas, faça um círculo em torno de «Sim» ou de «Não», na tabela abaixo. I II III IV Forma I II III IV Obedece à regra segundo a qual a soma das pintas das faces opostas é 7? Sim / Não Sim / Não Sim / Não Sim / Não 76

78 Códigos Percentagem de ocorrência Inválido/Omite 1.6 Índice de sucesso 0.81 Tipo de Item: Resposta múltipla complexa Constelação de competências: Conexões Ideia abrangente: Espaço e forma Situação: Pessoal 77

79 ESCOLHAS Questão 14: ESCOLHAS M510Q01 Numa pizaria, pode comer uma piza com dois ingredientes de base: queijo e tomate. Também pode compor a sua própria piza com ingredientes extra. Pode escolhê-los de entre quatro ingredientes extra diferentes: azeitonas, fiambre, cogumelos e salame. O Rui quer encomendar uma piza com dois ingredientes extra diferentes. Quantas são as combinações diferentes que o Rui tem à sua escolha? Resposta:...combinações. Códigos Percentagem de ocorrência Inválido/Omite 7.4 Índice de sucesso 0.90 Tipo de Item: Resposta curta Constelação de competências: Conexões Ideia abrangente: Quantidade Situação: Ocupacional 78

80 CAMINHANDO A figura mostra as pegadas de um homem a andar. O comprimento do passo, P, é a distância entre a parte de trás de duas pegadas consecutivas. n Para os homens, a fórmula = 140 P que estabelece uma relação aproximada entre n e P, em n = número de passos por minuto, e P = comprimento do passo em metros. Questão 16: CAMINHANDO M124Q Se esta fórmula se aplicar ao caminhar do Pedro e ele der 70 passos por minuto, qual é o comprimento do passo do Pedro? Apresente os cálculos que efectuar. Códigos Percentagem de ocorrência Inválido/Omite 21.8 Índice de sucesso 1.00 Tipo de Item: Resposta construtiva aberta Constelação de competências: Reprodução Ideia abrangente: Mudança e relações Situação: Pessoal 79

81 80

82 Questão 17: CAMINHANDO M124Q O Bernardo sabe que o comprimento do seu passo é de 0,80 metros. A fórmula aplica-se ao caminhar do Bernardo. Calcule, em metros por minuto e em quilómetros por hora, a velocidade a que o Bernardo caminha. Apresente os cálculos que efectuar. Códigos Percentagem de ocorrência Inválido/Omite 46.7 Índice de sucesso 0.79 Tipo de Item: Resposta construtiva aberta Constelação de competências: Conexões Ideia abrangente: Mudança e relações Situação: Pessoal 81

83 82

84 EXPORTAÇÕES Os gráficos seguintes dão-nos informações sobre as exportações da Zedelândia, um país cuja moeda é o zede. Total das exportações anuais da Zedelândia, em milhões de zedes, Distribuição das exportações da Zedelândia, no ano ,9 42, ,4 25,4 27,1 Tecidos de algodão 26% Lã 5% Outras 21% Carne 14% Anos Tabaco 7% Sumos de fruta 9% Arroz 13% Chá 5% Questão 21: EXPORTAÇÕES M438Q Qual foi o valor total (em milhões de zedes) das exportações da Zedelândia, em 1998? Resposta:... Códigos Percentagem de ocorrência Inválido/Omite 4.2 Índice de sucesso 1.11 Tipo de Item: Resposta construtiva fechada Constelação de competências: Reprodução Ideia abrangente: Incerteza Situação: Pública 83

85 Questão 22: EXPORTAÇÕES M438Q02 Qual foi o valor das exportações de sumos de fruta da Zedelândia, em 2000? A 1,8 milhões de zedes. B 2,3 milhões de zedes. C 2,4 milhões de zedes. D 3,4 milhões de zedes. E 3,8 milhões de zedes. Códigos Percentagem de ocorrência 0 0 A 13.8 B 12.6 C 19.8 D 9.5 E 35.4 Inválido/Omite 8.9 Índice de sucesso 0.73 Tipo de Item: Resposta múltipla Constelação de competências: Conexões Ideia abrangente: Incerteza Situação: Pública 84

86 ESCADA Questão 23: ESCADA M547Q01 A figura seguinte representa uma escada de 14 degraus, que tem uma altura total de 252 cm. Altura total 252 cm Profundidade total 400 cm Qual é a altura de cada um dos 14 degraus? Altura:... cm. Códigos Percentagem de ocorrência Inválido/Omite 10.2 Índice de sucesso 0.99 Tipo de Item: Resposta curta Constelação de competências: Reprodução Ideia abrangente: Espaço e forma Situação: Ocupacional 85

87 PADRÃO EM ESCADA Questão 24: PADRÃO EM ESCADA M806Q01 O Roberto constrói um padrão em escada, utilizando quadrados. Aqui estão as etapas que ele segue: Etapa 1 Etapa 2 Etapa 3 Como pode ver, o Roberto utiliza um quadrado na etapa 1, três na Etapa 2 e seis na Etapa 3. Quantos quadrados deverá utilizar na quarta etapa? Resposta:...quadrados. Códigos Percentagem de ocorrência Inválido/Omite 1.4 Índice de sucesso 0.70 Tipo de Item: Resposta curta Constelação de competências: Reprodução Ideia abrangente: Quantidade Situação: Educacional 86

88 O CRESCIMENTO OS JOVENS ESTÃO CADA VEZ MAIS ALTOS No gráfico seguinte está representada a altura média dos jovens rapazes e raparigas holandeses, relativa ao ano de Altura (cm) Altura média dos jovens rapazes em Altura média das jovens raparigas em Idade (Anos) 87

89 Questão 31: O CRESCIMENTO M150Q Desde 1980, a altura média das raparigas de 20 anos aumentou 2,3 cm, atingindo 170,6 cm. Qual era a altura média das raparigas de 20 anos em 1980? Resposta:...cm Códigos Percentagem de ocorrência Inválido/Omite 8.2 Índice de sucesso 0.98 Tipo de Item: Resposta construtiva fechada Constelação de competências: Reprodução Ideia abrangente: Mudança e relações Situação: Científica 88

90 Questão 32: O CRESCIMENTO M150Q Explique de que modo o gráfico mostra que, em média, o crescimento das raparigas é mais lento depois dos 12 anos de idade Códigos Percentagem de ocorrência 01/ /12/ Inválido/Omite 22.6 Índice de sucesso 0.66 Tipo de Item: Resposta construtiva aberta Constelação de competências: Conexões Ideia abrangente: Mudança e relações Situação: Científica 89

91 90

92 Questão 33: O CRESCIMENTO M150Q De acordo com o gráfico, durante que período da sua vida as raparigas são, em média, mais altas que os rapazes da mesma idade? Códigos Percentagem de ocorrência / Inválido/Omite 7.2 Índice de sucesso 0.96 Tipo de Item: Resposta construtiva fechada Constelação de competências: Reprodução Ideia abrangente: Mudança e relações Situação: Científica 91

93 92

94 TAXA DE CÂMBIO Mei-Ling, de Singapura, está a preparar uma estadia de 3 meses na África do Sul, integrada num programa de intercâmbio de estudantes. Ela precisa de trocar dólares de Singapura (SGD) por rands sul-africanos (ZAR). Questão 25: TAXA DE CÂMBIO M413Q Mei-Ling soube que a taxa de câmbio entre o dólar de Singapura e o rand sulafricano era de: 1 SGD = 4,2 ZAR. Mei-Ling trocou 3000 dólares de Singapura por rands sul-africanos a esta taxa de câmbio. Que quantia recebeu Mei-Ling em rands sul-africanos? Resposta:... Códigos Percentagem de ocorrência Inválido/Omite 11.0 Índice de sucesso 0.86 Tipo de Item: Resposta curta Constelação de competências: Reprodução Ideia abrangente: Quantidade Situação: Pública 93

95 Questão 26: TAXA DE CÂMBIO M413Q Quando Mei-Ling regressou a Singapura, três meses depois, tinha ainda 3900 ZAR. Ela trocou-os por dólares de Singapura, reparando que a taxa de câmbio tinha mudado para: 1 SGD = 4,0 ZAR. Quantos dólares de Singapura recebeu Mei-Ling? Resposta: Códigos Percentagem de ocorrência Inválido/Omite 14.2 Índice de sucesso 0.85 Tipo de Item: Resposta curta Constelação de competências: Reprodução Ideia abrangente: Quantidade Situação: Pública 94

96 Questão 27: TAXA DE CÂMBIO M413Q Durante esses três meses, a taxa de câmbio mudou e passou de 4,2 para 4,0 ZAR por um SGD. Para Mei-Ling foi vantajoso reconverter os seus rands sul-africanos em dólares de Singapura, quando a taxa de câmbio era de 4,0 ZAR, em vez de 4,2 ZAR? Dê uma explicação que justifique a sua resposta. Códigos Percentagem de ocorrência / Inválido/Omite 28.3 Índice de sucesso 0.57 Tipo de Item: Resposta construtiva aberta Constelação de competências: Reflexão Ideia abrangente: Quantidade Situação: Pública 95

97 O MELHOR AUTOMÓVEL Uma revista de automóveis utiliza um sistema de classificação para avaliar os automóveis novos e atribui a distinção de «Automóvel do Ano» ao automóvel cuja pontuação total seja a mais elevada. Cinco novos automóveis acabaram de ser avaliados, e as pontuações obtidas figuram na tabela. Automóvel Dispositivos de segurança Consumo de combustível Estética da carroçaria Equipamentos interiores (S) (C) (E) (I) Ca M Sp N KK As pontuações interpretam-se do seguinte modo: 3 pontos = Excelente 2 pontos = Bom 1 ponto = Satisfatório Questão 5: O MELHOR AUTOMÓVEL M704Q01 Para calcular a pontuação total de um automóvel, a revista de automóveis utiliza a seguinte regra, que é uma soma ponderada das diversas pontuações obtidas: Pontuação total = (3 x S) + C + E + I Calcule a pontuação total do automóvel «Ca». Escreva a sua resposta no espaço abaixo. Pontuação total para «Ca»: Códigos Percentagem de ocorrência Inválido/Omite 10.0 Índice de sucesso 1.01 Tipo de Item: Resposta curta Constelação de competências: Reprodução Ideia abrangente: Mudança e relações Situação: Pública 96

98 Questão 6: O MELHOR AUTOMÓVEL M704Q02 O construtor do automóvel «Ca» pensou que a regra utilizada para calcular a pontuação total não era justa. Proponha uma regra para o cálculo da pontuação total, de modo que o automóvel «Ca» seja o vencedor. A sua regra deve incluir as quatro variáveis. Para responder, complete na equação seguinte os quatro espaços em branco com números positivos: Pontuação total = S + C + E + I. Códigos Percentagem de ocorrência Inválido/Omite 15.1 Índice de sucesso 0.94 Tipo de Item: Resposta construtiva aberta Constelação de competências: Reflexão Ideia abrangente: Mudança e relações Situação: Pública 97

99 CARPINTEIRO Questão 31: CARPINTEIRO M266Q01 Um carpinteiro tem 32 metros de madeira e deseja construir um rebordo à volta de um canteiro de um jardim. Está a considerar os seguintes esquemas para o canteiro. Faça um círculo em torno de «Sim» ou de «Não» a fim de indicar, para cada um A B dos 6 m 6 m 10 m 10 m C D 6 m 6 m 10 m 10 m esquemas, se o canteiro que lhe corresponde pode, ou não, ser construído com os 32 metros de tábuas. Esquema do canteiro Esquema A Esquema B Esquema C Esquema D O canteiro pode ser construído com os 32 metros de madeira? Sim / Não Sim / Não Sim / Não Sim / Não 98

100 Códigos Percentagem de ocorrência A 30.5 B 25.0 C 28.4 D 12.5 Inválido/Omite 2.0 Índice de sucesso 0.62 Tipo de Item: Resposta múltipla complexa Constelação de competências: Conexões Ideia abrangente: Espaço e forma Situação: Educacional 99

101 RESULTADOS DE UM TESTE Questão 32: RESULTADOS DE UM TESTE M513Q O gráfico seguinte mostra os resultados de um teste de Ciências obtidos por dois grupos de alunos, designados por «Grupo A» e «Grupo B». A nota média no grupo A é de 62,0 e no grupo B de 64,5. Os alunos passam neste teste se tiverem uma nota igual ou superior a 50. Número de alunos Resultados no teste de Ciências Notas Grupo A Grupo B 100

102 Com base neste gráfico, o professor concluiu que o grupo B teve melhores resultados neste teste do que o grupo A. Os alunos do grupo A não estão de acordo com o professor. Tentam convencer o professor de que o Grupo B não teve necessariamente melhores resultados. Utilizando o gráfico, apresente um argumento matemático que possa ser utilizado pelos alunos do Grupo A. Códigos Percentagem de ocorrência Inválido/Omite 45.2 Índice de sucesso 0.75 Tipo de Item: Resposta construtiva aberta Constelação de competências: Conexões Ideia abrangente: Incerteza Situação: Educacional 101

103 102

104 BOMBONS COLORIDOS Questão 27: BOMBONS COLORIDOS M467Q01 A mãe do Roberto vai deixá-lo tirar um bombom de um saco. O Roberto não pode ver os bombons. O número de bombons de cada cor que há no saco está indicado no gráfico seguinte Castanho Violeta Rosa Azul Verde Amarelo Laranja Vermelho Qual é a probabilidade de o Roberto tirar um bombom vermelho? A 10% B 20% C 25% D 50% Códigos Percentagem de ocorrência 0 0 A 8.7 B 39.9 C 19.1 D 29.7 Inválido/Omite 2.6 Índice de sucesso 0.79 Tipo de Item: Escolha múltipla Constelação de competências: Reprodução Ideia abrangente: Incerteza Situação: Pessoal 103

105 CONVERSAR NO CHAT Mark (de Sidney, na Austrália) e Hans (de Berlim, na Alemanha) comunicam muitas vezes entre si, utilizando o «chat» na Internet. Eles têm de estar ligados à Internet ao mesmo tempo, para poderem conversar no chat. Para encontrar uma hora conveniente para conversarem no chat, Mark consultou uma tabela de fusos horários e descobriu o seguinte: Greenwich 24h (meia-noite) Berlim 1 h 00 min Sidney 10 h 00 min Questão 32: CONVERSAR NO CHAT M402Q Quando são 19 h 00 min em Sidney, que horas são em Berlim? Resposta:... Códigos Percentagem de ocorrência Inválido/Omite 4.0 Índice de sucesso 0.73 Tipo de Item: Resposta curta Constelação de competências: Conexões Ideia abrangente: Mudança e relações Situação: Pessoal 104

106 Questão 33: CONVERSAR NO CHAT M402Q Mark e Hans não podem conversar no chat entre as 9 h 00 min e as 16 h 30 min, horas locais, porque têm de ir à escola. Também não podem conversar no chat entre as 23 h 00 min e as 7 h 00 min, horas locais, porque estão a dormir. Quais são as melhores horas para Mark e Hans conversarem no chat? Escreva as horas locais no quadro seguinte. Local Hora Sidney Berlim Códigos Percentagem de ocorrência Inválido/Omite 20.4 Índice de sucesso 0.47 Tipo de Item: Resposta curta Constelação de competências: Reflexão Ideia abrangente: Mudança e relações Situação: Pessoal 105

107 106

108 ASSALTOS Questão 34: ASSALTOS M179Q Num programa de televisão, um jornalista apresentou este gráfico e disse: 520 Ano 1999 Número de assaltos por ano Ano «O gráfico mostra que, de 1998 para 1999, houve um aumento muito grande do número de assaltos.» Considera que a afirmação do jornalista é uma interpretação aceitável do gráfico? Dê uma explicação que justifique a sua resposta. Códigos Percentagem de ocorrência 01/02/03/ / /22/ Inválido/Omite 17.1 Índice de sucesso 0.59 Tipo de Item: Resposta construtiva aberta Constelação de competências: Conexões Ideia abrangente: Incerteza Situação: Pública 107

109 108