AVALIAÇÃO DA APRENDIZAGEM ATRAVÉS DE PROVAS DE RENDIMENTO: APORTES METODOLÓGICOS

Transcrição

1 AVALIAÇÃO DA APRENDIZAGEM ATRAVÉS DE PROVAS DE RENDIMENTO: APORTES METODOLÓGICOS Wagner Bandeira Andriola Cristiany Gomes Andriola Universidade Federal do Ceará (Brasil) A avaliação da aprendizagem através do uso de provas de rendimento tem se verificado prática rotineira nos países possuidores de sistemas de avaliação da qualidade educacional, sobretudo quando se está a fazer inferências para grande quantidade de discentes. Sendo assim, seu emprego necessita estar pautado em cuidados pedagógicos e estatísticos. O primeiro deles refere-se a necessidade de o elaborador de itens possuir treinamento mínimo nessa arte. O segundo desses cuidados está associado a relevância do pré-teste dos itens, com o intuito de verificar se os mesmos possuem a desejável característica de eqüidade na medida da aprendizagem. Para tal, haverá que se utilizar procedimentos estatísticos adequados, fundamentados em sólidos modelos matemáticos. Análise estatística de itens componentes de provas de rendimento nas áreas de Matemática e Língua Portuguesa, que são utilizadas na Universidade Federal do Ceará (UFC) para a seleção de candidatos, verificou elevada proporção de itens com funcionamento diferencial (DIF), isto é, itens injustos ou não eqüitativos para aprendizes oriundos de distintos tipos de escolas (públicas ou particulares). O trabalho visa a apresentar as possíveis causas do DIF à luz do uso de vários procedimentos estatísticos para detectálo, baseados, todos eles, na Teoria da Resposta ao Item (TRI). Introdução No âmbito das correntes cognitivistas, a aprendizagem pode ser considerada uma mudança qualitativa e estável, ocorrida no âmbito das capacidades cognitivas de memorização, compreensão, aplicação, análise, síntese e julgamento. Esse câmbio comportamental pode ser avaliado através de procedimentos apropriados p. ex.: uso de testes ou provas de rendimento; questionários; seminários; observações em sala de aula; freqüência de participação durante as aulas; execução de tarefas extra sala de aula, etc. Cabe destacar, ainda, que essas capacidades cognitivas estão associadas a determinados conteúdos ou objetivos curriculares. Assim, por exemplo, o professor de português, através do uso de um texto literário qualquer, poderá medir o grau de consecução dos seguintes objetivos curriculares: Ser capaz de compreender um texto literário exige-se a capacidade cognitiva de compreensão; Ser capaz de analisar os elementos explícitos de uma mensagem exige-se a capacidade cognitiva de análise; Ser capaz de sintetizar uma mensagem original em uma segunda forma paralela e mais simples exige-se a capacidade cognitiva de síntese; Ser capaz de julgar o valor literário de uma obra, com base em critérios préestabelecidos exige-se a capacidade cognitiva de julgamento. 843

2 No mencionado exemplo, o professor estará avaliando o grau no qual os seus aprendizes alcançaram quatro objetivos educativos ou curriculares, que estão associados a distintas capacidades cognitivas, componentes da aprendizagem. Nesse âmbito, faz-se necessário recordarmos o propósito de toda e qualquer sistemática avaliativa: fornecer subsídios, para que os responsáveis pela coordenação e planejamento de ações educativas possam tomar decisões, visando o seu aperfeiçoamento. No caso da sala de aula, caberá ao professor avaliar os seus alunos para que, assim, possa julgar a adequação da sua atuação docente e o progresso individual dos aprendizes. Baseado nessas informações poderá o docente rever os procedimentos pedagógicos utilizados e, ademais, orientar os alunos que não alcançaram os objetivos educacionais. Já que os fins educativos consistem, essencialmente, em determinar as mudanças que sofrem os aprendizes, isto é, as transformações nas formas de comportamento dos estudantes, em termos de aquisição de novas aprendizagens, a avaliação da aprendizagem é o processo de determinar em que medida ou grau se consegue tal mudança, possibilitando, assim, um juízo de valor sobre a qualidade dessas supostas mudanças (Andriola, 2005; Andriola & Mc Donald, 2003, 2004). Nesta definição existem duas idéias básicas: O objeto da avaliação é o comportamento: o comportamento é entendido como sendo determinado por atributos intrapsíquicos ou organísmicas (tais como a motivação, compreensão, raciocínio, memorização, entre outros, que são a base da aprendizagem), pelo qual a tarefa avaliadora consiste na busca das manifestações externas que sirvam de indicadores dos aspectos internos, não avaliados diretamente. As relações entre os atributos internos e as manifestações externas (p. ex. as respostas aos itens de um teste de rendimento) têm por base o modelo correlacional. O objetivo pretendido é a descrição e posterior predição do comportamento a partir dos resultados obtidos em um ou mais testes; A avaliação deve ser um processo sistemático de coleta e análise de informações: deve proporcionar pelo menos duas medidas: uma no início do processo de ensino e outra, no final, posto que sua finalidade última é a emissão de um juízo de valor sobre as mudanças de comportamento devidas à aprendizagem. É interessante dizer que todo testemunho (conversas informais, debates em sala de aula, participação dos alunos, etc.) é válido para avaliar a aprendizagem. Os testes de rendimento são uma dessas inumeráveis formas de dar testemunhos que permitem a obtenção de informações úteis, válidas e fidedignas sobre a aprendizagem de estudantes. Não obstante, em qualquer testemunho, existem algumas etapas que devem ser seguidas, tais como: a) seleção de comportamentos ou ações que sejam indicadores dos objetivos curriculares que se deseja avaliar (tipo de objetivo educativo a ser avaliado); 844

3 b) apresentação de tarefas pedagógicas que possibilitem aos alunos expressar o que sabem sobre um determinado conteúdo (tipo de problema a ser utilizada). Nesse contexto, é possível dizer que o uso dos testes de rendimento é uma forma de dar testemunho, ademais, caracteriza um procedimento científico de obter observações sistemáticas, em situações estruturadas ou tipificadas, com a finalidade de descrever o comportamento do aprendiz (Tyler, 1981). Devemos destacar que durante a aplicação dos testes de rendimento, o processo de padronização das condições é fundamental, isto é, instruções, tempo de aplicação, ou qualquer outra condição devem ser similares. A possibilidade de comparar o mesmo sujeito em diferentes testes ou diferentes alunos no mesmo teste se baseia, precisamente, em manter as mesmas condições de aplicação. Classificação dos Testes de Rendimento Diversos autores têm proposto uma grande variedade de classificações para os testes de rendimento (Martinez Arias, 1997; Perez Juste & Garcia Ramos, 1989). Em nosso caso, utilizaremos uma classificação proposta por Verdugo Alonso et all. (1994), que consideram dois aspectos: o critério adotado na avaliação dos alunos e a relação dos conteúdos do teste com o currículo. Critério Usado na Avaliação dos Alunos Nesse grupo, destacamos dois tipos de testes de rendimento: referido a uma norma e referido a um critério. Teste referido à norma: quando avaliamos um aluno podemos situar o seu desempenho com respeito a uma norma, que vem determinada pelo rendimento dos alunos de sua classe, por exemplo. Os dados da avaliação com referência à norma se apresentam, geralmente, em termos de percentis. Quando não nos interesa a comparação entre o rendimento de um aluno particular com os demais, isto é, quando o que pretendemos é somente avaliar seu rendimento com relação a uns objetivos propostos a priori, então seremos nós mesmos os que estabeleceremos o critério mínimo de execução e, assim, compararemos o rendimento do aluno com respeito a esse critério. Seu problema fundamental reside no conteúdo do teste. Se o conteúdo desse não corresponde ao previsto pelo currículo que está sendo ensinado, o teste é inútil para avaliar o que o aluno aprendeu durante o período escolar. Quando o conteúdo do teste não tem nenhuma associação com a instrução educacional, as pontuações dos alunos nos testes refletirão, provavelmente, sua habilidade intelectual e não a aprendizagem obtida no período escolar. 845

4 Teste referido a um critério: diferentemente dos testes referidos à norma, que comparam a pontuação de um aluno com a média da pontuação de outros alunos de mesmas características, os testes referidos a um critério comparam a pontuação do aluno com um critério especificado. Nestes procedimentos o importante é a tarefa. Assim, se estabelece um critério para considerá-la superada por qualquer aluno. Esse critério se fundamenta, geralmente, em um conjunto hierarquizado de objetivos educativos medidos por uma ou várias tarefas pedagógicas. Desse modo, é fixado um critério mínimo de respostas que devem ser acertadas pelos respondentes. Todavia, não é conveniente esquecermos que é importante estabelecer o critério de acordo com os objetivos educativos pretendidos. O quadro 1 sintetiza as principais diferenças entre os testes referidos à norma e a um critério, segundo Martínez Arias (1997). ASPECTO TESTE REFERIDO À NORMA TESTE REFERIDO A UM CRITÉRIO Finalidade da Avaliação Estimar as diferenças entre indivíduos no Estimar o rendimento do sujeito nos traço latente que mede o teste. objetivos educativos que estão sendo Construção do teste e especificação do conteúdo dos itens Seleção dos itens Significado das pontuações (escores) Interpretação das pontuações Os conteúdos se derivam de alguma teoria de traços ou construtos. Comumente são limitados, ambíguos e sem delimitação clara do domínio dos conteúdos. São selecionados com o objetivo de distinguir as diferenças individuais. A pontuação se considera um indicador da puntuação verdadeira em um traço latente. medidos pelo teste. Os conteúdos refletem os domínios e objetivos educativos desejados. São selecionados em função dos objetivos e usos pretendidos para o teste. A pontuação representa o estimador amostral do rendimento do sujeito no domínio. Tem significado unicamente com relação aos Tem significado em termos absolutos. resultados do grupo normativo. Quadro 1. Características dos Testes Referidos à Norma e Referidos a um Critério. Relação dos Conteúdos com o Currículo São mencionados dois tipos de teste de rendimento: os que utilizam conteúdos diretamente relacionados ao currículo educativo e os que não utilizam conteúdos previstos pelo currículo educativo. Testes relacionados diretamente com o currículo: neste caso, existe uma coincidência total entre aquilo que é ensinado e aquilo que está sendo avaliado através dos itens do teste. Uma grande vantagem desse tipo de teste de rendimento é que se obtêm uma inquestionável validez de conteúdo. Não existe nenhuma dúvida de que o instrumento mede aquilo que queremos medir. Todavia, devemos ter em conta que as estratégias de ensino e o aprofundamento ou detalhamento de um mesmo aspecto do currículo podem ser muito distintas, de um centro educativo a outro. Esse motivo pode influenciar, positiva ou negativamente, o desempenho dos alunos de um ou outro centro. 846

5 Avaliação relacionada indiretamente com o currículo: a aparição no mercado de múltiplos currícula, a proliferação de diversos tipos de instrumentos de avaliação baseados diretamente no currículo e, ultimamente, a organização de bancos de itens, gerou a necessidade de dispor-se de instrumentos que pudessem ser utilizados pela maioria dos programas e que, ademais, não estivessem sujeitos às valorações e peculiaridades de cada currículo. Os instrumentos de avaliação relacionados indiretamente com o currículo devem conter aspectos relevantes para o progresso educativo e social e que, assim mesmo, sejam elementos válidos para todos os currícula. O suposto central é que existem aspectos que, ainda que não estejam previstos em boa parte dos currícula oficiais, são tidos como muito importantes por professores, investigadores, especialistas em currículo e na área específica, objeto da avaliação (Requena, 1995). Como exemplo de utilização da avaliação relacionada, indiretamente, com o currículo, nesse caso no âmbito do ensino médio, citamos um estudo realizado em 1997 por uma comissão de especialistas do Instituto Nacional de Calidad y Evaluación (INCE). Tal avaliação não partiu dos conteúdos estabelecidos pelos currícula oficiais nas matérias ou disciplinas avaliadas, senão de lo que se supone un deseable y correcto dominio en las materias objeto de la evaluación (INCE, 1997, pág. 17). De modo geral, os resultados obtidos, a partir do uso de testes de rendimento, têm uma grande variedade de funções que permitem, por exemplo: Comparar o progresso da aprendizagem dos alunos, em distintos períodos, com o objetivo de estimar a magnitude das mudanças; Identificar as debilidades e fortalezas do currículo educativo; Identificar as debilidades e fortalezas da prática docente; Propor explicações ou hipóteses sobre acertos e erros mais freqüentemente cometidos entre os respondentes. Em síntese, o uso dos testes de rendimento, no âmbito da avaliação da aprendizagem, pode ter uma grande utilidade para os estudos sobre a eficácia educacional, ou seja, para a avaliação da qualidade dos produtos educativos, a partir da atuação docente e das características curriculares. Importância dos Testes de Rendimento Antes de ressaltar sua importância queremos recordar algumas críticas genéricas feitas ao uso dos testes. O uso massivo desses instrumentos de medida ocasionou muitos problemas devido às suas próprias limitações e, sobretudo, pelo uso das pontuações ou escores muito mais além do que era aceitável. Não obstante, os testes continuam a ser muito utilizados nos Estados Unidos, em atividades como, seleção de funcionários para o serviço público e militar, avaliação 847

6 de imigrantes e progresso educativo de estudantes. Para termos idéia da quantidade de testes utilizados, anualmente, no contexto norte-americano, citamos algumas palavras de Hartle e Battaglia (1993): The National Commision on Testing and Public Policy has estimated that each year elementary and secondary school students take 127 million separate tests. Some students may take as many as 12 tests a year. The National Center for Fair and Open Testing has calculated that roughly 100 million standardized tests were administered during the school year 1 (pág. 291). Finalmente, faremos uma breve menção à importância dos testes para uma clase muito específica: os militares norte-americanos. Sabemos que em 1917 o Exército dos Estados Unidos utilizou, pela primeira vez, os mundialmente conhecidos Testes Alpha e Betha, com o objetivo de selecionar e classificar os soldados que iam participar da Primeira Guerra Mundial (Anastasi, 1988; Pasquali, 1997). Devido ao êxito de seu uso e, uma vez finalizada a guerra, a indústria e o restante das instituições em geral, incluíndo a educação, passaram a utilizar massivamente os testes, conheçendo-se uma expansão sem precedentes durante as décadas subseqüentes. Segundo dados fornecidos por Elam (1990), 73% dos estudantes do ensino médio norteamericano (high school students), entrevistados em 1990 pelo Instituto Gallup de Opinião Pública, aprovaram ser submetidos a algum tipo de teste de rendimento, para obter o diploma desse nível de ensino. Um incremento de 50% com respeito ao ano 1958, no qual foi feita, pela primeira vez, essa mesma pergunta. Como destacam Hartle e Bataglia (1993), com base em informações dessa natureza, o governo federal dos Estados Unidos está usando e encorajando o uso de mais testes de rendimento nos processos de avaliação educacional. No âmbito brasileiro, desejamos ressaltar a importância dos testes para duas relevantes áreas: Psicologia e Pedagogia. No caso da Psicologia, Nick (1988) costuma caracterizar três fases distintas. A primeira, compreendida entre os anos 30 e 60, é chamada Momento da Idealização e é tida como a fase áurea da construção de instrumentos de medida psicológica. Apesar disso, muitos dos autores relegaram a segundo plano a determinação dos parâmetros métricos de seus testes e, entre aqueles que estabeleceram tais parâmetros, é necessário ressaltar a precariedade com que foram realizadas as análises estatísticas dos seus instrumentos, pois não contavam com análises sofisticadas, proporcionadas por softwares, nem com computadores. Assim, embora sejam considerados válidos tais parâmetros, é necessário admitir a existência de inúmeros erros, sobretudo de amostragem, e de precisão dos cálculos. 1 A Comissão Nacional de Avaliação e Políticas Públicas estima que são utilizados, anualmente, 127 milhões de testes, nos níveis fundamental e secundário de ensino. Alguns alunos podem chegar a submeter-se a até 12 testes ao ano. O Centro Nacional para Avaliações Justas e Democráticas calculou que foram utilizados 100 milhões de testes durante o ano acadêmico

7 A segunda fase, compreendida entre o final dos anos 70 e meados de 80, foi denominada por Nick (1988) de Momento da Desilusão. Pode ser caracterizada pela supervalorização dos testes psicológicos, resultando no uso generalizado e quase sempre inadequado dos mesmos; a orientação vocacional foi uma das áreas mais prejudicadas. O resultado imediato desse fenômeno foi um tremendo descrédito por parte da sociedade, principalmente das empresas privadas, na utilização dos testes psicológicos. É nesse momento que surgem críticas contrárias aos estudos de adaptação de instrumentos de medida psicológica à realidade brasileira. Como exemplo, citamos a posição de Augras (1990), para quem os testes são produtos culturais, e só fazem sentido dentro do universo de referências simbólicas que os gerou (pág. 79). O Momento de Maturidade caracteriza a atual fase, que teve início na segunda metade dos anos 80. Possui como traço principal a reação de parte dos psicólogos às críticas lançadas aos testes psicológicos. É o período no qual aumentam, considerablemente, os estudos visando adaptações, construções e informatizações de instrumentos psicológicos à realidade brasileira; são criados cursos de especialização em Avaliação e Medida Psicológica; inicia-se a tentativa de elevar a credibilidade da sociedade nos instrumentos de medida psicológica (Andriola, 1995 ab). Já no contexto pedagógico da avaliação educacional, mais especificamente no ensino superior, os testes de rendimento são utilizados pela maioria das universidades brasileiras, sejam de natureza pública ou privada, como procedimento para a seleção dos aspirantes ou candidatos aos seus cursos, que é popularmente conhecido como vestibular (Bosi, 2000). No âmbito da Universidade Federal do Ceará (UFC) são utilizados, anualmente, uns testes durante a realização do seu vestibular. Por exemplo, no ano 2000 se apresentaron quase candidatos, que foram submetidos a sete testes nas áreas de matemática, física, química, biologia, história do Brasil e geral, língua portuguesa e língua extrangeira (Andriola, 2002). Igualmente, nos três processos de avaliação da qualidade do ensino nacional, realizados pelo Ministério da Educação e Desporto (MEC), são utilizados testes de rendimento. O Sistema Nacional de Avaliação da Educação Básica (SAEB), órgão subordinado ao MEC, é responsável pela avaliação da qualidade do ensino fundamental desde o ano A partir desse ano executou avaliações sistemáticas nos anos 1990, 1993, 1995, 1997 e A última delas contou com a participação de 360,4 mil estudantes de municípios dos 27 estados federativos, que cursavam a 4ª e 8ª séries. Esses alunos foram avaliados nas disciplinas de língua portuguesa, matemática, ciências, história, geografia, física, química e biología (MEC, 2001 a). A avaliação da qualidade do ensino médio foi implantada pelo MEC em 1998, através da portaria ministerial nº 438, publicada no Diário Oficial da União (DOU) em 28 de maio do 849

8 mesmo ano. É conhecido como Exame Nacional do Ensino Médio (ENEM) e foi executado nos anos 1998, 1999 e 2000 (MEC, 2001b). De acordo com dados do MEC, 315 mil alunos foram submetidos ao ENEM no ano Finalmente, o processo de avaliação da qualidade do ensino superior foi criado pela lei 9.131/1995, sendo conhecido como Exame Nacional de Cursos (PROVÃO). Desde então, foi executado nos anos 1996, 1997, 1998, 1999, 2000 e Segundo o MEC, o PROVÃO do ano 2000 contou com a participação de, aproximadamente, universitários, o que supõe o uso de igual quantidade de testes de rendimento (MEC, 2001 c). Diante de tantos processos avaliativos, não causa nenhuma surpresa a afirmação de que, no Brasil, alcançamos uma certa maturidade avaliadora. O termo maturidade revela um aceitável grau de progresso da nossa sociedade, pois nos damos conta de que os sistemas educativos representam uma das maiores empresas de intervenção social. Sua atividade e seus produtos afetam, direta ou indiretamente, a maioria dos membros da sociedade civil. Avaliar o seu funcionamento é algo de extremada relevância, já que uma enorme quantidade de verba pública é utilizada para tal, devendo, portanto, ser gerenciada e controlada, adequadamente, pela sociedade civil (Andriola, 2002, 2003). À guisa de conclusão Destacamos que à avaliação da aprendizagem lhe cabe a função de delimitar as aquisições e os modos de raciocínio de cada aprendiz, de maneira que o professor possa auxiliálo a progredir e, assim, alcançar ou aproximar-se, o máximo possível, dos objetivos curriculares propostos a priori. Nesse âmbito ela, a avaliação, torna-se uma atividade necessária e imprescindível, porque é uma estratégia pedagógica de luta contra o fracasso escolar e, por conseguinte, das desigualdades sociais. Ora, mas se a avaliação, nessa perspectiva, nada mais é do que um modo de regular a ação pedagógica à luz das informações sobre os aprendizes, por que não é uma prática corrente? Por vários motivos. Destaquemos tão somente dois deles. Primeiro: porque a formação dos professores trata muito pouco da avaliação e dos seus modelos, menos ainda, da avaliação da aprendizagem. Segundo: porque esse modelo avaliativo choca-se com inúmeros obstáculos materiais e institucionais turmas numerosas, concepções inadequadas de ensino, alunos desmotivados, famílias ausentes da escola, dentre inúmeras outras dificuldades. Outrossim, afirmamos que a qualidade educacional, independentemente do seu significado, é um construto intimamente associado ao uso de procedimentos sistemáticos de avaliação (Andriola, 1999 a; Andriola, 2000 c). Além do mais, abemos que um poderoso 850

9 indicador da qualidade de uma instituição educacional é o nível de alcance dos objetivos curriculares propostos a priori, isto é, o grau de efetividade ou eficácia escolar que possui. Destacamos que o procedimento mais adequado para medir o grau de efetividade escolar é através da comparação dos resultados educativos observados com aqueles esperados, isto é, comparar o grau de aprendizagem obtido pelos alunos com os objetivos educativos propostos. Para tanto, devemos usar os conhecidos testes de rendimento ou referidos a um critério, já que são considerados os instrumentos mais adequados a esse tipo de estudo. Não obstante, é bastante comum que os itens utilizados nesse tipo de teste tenham uma característica conhecida como funcionamento diferencial do item (DIF). Faz-se mister enfatizar: o DIF ocasiona sérios problemas às avaliações educacionais. Trata-se de um fator de injustiça para alguns grupos de respondentes, já que os alunos que possuem o mesmo grau de aprendizagem, mas que provêm de distintos grupos demográficos, têm distintas probabilidades de acertar um mesmo item. Portanto, devemos reconhecer a relevância das investigações sobre o DIF, já que podem proporcionar maior eqüidade aos processos de avaliação educacional, através da identificação e não utilização daqueles itens que possuam algum tipo de DIF. Por fim, devemos enfatizar a opinião de Andriola (2002): o estudo do DIF deve preceder qualquer processo de avaliação educacional sério, ou seja, esse tipo de estudo deve, necessariamente, fazer parte da fase de pré-teste dos itens antes de sua definitiva utilização. Em suma, esse é o panorama atual. Entre as inúmeras necessidades educacionais reais e as políticas propostas para supri-las, nem sempre há coerência. Porque existe, atualmente, no seio educacional, certa paralisia pela crise econômica, fragilidade da maioria detentora do poder, contradições internas e excesso de burocracias educativas, fatores esses que provocam o distanciamento entre os ideais declarados e a realidade dos sistema educacional. Como afirma um antigo adágio latino: álii seméntem fáciunt, álii metent (uns fazem a sementeira, outros colhem os frutos). 851

10 Referências Bibliográficas ANASTASI, A. Psychological Testing. New York: MacMillan, Os testes psicológicos no Brasil: problemas, pesquisas e perspectivas. In L. S. Almeida & I. S. Ribeiro (Org.), Avaliação Psicológica. Formas e contextos (pp ). Braga: Associação dos Psicólogos Portugueses, 1995 a.. Problemas e perspectivas quanto ao uso de testes psicológicos no Brasil. Psique, 6, 46-57, 1995 b.. Avaliação do raciocínio numérico em estudantes do 2º grau. Educação em Debate, 29/32, 95-99, 1995 c.. Detección del funcionamiento diferencial del ítem (DIF) en tests de rendimiento. Aportaciones teóricas y metodológicas. Tese de Doutorado (629 p.). Madrid: Universidad Complutense de Madrid, Cuidados na avaliação da aprendizagem: algumas reflexões (p ). In McDonald, Brendan Coleman (Org.). Esboços em Avaliação Educacional. Fortaleza: Editora da UFC, (Org.). Avaliação educacional. Navegar é preciso. Fortaleza: Editora da UFC, (Org.). Múltiplos olhares em torno da Educação. Fortaleza: Editora da UFC, ANDRIOLA, W. B. & Mc DONALD, B. C. (Org.). Avaliação. Fiat lux em Educação. Fortaleza: Editora da UFC, AUGRAS, M. Testes psicológicos e antropologia. Arquivos Brasileiros de Psicologia, 42 (3), 77-87, BOSI, A. A importância da Universidade Pública. Ciência Hoje, 28 (165), 42-48, BRASIL. Ministério da Educação e Desporto. O Sistema Nacional de Avaliação da Educação Básica (SAEB). Texto retirado do World Wide Web <http//: a.. Ministério da Educação e Desporto. O Exame Nacional do Ensino Médio (ENEM). Texto retirado do World Wide Web <http//: b.. Ministério da Educação e Desporto. O Exame Nacional de Cursos (PROVÃO). Texto retirado do World Wide Web <http//: c. ELAM, S. M. The 22 nd annual Gallup poll of the public s attitudes toward the public scholls. Phi Delta Kappan, 72(1), 42-55, HARTLE, T. W. & BATTAGLIA, P. A. The Federal Role in standardized Testing (pp ). In R. E. Bennett & W. C. Ward (Org.), Construction versus Multiple Choice Items in Cognitive Measurement. New Jersey: Lawrence Erlbaum Associates,

11 INCE - INSTITUTO NACIONAL DE CALIDAD Y EVALUACIÓN. Informe Técnico de los Resultados Escolares. Diagnóstico del sistema educativo La escuela secundaria obligatoria. Madrid: Ministerio de Educación y Cultura (MEC), MARTÍNEZ ARIAS, R. Psicometría. Teoría de los Tests Psicológicos y Educativos. Madrid: Ediciones Síntesis, Mc DONALD, B. C. (Org.). Esboços em Avaliação Educacional. Fortaleza: Editora da UFC, NICK, E. Vivências relativas ao trabalho em avaliação psicológica. Dificuldades, limites e perspectivas para o Brasil. Anais da 18ª Reunião Anual da Sociedade Brasileira de Psicologia de Ribeirão Preto-SBPRP (pp ). Ribeirão Preto: SBPRP, PASQUALI, L. Psicometria: Teoria e Aplicações. Brasília: Editora UnB, PEREZ JUSTE, A. & GARCÍA RAMOS, R. Diagnóstico, Evaluación y Toma de Decisiones. Madrid: Ediciones Rialp S. A., TYLER, L. E. Testes e Medidas. Rio de Janeiro: Zahar Editores, VERDUGO ALONSO, M. A., FUERTES, J., JENARO, C., JIMÉNEZ GÓMEZ, F., LÁZARO, A. J., ÁNGELES MAYOR, M., MONJAS, I., ORRANTIA, J., PEDROSA, C., RUBIO, V. SAIZ, C. SÁNCHEZ MIGUEL, E., VERDUGO, M. A. & ZALDÍVAR, F. Evaluación Curricular. Una guía para la intervención psicopedagógica. Madrid: Siglo XXI de España Editores S. A.,

12 854