Palavras-chave: Avaliação educacional; Teoria de Resposta ao Item (TRI); Modelagem Matemática.

Transcrição

1 Braslera de na Contemporanedade: desafos e possbldades AVALIAÇÕES DE SISTEMA: ESTIMAÇÃO DE PROFICIÊNCIAS POR MEIO DO USO DE MODELAGENS MATEMÁTICA BASEADA NA TEORIA DE RESPOSTA AO ITEM Wagner Bandera Androla Unversdade Federal do Ceará w_androla@yahoo.com Resumo O presente texto tem o ntuto de descrever como são estmadas as profcêncas dos alunos (qualdade das aprendzagens) nas avalações de sstema educaconas, a partr de modelo matemátco baseado na Teora de Resposta ao Item (TRI). A TRI vsa soluconar uma grave lmtação da sua antecessora, a Teora Clássca dos Testes (TCT), que fo muto utlzada em sstemátcas naconas, estaduas e muncpas, com o ntuto de avalar a qualdade do aprendzado do alunado através de testes de rendmento (ANDRIOLA, 2004). Ressalta-se que a Teora de Resposta ao Item (TRI) possu duas característcas essencas. A prmera é a possbldade de comparação de resultados de sujetos dstntos ao longo de períodos temporas. Com efeto, pode-se comparar resultados de anos dferentes e até mesmo de estados ou países dstntos. A segunda é o fato de poder colocar em uma mesma escala o tem e a habldade do aluno. Nessa perspectva, a utlzação da TRI produz nformações sobre as característcas dos tens dos testes, tal como seu grau de dfculdade, a capacdade que os tens têm de dscrmnar dferentes grupos de estudantes e a probabldade de acerto ao acaso. Pretende-se, assm, apresentar o modelo matemátco da TRI e dscorrer sobre as premssas: ) Os alunos têm dstntos níves de aprendzado que podem ser dentfcados; ) as dferentes habldades componentes de cada nível de profcênca podem ser avaladas de forma precsa; ) a magntude das dferenças de profcêncas entre os alunos pode ser estmada; v) a méda das profcêncas dos alunos pode ser calculada e, assm, determnar-se as dferenças entre escolas; v) os fatores nternos assocados às escolas de elevadas médas podem ser dentfcados e, assm, se podem expand-los às demas; v) é possível agrupar as médas das escolas e, assm, ter ndícos da qualdade do própro Sstema Muncpal de ao longo de certo período temporal (uso de séres hstórcas); v) é possível ntroduzr ações pedagógcas de relevo, de modo a proporconar mudanças substantvas nos níves de profcêncas dos alunos. Palavras-chave: Avalação educaconal; Teora de Resposta ao Item (TRI); Modelagem. 1. Introdução A partr da década de 1990, a avalação de sstemas escolares passou a ocupar posção central nas polítcas públcas de educação, sendo recomendada e promovda por agêncas nternaconas, pelo Mnstéro da e por Secretaras de de numerosos estados brasleros, como elemento prvlegado para a realzação das expectatvas 1

2 na Contemporanedade: desafos e possbldades Socedade Braslera d de promoção da melhora da qualdade do ensno básco e superor. Os dversos níves e modaldades de ensno - da educação básca à pós-graduação - têm sdo objeto de avalação por parte do poder públco sob o pressuposto de que a avalação pode "produzr" um ensno de melhor qualdade. As possíves contrbuções da avalação na promoção da melhora do ensno têm sdo dscutdas com base em dos tpos de argumentos: a. O prmero consdera a lógca nterna dos processos de avalação, examna seus prncípos e procedmentos, procura explctar os enfoques e crtéros adotados, tomando-os como referênca para a dscussão das potencaldades e dos lmtes das prátcas adotadas. As possbldades de nterferênca da avalação na melhora da qualdade de ensno estaram presentes na própra lógca ntrínseca ao seu delneamento; b. O segundo consdera também a utlzação dos resultados na condução das polítcas educaconas, examnando a valdade, a relevânca e a oportundade das ncatvas adotadas como consequênca do conhecmento obtdo medante o processo de avalação. No Brasl, os debates a propósto das ncatvas do governo federal e de governos estaduas tendem a focalzar os prncípos e os delneamentos dos programas realzados, procurando explctar suas potencaldades ou defcêncas e/ou rscos nerentes à sua mplementação, explorando, por vezes, concepções de qualdade de ensno mplíctas nos programas de dferentes admnstrações. São anda escassas as nvestgações que se propõem a explorar o uso dos resultados nos processos decsóros pelas dversas nstâncas do sstema educaconal, o que torna oportunas as pesqusas dessa natureza. Sua nsttuconalzação, tanto em âmbto naconal quanto nas undades federadas, tem mplcações nas polítcas públcas de educação envolvendo as nsttuções, o currículo, os profssonas e os estudantes, e evdenca uma redefnção do Estado em relação ao seu papel na área. No Brasl, a partr de 1995, a mplementação de processos avalatvos ntensfcase e a vsão de melhora da qualdade do ensno e do papel do Estado na educação, ntrínseca à avalação em larga escala, assume crescentemente maor mportânca no debate educaconal. Nesse período, agêncas nternaconas passam a estmular e nfluencar de modo mas dreto o delneamento das propostas de avalação de sstemas, demonstrando claro nteresse sobre a efcáca dos nvestmentos externos na educação. O Sstema de Avalação da Básca - Saeb -, de nível naconal, mplementado a partr de 1990, passa, por exemplo, a ser parcalmente fnancando pelo Banco Mundal e, consequentemente, sofre transformações de acordo com a mudança de seus agentes, nfluêncas de concepções, pesqusas e técncas avalatvas nternaconas. A consoldação do Saeb estmulou anda as propostas de avalação 2

3 Braslera de na Contemporanedade: desafos e possbldades no âmbto de governos estaduas, ncatvas que passaram a ter centraldade nas polítcas em curso. Nessa dreção, a adoção de procedmentos estatístcos avançados começou a ser algo persegudo pelos sstemas de avalação que estavam sendo crados. Um desses procedmentos é conhecdo pelo nome de Teora da resposta ao Item (TRI). 2. Breve revsão hstórca da TRI Como sempre ocorre no âmbto das Cêncas, os modelos ou teoras não surgem de um momento para outro, da note para o da, nem tampouco de forma lnear (ANDRIOLA, 1998). A Teora de Resposta ao Item (TRI) não é, como se podera ngenuamente acredtar, um novo enfoque pscométrco (ANDRIOLA, 2001). Suas raízes foram estabelecdas nos anos 1930 pelo pscólogo Lous Leon Thurstone ( ). Não obstante, fo somente com o avanço dos sstemas de nformação e dos programas de computação que a nova teora fo, de fato, posta em uso, de modo massvo, pelos sstemas educaconas mundo afora (ANDRIOLA, 2009). Para lustrar o exposto, cumpre destacar que, no âmbto braslero, a TRI vem sendo usada, desde 1990, pelo Sstema Naconal de Avalação da Básca (SAEB) mplementado pelo Mnstéro de (MEC) desde 1998 (ANDRIOLA & BARRETO, 1997). A TRI vsa soluconar uma grave lmtação da sua antecessora, a Teora Clássca dos Testes (TCT), modelo este que fo muto utlzado em sstemátcas naconas, estaduas e muncpas com o ntuto de avalar a qualdade do aprendzado do alunado através de avalações em larga escala empregando-se testes de rendmento (ANDRIOLA, 2004). Tal lmtação se refere ao fato de que, na TCT, o grupo de alunos seleconado com base nos seus desempenhos depende, quase exclusvamente, do teste utlzado (ANDRIOLA, LEITE & MAIA, 2013). De modo a lustrar a lmtação referda, vamos supor que um grupo de 300 alunos concorresse a 100 vagas e, para tal, se submetesse a um Teste 1. Ao fnal do certame, havera 100 seleconados com base no uso do Teste 1. Na lnha das suposções, magnemos que o certame tvesse sdo anulado por causas estranhas ao certame (omtamos a hpótese de problemas na elaboração do teste) e que, novamente, os 300 alunos devessem ser submetdos a uma nova seleção, através do uso de um Teste 2. Após a aplcação desta, nada assegurara que os 100 alunos seleconados no prmero momento, em que fo empregado o Teste 1, fossem os mesmos seleconados no momento posteror, em que fo usado o Teste 2, embora este medsse os mesmos conteúdos do seu antecessor, o Teste 1. Esse caso fctíco exemplfca 3

4 na Contemporanedade: desafos e possbldades Socedade Braslera d como o nstrumento de medda (teste) utlzado pode comprometer a seleção justa dos melhores alunos (ANDRIOLA, 2003). É como se o comprmento de uma mesa, por exemplo, dependesse do nstrumento (fta métrca) utlzado para a sua medda. Ao usar a fta métrca A obteríamos uma medda de comprmento A, enquanto ao usarmos a fta métrca B obteríamos uma medda de comprmento B. Como explcar as dferenças destas duas meddas hpotétcas, se o comprmento da mesa é nvarável? Com os dos exemplos, pode-se compreender como a estmatva do aprendzado dos alunos é contamnada pelo nstrumento de medda utlzado (o Teste), dexando de garantr, assm, a seleção dos alunos de maor mérto (ANDRIOLA, 2008). Para soluconar esse grave problema a TRI fundamenta-se em dos prncípos: convergênca e separabldade. O prncípo da convergênca fundamenta-se na déa de que o nstrumento utlzado para medr a aprendzagem dscente deve maxmzar a probabldade de escolher os canddatos com maor grau de aprendzagem, ndependentemente de estes alunos serem submetdos a outros nstrumentos de medda em outras stuações de seleção. Em síntese: os resultados devem convergr para a escolha dos melhores canddatos (ANDRIOLA, 2005). Já o segundo prncípo, o da separabldade, está assocado à possbldade de dstngur os ndvíduos conforme o grau de aprendzagem destes, de modo a garantr a mertocraca e, assm, contrbur para a efetvdade da nclusão e da justça socas. Por outro lado, a TRI permte comparar o progresso do aluno ao longo da sua formação acadêmca, bem como estmar o valor agregado pelo curso e/ou pela nsttução, contrbundo, com sso, para estudos com vstas ao aprmoramento da gestão pedagógca, bem como da formação acadêmca vslumbrada (ANDRIOLA, 2006; ANDRIOLA 2011). 3. Bases s da TRI A TRI propõe um modelo matemátco que formalza a relação entre elementos essencas da stuação na qual uma pessoa responde a um problema (tem de uma prova de rendmento, por exemplo). Nessa stuação, quanto maor a habldade da pessoa no fator requerdo pelo problema maor será a probabldade de que ela responda corretamente (MUÑIZ & HAMBLETON, 1992; LORD, 1980). Conforme Muñz (1997), a TRI representa matematcamente essa stuação por meo da Curva Característca do Item (CCI), que ndca a probabldade de acerto em função da habldade das pessoas que o respondem e da dfculdade do problema (dependendo do 4

5 Braslera de na Contemporanedade: desafos e possbldades modelo, podem ser ncluídas outras característcas como a dscrmnação e a probabldade de acertos ao acaso). O modelo de um parâmetro ncalmente crado por Georg Rasch em 1980 caracterza o tem somente pela sua dfculdade (parâmetro a). Segundo GOLDSTEIN e WOOD (1989), em 1968 Allan Brnbaum apresentou o modelo de dos parâmetros logístcos, caracterzando a qualdade do tem a partr da dfculdade (parâmetro a) e do poder de dscrmnação (parâmetro b). Atualmente, o modelo logístco de três parâmetros é o mas utlzado mundalmente, posto que se basea em três componentes do tem: a dfculdade, a dscrmnação e a probabldade de ser acertado ao caso (parâmetro c). A partr da estmação destes três parâmetros é possível representar a qualdade do tem através da Curva Característca do Item (CCI), conforme a fgura abaxo. Na fgura acma: ü a representa a dfculdade do tem; ü b representa o poder de dscrmnação do tem; ü c representa a probabldade de acerto ao acaso do tem; ü a habldade é o construto latente (representada pela letra grega θ). Como destacou Pasqual (1997), a CCI é a característca partcular de cada tem, é sua cartera de dentdade, uma vez que compartlha uma forma geral muto parecda com um S. Para fnalzar, convém destacar, por oportuno, que a prátca da avalação pscológca e educaconal sofreu profundas modfcações com o surgmento dos modelos de TRI. Desde então, foram propostos dstntos modelos undmensonas para dados dcotômcos; desenvolveram-se varados procedmentos para a estmação dos parâmetros dos tens e da magntude dos sujetos na varável latente θ estmação de máxma verossmlhança condconal e estmação de máxma verossmlhança conjunta; formularam-se dstntas provas para verfcar o grau de ajuste do modelo aos dados empírcos qu-quadrado e análse dos resíduos. Nesse novo contexto, o foco das sofstcadas análses estatístcas desvou-se do teste 5

6 na Contemporanedade: desafos e possbldades Socedade Braslera d (que representa o macro) para o tem (que representa o mcro). A lógca para tal câmbo é a mesma usada pela Físca Quântca: o mcro (nano) 1 exerce nfluênca sobre o macro. Justfcase, assm, a acentuada ênfase no uso dos modelos de TRI, vsto que se prestam à análse acurada do mcro - os tens (ANDRIOLA, 2009). 4. O uso da TRI para estmar profcêncas Após a elaboração dos tens, em conformdade com as especfcações pedagógcas adotadas (p. ex.: matrzes de referênca), procede-se à parametrzação destes. A parametrzação consste na determnação dos seguntes aspectos nerentes ao tem: a) Dfculdade; b) Dscrmnação; c) Probabldade de acerto ao acaso. Com estes parâmetros determnados pode-se, agora, estmar o grau de aprendzagem (ou de profcênca) dos alunos. A partr dsto, pode-se avalar a efcáca do ensno, agrupando os alunos em turmas, em escolas e em sstemas. Os três parâmetros (dfculdade, dscrmnação e probabldade de acerto ao acaso) são estmados através do segunte modelo matemátco. P( ) = c + (1 + c e ) 1+ e Da ( Da ( b ) b ) ü P(θ) é a probabldade de acerto do tem dada determnada magntude de θ; ü θ é a varável latente medda pelo tem ; ü a é o índce de dscrmnação do tem ; ü b é o índce de dfculdade do tem ; ü c é a probabldade de que o tem seja acertado ao acaso; ü e é o valor (2,72) na base dos logartmos neperanos; ü D é uma constante de valor 1,7 Os passos para a estmação da profcênca serão descrtos a segur 1 O prefxo nano ndca uma undade de medda dervada, gual a 10-9 vezes a prmera (Cf. Dconáro Novo Aurélo, Século XXI). No campo da Físca, o termo quark fo cunhado pelo físco norte-amercano Murray Gell-Man e refere-se a um dos consttuntes fundamentas da matéra. No seu lvro, El quark y el Jaguar (4ª edção, Madrd: Ed. Metatemas, 2003), há uma ctação que sntetza muto bem a assocação entre o mcro e o macro, o smples e o complexo: (...) los quarks son las partículas elementales que consttuyen el núcleo atómco (...). El Jaguar representa la complejdad del mundo que nos rodea, especalmente tal como se manfesta en los sstemas complejos adaptatvos (...). La magen del quark e del Jaguar transmte perfectamente m dea de lo smple y lo complejo: de un lado las leyes físcas subyacentes de la matera y el unverso, y del otro, el rco entramado del mundo que percbmos drectamente y del que formamos parte (p. 29). 6

7 Braslera de na Contemporanedade: desafos e possbldades 1. Incalmente se procede à estmação dos três parâmetros de cada tem (dfculdade, dscrmnação e probabldade de acerto ao acaso). 2. Para tal, uma prmera equação estma os parâmetros dos tens, ndependentemente da magntude dos alunos na varável latente (θ), usando, para tal, o número total de respostas corretas. 3. Posterormente, sobre as bases de uma segunda equação, pode-se estmar a magntude dos alunos (as profcêncas) na varável latente (θ) conhecendo-se tãosomente os parâmetros dos tens, já estmados pela prmera equação. 4. Fnalmente, uma tercera equação permte o contraste dos resultados da prmera equação com os da segunda equação (Método de Máxma Verossmlhança), verfcando, assm, sua adequação. 5. Desse modo, pode-se dzer que houve, quase concomtantemente, a estmação: ü Dos parâmetros dos tens (dfculdade, dscrmnação e probabldade de acerto ao acaso); ü Da profcênca de cada aluno; ü Da plausbldade dos dos conjuntos de valores (dos parâmetros dos tens e da profcênca gerada). Após a parametrzação, o modelo gera a CCI (curva característca do tem) para cada tem, conforme apresenta-se na fgura 1. Fgura 1: Curva característca do Item 7

8 na Contemporanedade: desafos e possbldades Socedade Braslera d Com os valores do parâmetro b (a dfculdade) se pode organzar os tens de modo crescente. Por exemplo: Q30 (Cad. 2): b =-0,025 (Fácl); Q39 (Cad. 6): b = 2,421 (Muto Dfícl); Q23 (Cad. 4) b = 0,319 (Intermedára); Q23 (Cad. 3): b = 0,341 (Intermedára). 6. Estes valores explcam algo nustado, à prmera vsta: como alunos com mesma quantdade de acertos podem ter profcêncas dstntas. Por fm, a segur serão descrtas as consderações fnas dessa pesqusa. 5 Consderações Fnas O texto dscorreu acerca das potencaldades dos Sstemas de Avalação exstentes no Brasl, em dstntos níves da admnstração públca: muncpal, estadual e federal. Desde os anos 1990, com a cração do Sstema de Avalação da Básca (SAEB), foram ntroduzdos, no Brasl, procedmentos para averguar a qualdade dos sstemas educaconas, a partr da estmação das profcêncas dos alunos em testes de rendmento. Sob esta ótca, ntroduzram-se, também, novações metodológcas nos procedmentos de análses dos dados resultantes do desempenho dos alunos nas referdas provas. A mas destacada novação fo efetvada com a adoção da Teora de Resposta ao ITEM (TRI), dado que esta possblta comparar resultados de sujetos dstntos ao longo de períodos temporas. Igualmente, podem ser comparados resultados de outras entdades (escolas e sstemas educaconas) obtdos em anos dferentes, bem como de muncípos, estados e países dstntos. A segunda é o fato de poder colocar em uma mesma escala o tem e a profcênca dos alunos. Para conclur, há que se destacar que o uso sstemátco da TRI proporconou, dentre outros avanços, os seguntes: ) A dentfcação de dstntos níves de aprendzado do alunado (profcêncas); ) A dentfcação das dferentes habldades componentes de cada nível de profcênca; ) A estmação da magntude das dferenças de profcêncas entre alunos; v) A determnação da méda das profcêncas dos alunos que podem ser agrupados por escola, possbltando a observação de possíves dferenças entre escolas; v) A dentfcação de fatores nternos assocados às escolas de elevadas médas de profcêncas; 8

9 Braslera de na Contemporanedade: desafos e possbldades v) A dentfcação do nível de qualdade do própro Sstema Muncpal de ao longo de certo período temporal (uso de séres hstórcas), a partr da observação do comportamento das médas de profcêncas dos alunos agrupados em escolas; v) A ntrodução de ações pedagógcas de relevo, de modo a proporconar mudanças substantvas nos níves de profcêncas dos alunos. 7. Referêncas ANDRIOLA, W. B. Utlzação da Teora da Resposta ao Item (TRI) para a organzação de um banco de tens destnados a avalação do racocíno verbal. Pscologa: Reflexão e Crítca, Ro Grande do Sul, v. 11, n.2, p , ANDRIOLA, W. B. Descrção dos prncpas métodos para detectar o Funconamento Dferencal dos Itens (DIF). Pscologa: Reflexão e Crítca, Ro Grande do Sul, v. 14, n.3, p , ANDRIOLA, W. B. Descrpcón de los prncpales métodos para detectar el funconamento dferencal de ítem (DIF): un análss crítco. Bordón: Revsta de Pedagoga, Madrd, v. 2, n.55, p. 7-19, ANDRIOLA, W. B. Avalação da aprendzagem: concetos, dados, problemas e perspectvas. Pscologa Argumento, Curtba, v. 22, n.39, p , ANDRIOLA, W. B. Breve retrospectva hstórca acerca dos estudos que abordam o vés dos tens de testes pscológcos. Pscologa Argumento, Curtba, v. 23, p , ANDRIOLA, W. B. Estudo sobre o vés de tens em testes de rendmento: uma retrospectva. Estudos em Avalação Educaconal, São Paulo, v. 17, p , ANDRIOLA, W. B. Uso da Teora de Resposta ao Item (TRI) para analsar a equdade do processo de avalação do aprendzado dscente. Revsta Iberoamercana de Evaluacón Educatva, Santago de Chle, v. 1, p , ANDRIOLA, W. B. Pscometra moderna: característcas e tendêncas. Estudos em Avalação Educaconal, São Paulo, v. 20, p , ANDRIOLA, W. B. Doze motvos favoráves à adoção do Exame Naconal do Ensno Médo (ENEM) pelas Insttuções Federas de Ensno Superor (IFES). Ensao: Avalação e Polítcas Públcas, Ro de Janero, v. 19, p , ANDRIOLA, W. B.; BARRETO, J. A. Análse métrca de nstrumento de medda da aprendzagem através da Teora da Resposta ao Item-TRI. Ensao: Avalação e Polítcas Públcas, Ro de Janero, v.5, n.5, p , ANDRIOLA, W. B.; LEITE, R. H.; MAIA, J. L. Análse métrca de questões componentes de testes de rendmento: mecansmo de feedback para aprmorar sua elaboração. Foro Educaconal, Santago de Chle, v. 21, p , GOLDSTEIN, H.; WOOD, R. Fve decades of tem response modellng. Brtsh Journal of Mathematcal and Statstcal Psychology, London, v. 42, p , LORD, F. M. Applcatons of tem response theory to practcal testng problems. New Jersey: Lawrence Erlbaum Assocates, MUÑIZ, J. Introduccón a la teora de respuesta a los ítems. Madrd: Edcones Prâmde,

10 na Contemporanedade: desafos e possbldades Socedade Braslera d MUÑIZ, J.; HAMBLETON, R. K. Medo sglo de Teoría de Respuestas a los Ítems. Anuaro de Pscologa, Madrd, n. 52, p , PASQUALI, L. Pscometra: teora e aplcações. Brasíla: UnB,

11 Braslera de na Contemporanedade: desafos e possbldades 11