COMPARAÇÃO ENTRE DOIS MODELOS MULTINÍVEL COM DADOS LONGITUDINAIS ASSOCIADOS À PROFICIÊNCIA EM LEITURA Adilson Dalben, UNICAMP

Transcrição

1 COMPARAÇÃO ENTRE DOIS MODELOS MULTINÍVEL COM DADOS LONGITUDINAIS ASSOCIADOS À PROFICIÊNCIA EM LEITURA Adilson Dalbn, UNICAMP RESUMO Est artigo compara dois modlos multinívl qu nvolvm as msmas variávis procssam os msmos dados longitudinais forncidos plo Projto GERES. São dados dos alunos d amostra d 31 scolas m cinco grands cidads brasiliras coltados durant 4 anos. Nos modlos, a proficiência final m litura é colocada como variávl rsposta outras 1 variávis sobr nsino d língua portugusa na scola sobr o aluno são colocadas como xplicativas. Um dos modlos foi laborado m dois nívis hirárquicos analisa as variávis ano a ano, sparadamnt, nquanto qu o outro agrupa os dados dos 4 anos m três nívis. A convrgência sprada dos rsultados não foi constatada, colocando m dúvida alguns aspctos da visão dtrminística associada aos studos quantitativos dssa naturza. Palavras-chav: dados longitudinais, modlos multinívl, ficácia scolar. Introdução O prsnt artigo traz para a discussão um viés constatado durant o dsnvolvimnto d uma psquisa quantitativa com foco na ficácia scolar qu busca idntificar os fators associados à proficiência m litura matmática usando dados longitudinais analisados através d modlos multinívl. Ess viés é a falibilidad dos modlos statísticos matmáticos as subjtividads inrnts a ls, ambas pouco xplicitadas na divulgação dos rsultados produzidos nsss trabalhos. Os studos quantitativos ligados à ficácia scolar têm s dsnvolvido muito dsd a publicação do Rlatório Colman ocorrida m 1966, por mostrar qu a maior part das dsigualdads nos rsultados ducacionais por alunos amricanos ram originadas mantidas plo contxto socioconômico m qu sua família sua scola stavam insridos, ou sja, o studo troux vidências d qu as scolas não consguiam trazr a dsjada quidad ducacional. Favorcidos plo dsnvolvimnto tcnológico orintados para a busca d otimização d rcursos, os studos quantitativos ganharam força nas últimas décadas quando as políticas públicas ducacionais adotam a avaliação como rcurso cntral para o uso d sus rsultados para a tomada d dcisão.

2 Apsar d qu no Brasil os studos quantitativos qu nvolvm modlos multinívl dados longitudinais ainda srm incipints, na Europa nos Estados Unidos, há décadas são produzidos analisados, sndo qu nsts últimos, muita controvérsia tm sido grada, sobrtudo por starm associados à lógica mritocrática qu tornaram as avaliaçõs m xams d alto impacto. Esss xams associam a ficácia da scola ao dsmpnho médio d sus alunos m tsts, sjam ls sccionais ou longitudinais. Nas avaliaçõs qu coltam dados sccionais, as scolas os profissionais qu nla atuam são avaliados pla proficiência dos alunos, um indicador sobr o qual têm influência m apnas part dl, pois: (i) part da proficiência dos alunos stá atrlada a fators xtra-scolars, m spcial ao su nívl socioconômico, dfinidos ants d sua ntrada na scola 1 (ii) a scola só podria sr rsponsabilizada plo príodo d tmpo m qu o aluno nla prmanc (iii) msmo dpois da ntrada do aluno na scola, la não é a única a dfinir a qualidad o ritmo d sua aprndizagm. Para minimizar sss problmas, é mais adquado associar a ficácia scolar ao fito-scola não apnas à proficiência média dos alunos na scola. Assim, Escola ficaz s aqulla qu promuv d forma duradra l dsarrollo intgral d cada uno d sus alumnos más allá d lo qu sría inprvisibl tnindo n cunta su rndiminto inicial y la situación social, cultural y conómica d sus familias (Murillo-Torrcilla t al., 007, p. 83) fito-scola é l porcntaj d variación n l rndiminto d los alumnos dbido a las caractrísticas procsuals dl cntro n l qu stán scolarizados. Y s mdiría como un porcntaj d varianza (Murillo-Torrcilla, 005, p. 3). Para tal é intrssant considrar na modlagm qu: Há dois componnts ssnciais da psquisa avaliativa do fito-scola: 1) a utilização d métodos statísticos multinívl qu lvm m conta a naturza composta do procsso ducacional scolar (alunos acomodados nas salas d aula stas nas scolas) ) a ncssidad d dados longitudinais sobr os 1 Os Gráficos 1A 1B vidnciam ssa constatação bastant nfatizada dsd a década d 1970, tndo como um d sus principais tóricos Bourdir Passron (1975) qu xplicitam a importância das caractrísticas sociais da família na dfinição da trajtória scolar dos alunos nssa msma racional quando foi dsnvolvido o concito d capital cultural. O prcursor dss concito foi Mortimor (1998) quando dfirn qu scola ficaz é aqula ond o progrsso do aluno vai além do qu sria sprado, lvando m considração as suas caractrísticas à ntrada na scola (p.37).

3 alunos dados dos msmos alunos, acompanhados por vários anos. (LEE, 010a, p.53) Como no Brasil, dsd a década d 1990, as políticas públicas são subsidiadas por avaliaçõs sccionais,, 004, sis univrsidads brasiliras s juntaram para dsnvolvr o conhcimnto m studos longitudinais assim criaram, sm qualqur vínculo govrnamntal, o Projto GERES - Estudo Longitudinal sobr a Qualidad Eqüidad no Ensino Fundamntal Brasiliro - é uma psquisa longitudinal d painl na qual uma amostra d alunos scolas públicas privadas d cinco importants cidads brasiliras (Blo Horizont, Rio d Janiro, Salvador, Campo Grand Campinas) foi obsrvada ao longo d quatro anos. Est artigo, com dados forncidos plo Projto GERES, traz os rsultados da comparação ntr dois difrnts modlos multinívis qu nvolvm as msmas variávis xplicativas procssam os msmos dados longitudinais obtidos m quatro anos conscutivos d scolarização, com o objtivo d vrificar a convrgência dos rsultados ncontrados nos dois modlos, isto é, dsja-s vrificar s as variávis xplicativas são statisticamnt significativas m ambos os modlos. O primiro modlo, laborado m dois nívis aluno scola, analisa as variávis xplicativas ano a ano. O sgundo, laborado m três nívis ano d scolarização aluno - scola, agrupa os dados dos quatro anos insr variávis dummis para o control dos anos d scolarização os procssa concomitantmnt. Em ambos, a proficiência final dos alunos m litura é colocada como variávl rsposta um conjunto d doz variávis xplicativas, sndo oito para caractrizar o nsino d língua portugusa no âmbito da scola, três inrnts ao prfil do aluno a proficiência inicial do aluno, também m litura. A modlagm com a proficiência inicial como uma variávl xplicativa prmit qu as stimaçõs sjam fitas considrando o conhcimnto prévio do aluno m cada ano d scolarização, liminando assim, boa part da influência d fators xtrascolars sobr a sua proficiência final qu antcdm a ntrada do aluno na scola. Os Gráficos 1A 1B 3 xplicitam a justificativa para ssa dcisão mtodológica, pois rprsntam as médias das proficiências dos alunos divididos m 10 grupos (dnominados dcis) classificados plo nívl sócio conômico vidnciam qu, m 3 Esss gráficos foram laborados com dados dos alunos qu prmancram na msma scola durant os quatro anos d scolarização nvolvidos na colta d dados. 3

4 média, a proficiência final, indpndntmnt dos anos analisados, são dfinidas pla proficiência inicial sta, tm alta corrlação com o nívl sócio conômico. Proficiência média dos alunos m cada uma das ondas d m função do NSE Gráfico 1A Em matmática Gráfico 1B Em Litura Para o procssamnto foi usado o programa HLM os dados foram prparados (anális dscritiva rdução d variávis) através com o SPSS. Após ssa introdução, é fita uma brv dscrição do Projto GERES aprsntação concitual dos modlos multinívl, sguidas das spcificaçõs das variávis dos dois modlos analisados. O txto é finalizado com a comparação anális dos rsultados dos dois modlos. Projto Grs O Projto GERES 4 tv início m 004 foi dsnvolvido m uma ação conjunta d sis univrsidads brasiliras, contando com financiamnto da Fundação Ford do Programa Núclo d Exclência (CNPq). Su dsnho mtodológico é um studo longitudinal d painl, pois nvolv a colta d dados, ao longo do tmpo, d uma msma amostra d rspondnts (Babbi, 005, p. 103), qu ocorru no príodo d 005 a 008, sguindo os msmos alunos d uma amostra d 31 scolas m cinco grands cidads brasiliras. 4 Para a obtnção d mais informaçõs sobr o Projto GERES consultar Brook Bonamino (011) o sit 4

5 O Projto GERES prtndu idntificar: (i) as caractrísticas scolars qu maximizam a aprndizagm dos alunos qu minimizam o impacto da origm social sobr a aprndizagm, (ii) os fators scolars qu diminum a probabilidad d rptência dos alunos, (iii) os fators scolars qu diminum o absntísmo, (iv) os fators scolars qu maximizam a autostima dos alunos sua motivação para o studo. O banco d dados do Projto GERES é composto pla mdida das proficiências d alunos m litura matmática, stimadas através da Toria d Rsposta ao Itm (TRI), m cinco ondas d aplicação d tsts padronizados nas quatro primiras séri do Ensino Fundamntal 5. Também foram coltadas, por mio d obsrvação d qustionários, informaçõs sobr os alunos, sus familiars, profssors, dirtors da scola. O dsnho mtodológico, longitudinal d painl, prmit dtrminar do valor agrgado d cada aluno, no ntanto, incorpora o fnômno da mobilidad dos alunos no sistma ducacional, uma vz qu, no dcorrr do tmpo, alguns alunos ntram outros sam das scolas qu participam da psquisa, implicando uma rdução significativa no númro d dados para o cálculo do valor agrgado, Essa forma d colta d dados por mio da qual, m vários momntos, são colhidas informaçõs a rspito do msmo indivíduo ao longo d um dtrminado príodo d tmpo é muito útil para qu os psquisadors possam laborar sólidas conclusõs nos campos da ducação. Há muitas dificuldads problmas típicos dss modlo d colta d dados, por xmplo, a possibilidad d prda d alunos no procsso, por transfrência, vasão ou ausência no dia da prova. (L, 010, p. 471) Modlos Multinívl (ou Modlos Linars Hirárquicos) Modlos multinívis modlos linars hirárquicos são difrnts nomnclaturas para a msma frramnta statística, drivada da rgrssão linar. A primira nomnclatura, modlos multinívl, é usado plo psquisador inglês Goldstin (1999) stá associado ao programa computacional MLWIN, nquanto qu a sgunda dnominação é usada plos amricanos Raudnbush Bryk (00) stá associado ao programa computacional HLM. 5 Na época m qu ocorru a colta d dados, o Ensino Fundamntal no Brasil ra d oito, hoj, ampliado para nov anos. 5

6 O uso d modlos multinívl é rqurido pla forma d organização scolar, ou sja, nst studo, proficiências inicial final d cada um dos anos d scolarização são aninhadas m cada um dos alunos, por sua vz, sss são aninhados m scolas. Em studos cujos dados têm ssas caractrísticas d aninhamnto ou hirarquização, o uso dos métodos d rgrssão linar comuns sriam inadquados pois implicaria os sguints problmas, apontados por L (001, 008): Viés d agrgação. Ocorr quando s busca vrificar um fnômno qu intrfr d forma distinta m difrnts nívis. Por xmplo, o nívl sócio conômico do aluno intrfr d uma forma quando é considrado individualmnt d outra quando s vrifica a sua média no nívl d turma ou scola. Estimação d rros padrão. Ocorr dvido ao tratamnto statístico num nívl individual implicando numa (não) variância falsa das informaçõs rfrnts aos grupos. Por xmplo, numa scola com 300 alunos, xistirá uma variabilidad inrnt aos dados individuais, no ntanto, as variávis rfrnts à scola s rptiriam 300 vzs. Htrognidad dos coficints d rgrssão. Consist no fato d qu msmas caractrísticas individuais podm tr influências difrnts m agrupamntos difrnts. Por xmplo, dois alunos prtncnts a um msmo nívl socioconômico pod tr influências difrnts s ls stivrm m scolas com nívl socioconômico distintos. Difrnças ntr agrupamntos. O tratamnto m um único nívl não prmit o adquado rconhcimnto das difrnts influências ntr os difrnts agrupamntos, s a unidad d anális for aluno, ou, da msma manira, não prmit idntificar a influência das caractrísticas individuais m difrnts agrupamntos, s a unidad d anális for a scola. Frrão (003, p. 31) xplica qu os modlos linars hirárquicos incorporam naturalmnt, d forma parcimoniosa, a strutura hirárquica ou d agrupamnto da população m studo, tratando o intrcpto os coficints d inclinação como variávis alatórias. Dsta forma, o modlo prmit a variabilidad das stimativas ntr os grupos. Val nfatizar qu, no modlo d rgrssão linar clássico, tanto intrcpto como os coficints d 6

7 inclinação são fixos st é o ponto crucial no qual as duas abordagns difrm. O Gráfico mostra a disprsão da proficiência dos alunos d duas difrnts scolas hipotéticas m função do nívl socioconômico dsss alunos também a rta qu mlhor s ajusta a cada uma das scolas. Gráfico Rlação ntr proficiência nívl socioconômico d duas scolas hipotéticas Font: Raudnbush Bryk (00, p. 18) Ainda do Gráfico podmos obsrvar a dtrminação d difrnts intrcptos para cada scola (β_01 β_0) também os coficints d inclinação (β_11 β_1), caractrizando assim sss coficints d rgrssão como sndo variávis alatórias no modlo, prmitindo um ajust para cada o contxto d cada uma das scolas. Frrão (003) dstaca as sguints vantagns da utilização do modlo d rgrssão linar hirárquico: Possibilita a obtnção d stimativas ficints coficints d rgrssão Lva m conta a informação sobr o agrupamnto dos dados, tornando rrospadrão, intrvalos d confiança tsts d hipótss corrtos Prmit o uso d variávis xplicativas mnsuradas m cada nívl da hirarquia, prmitindo o analista a xploração dtalhada do impacto da contribuição d cada nívl para a variabilidad da variávl rsposta Prmit stablcr listas comparativas do dsmpnho institucional, qu vm ganhando rlvo na ducação vidnciando a impossibilidad técnica d 7

8 stablcr listas ordnadas das scolas tal como las têm sido aprsntadas m alguns paíss 6. Not-s ainda, a possibilidad d s calcular a variabilidad dos dados no intrior d cada uma das scolas, dvido à hirarquização dos dados (ou agrupamnto), também a variabilidad ntr as scolas. Essa possibilidad prmit studar a variabilidad dos dados dimnsionar o quanto dssa variabilidad dpnd do prfil do aluno quanto dpnd do prfil da scola. Dito d outra forma, sta possibilidad prmit stimar o quanto as caractrísticas das scolas intrfrm nssa variabilidad, ou sja, qual é o fito scola. Dfinição da amostra d dados variávis nvolvidas nos modlos São dois os critérios usados para a slção dos rgistros a srm considrados nst studo: tr duas mdidas conscutivas proficiências dos alunos para possibilitar o cálculo do valor agrgado no rspctivo ano d scolarização tr informaçõs nas variávis slcionadas no studo. Com ssa rdução, os modlos trabalharão com um total d rgistros (58,3% do total d rgistros xistnts), 1180 alunos (corrspondndo a 34,3% dos qu possum alguma informação) 9 scolas (d 73,4% do total das 31 xistnts). A Tabla 01 mostra o númro d scolas por cidad dpndência administrativa qu prmancm nst studo. Tabla 01 - Distribuição das scolas por cidad dpndências administrativas Pólo Rd scolar (dpndência administrativa) Espcial Estadual Municipal Privada Total Blo Horizont Campinas Campo Grand Rio d Janiro Salvador Essa obsrvação é important pois a qualidad, concito subjacnt ao d avaliação, é multidimnsional já qu a scola é uma instituição complxa cuja ficácia dpnd, concomitantmnt, d muitas variávis. Assim, rprsntar um patamar d qualidad da m uma única indicador é um rducionismo inadquado qu dificulta a avaliação d sua ficácia. 7 A cidad d Salvador foi liminada do studo por uma dcisão mtodológica na colta d dados. Nsta cidad, os alunos participaram da primira onda quando stavam matriculados na ª séri, com isso, não pudram participar da 5ª Onda. 8

9 Dados sobr o nsino da scola Dados sobr o aluno Total A dfinição do númro d rgistros utilizávis nos modlos é rlvant já qu intrfrm dirtamnt no cálculo do pso amostral, considrados nst studo, consquntmnt na stimação dos coficints ncontrados nos modlos. O Quadro 01 aprsnta as trz variávis nvolvidas nst studo. Variávl LitF Quadro 01 - Variávis nvolvidas do studo Dscrição Proficiência final m cada um dos quatro anos d scolarização. LitI Proficiência inicial m cada um dos quatro anos d scolarização. RET Variávl qu rcb o valor 1 quando o aluno sofru alguma rtnção no procsso por isso cursa alguma séri difrnt daqula m qu o tst foi aplicado. PRE Indica s o aluno fz a pré-scola NSE Nívl sócio-conômico dos alunos GERES DC Frquência do dvr d casa PL Proposição d litura PR Proposição d rdação PC Proposição d cópia ou caligrafia EL Proposição d litura individual é prcdida da xplicação do profssor LC Litura m prática coltiva LP Litura individual produção d txto individual IL Grau d importância inrnt a indicação xtrna do livro Obs.: as oito últimas variávis dss quadro são fators ncontrados a partir d constructos laborados a partir dos qustionários d contxto através da Anális Fatorial Exploratória, dscrita dtalhadamnt m Faccnda, Dalbn Fritas (011). Primiro Modlo Est modlo faz a stimação dos coficints ano a ano, sparadamnt, é dfinido m dois nívis: Nívl 1: Aluno, ond stão as informaçõs d contxto d cada um dsss alunos, sua proficiências inicial final o indicador s foi rprovado durant o procsso Nívl : Escola, ond stão as informaçõs associadas ao nsino d língua portugusa no âmbito da scola, como mostra o Quadro 01. O Modlo Nulo, qu não tm qualqur variávl xplicativa insrida, prmit apnas stimar a partição da variância ntr os três nívis. As quaçõs dss modlo, m uma rprsntação tórica, ficariam assim dfinidas: 9

10 Nívl 1: LitF Nívl : 0 k 00 u 0 k 0 k ~ NID(0, ) u ~ NID(0, ) indpndnts ntr si. Ond: scola k 0k u0 LitF é proficiência final do rspctivo ano d scolarização do aluno j, na 0k é proficiência final média d cada uma das k scolas, calculada com bas nas proficiência finais obtidas por ss aluno no rspctivo ano d scolarização é o rro d stimativa do modlo (distúrbio alatório) associado às proficiências finais do aluno j, na scola k, não captados pla componnt dtrminística do modlo rfrnt ao Nívl 1 00 é a média das proficiências finais das k scolas u 0 k é o rro d stimativa do modlo (distúrbio alatório) associado proficiências médias das k scolas, não captado pla componnt dtrminística do modlo rfrnt ao Nívl rprsnta a variância do rro d stimativa rprsnta a variância do rro d stimativa k. Dv sr intrprtado u0 como a variância do rro qu fica ntr as médias das proficiências finais das scolas m rlação à média gral. É a variância ntr as médias das scolas. Essas duas últimas stimativas prmitirão o cálculo da partição da variância inrnt a cada um dos nívis, afinal a variância total do modlo é dada pla soma dlas. Assim, o Modlo Nulo proporciona ssas stimativas são calculadas da sguint forma: Part da variação qu s dv ao Nívl 1 u 0 Part da variação qu s dv ao Nívl u0 u 0 u0 Os rsultados do procssamnto do Modlo Nulo para cada ano dos quatro anos d scolarização studados stão xprssos na Tabla 0. 10

11 Tabla 0 Estimativas do Modlo Nulo Príodo Ano1 Ano Ano3 Ano4 R (Nívl 1) 6,38 433,36 44,61 411,86 U0 (Nívl ) 86,64 35,48 44,0 405,6 Entr alunos 47,8% 55,1% 50,0% 50,4% Entr scolas (ICC) 5,% 44,9% 50,0% 49,6% Os rsultados da Tabla 0 parcm sr cornts, visto qu é sprado qu haja uma significativa difrnça ntr os alunos o msmo ntr as scolas, uma vz qu há scolas prtncnts a difrnts rds d nsino. Após a insrção das variávis xplicativas, m ambos os nívis, o modlo fica assim dfinido: LitF Nívl 1: LitI 0k 1k kret 3kPRE 4 Nívl : DC 0k k 0PLk 03PRk 04PCk 05ELk 06LCk 07LPk 08IPk u00 1k 10 11DCk 1PLk 13PRk 14PCk 15ELk 16LCk 07LPk 18IPk k 0 1DCk PLk 3PRk 4PCk 5ELk 6LCk 7LPk 8IPk 3k 30 31DCk 3PLk 33PRk 34PCk 35ELk 36LCk 37LPk 38IPk 4k 40 41DCk 4PLk 43PRk 44PCk 45ELk 46LCk 47LPk 48IPk 5k 50 51DCk 5PLk 53PRk 54PCk 55ELk 56LCk 57LPk 58IPk NSE i Sgundo Modlo Est modlo agrupa as informaçõs m um único banco d dados as quaçõs usadas para a stimação sgum a sguint lógica d hirarquização: As proficiências dos alunos, coltadas m quatro anos (uma linha d bas no início do primiro ano d scolarização as dmais, ao final d cada ano) são agrupadas por alunos. Esss alunos são agrupados por scolas. Nsta lógica, o modlo é construído com três nívis hirárquicos: Nívl 1: Ano d scolarização, ond são rgistradas as proficiências inicial final d cada um dos anos d scolarização, d cada um dos alunos prtncnts ao banco d dados, além da informação s l foi rtido durant o procsso 11

12 Nívl : Aluno, ond stão as informaçõs d contxto d cada um dsss alunos, qu nst studo s limitou a controlar s o alunos participou da pré-scola o su nívl socioconômico Nívl 3: Escola, ond stão as informaçõs associadas ao nsino d língua portugusa no âmbito da scola, como mostra o Quadro 01. Assim como no primiro modlo, o procssamnto sm a insrção d qualqur variávl xplicativa prmit apnas stimar a partição da variância ntr os três nívis. Em uma rprsntação tórica, tndo LitF i como a proficiência final d cada um dos alunos nos difrnts anos d scolarização, as quaçõs dss modlo ficariam: ntr si. Nívl 1: LitF i 0 i Nívl : 0 0 j u 0 Nívl 3: 00 j 000 r 00 k ~ NID(0, ) u ~ NID(0, ) r ~ NID(0, ) indpndnts i Ond: 0 u0 00k r00 LitF i é proficiência final do ano d scolarização i, do aluno j, na scola k 0 é proficiência final média d cada um dos j alunos, d cada uma das k scolas, calculada com bas nas proficiência finais obtidas por ss aluno ao final d cada ano d scolarização i é o rro d stimativa do modlo (distúrbio alatório) associado às proficiências finais do aluno j, na scola k, tndo como rfrência a média das proficiências finais dss aluno, não captados pla componnt dtrminística do modlo rfrnt ao Nívl 1 0 j é a média das proficiências média d cada um dos j alunos da scola k u 0 é o rro d stimativa do modlo (distúrbio alatório) associado às médias das proficiências médias d cada um dos j alunos da scola k, tndo como rfrência a média das proficiências finais médias d cada um dos alunos dssa scola, ou sja, são os fitos contxtuais dos alunos da scola j, não captados pla componnt dtrminística do modlo rfrnt ao Nívl 000é a média das proficiências finais médias d cada uma das k scolas r 00 k é o rro d stimativa do modlo (distúrbio alatório) associado às médias das proficiências finais médias d cada uma das scolas k, tndo como rfrência a 1

13 média das proficiências finais médias d cada uma das scolas, ou sja, são os fitos contxtuais das scolas k, não captados pla componnt dtrminística do modlo rfrnt ao Nívl 3 rprsnta a variância do rro d stimativa i. Dv sr intrprtado como a variância do rro qu fica nas difrnts proficiências finais d um msmo aluno. Podria sr chamada, s fizss sntido, d variância do dsmpnho do aluno nos difrnts anos rprsnta a variância do rro d stimativa u 0. Dv sr intrprtado r0 como a variância do rro qu fica ntr as médias das proficiências finais dos alunos d uma msma scola. É a variância intrascolar rprsnta a variância do rro d stimativa k. Dv sr intrprtado u00 como a variância do rro qu fica ntr as médias das proficiências finais das scolas m rlação à média gral. É a variância ntr as scolas. Essas três últimas stimativas prmitirão o cálculo da partição da variância inrnt a cada um dos nívis, afinal a variância total do modlo é dada pla soma dlas. Assim, o Modlo Nulo proporciona ssas stimativas são calculadas da sguint forma: r 00 Part da variação qu s dv ao Nívl 1 Part da variação qu s dv ao Nívl r0 r 0 u 00 r 0 u00 Part da variação qu s dv ao Nívl 3 u00 r0 u00 Com o procssamnto dss Modlo Nulo, a variância total dos dados é d 80,9 qu, dssa variância, 54,9% dvm-s às difrnças ntr as proficiências d cada um dos alunos mdidas nos difrnts momntos, 4,% dvm-s às difrnças ntr os alunos d uma msma scola 1,0% dvm-s às difrnças ntr as scolas. Dss modlo, comparando apnas a variância ntr as scola alunos (dsconsidrando, portanto, a variância do Nívl 1) é stimado qu 53,5% da variância dvm-s às difrnças ntr os alunos d uma msma scola 46,5% dvm-s às difrnças ntr as scolas. 13

14 Esss rsultados também parcm sr cornts, já qu há scolas prtncnts a difrnts rds d nsino, da msma forma qu foi constatado no primiro modlo analisado. A variância ncontrada no Nívl 1 dv-s, dntr outros motivos, ao difrnt dsmpnho cognitivo do alunos nos difrnts anos d scolarização por starm no msmo arquivo os alunos qu foram rtidos m plo mnos um dos anos d scolarização. Para controlar sss fitos foram insridas as sguints variávis: a proficiência inicial (LitI) variávis dummy para control do ano d scolarização (T, T3 T4) intraçõs dssas variávis dummis com a proficiência inicial (T*LitI, T3*LitI T4*LitI) indicador s o aluno foi rtido ou não durant o procsso (RET). Com ssas insrçõs, o modlo fica assim dfinido: Nívl 1: LitF i 0 1 T T3 3 T44 LitI i T* LitI T3* LitI T4 LitI Nívl : 5 i 6 i 7 * i j 01jPRE 0j NSE u0 1 10j 11jPRE 1j 0j 1jPRE j 3 30j 31jPRE 3j NSE NSE NSE 4 40j 41j PRE 4j NSE u4 5 50j 51j PRE 5j 6 60j 61j PRE 6j 7 70j 71j PRE 7j 8 80j NSE NSE NSE Nívl DC 00PL 003PR LC LP IL PC j EL r00 k DC 10PL 103PR LC LP j EL DC 0PL 03PR LC LP j 04 05EL PC IL PC IL RET i 01j 010 0j 00 11j 110 1j 10 1j 10 j 0 i 14

15 DC 30PL 303PR LC LP j EL DC 40PL 403PR LC LP IL PC IL PC j EL r40 k DC 50PL 503PR LC LP j EL DC 60PL 603PR LC LP j EL DC 70PL 703PR LC LP j EL PC IL PC IL PC IL 80 j j 310 3j 30 41j 410 4j j 510 5j j 610 6j 60 71j 010 7j 70 Em qu, 0 rprsnta proficiência final média dos alunos, d cada uma das k scolas, qu tiraram zro d proficiência inicial. Esta é uma intrprtação qu não tm qualqur sntido ral, já qu não há alunos qu tiram zro na proficiência inicial 3 srão os acréscimos médios qu dvrão sr fitos à 0 para qu s dtrmin a proficiência média final obtida por sss alunos no trciro quarto ano, rspctivamnt scolarização LitI i é proficiência inicial do aluno j, da scola k no primiro ano d 4 é o incrmnto qu dv sr fito a 0 para cada unidad d proficiência inicial qu o aluno j, da scola k, obtnha no primiro ano d scolarização ( LitI ) 5, 6 7 são os acréscimos médios qu dvm sr fitos à 4 para qu s dtrmin o incrmnto à influência qu a proficiência inicial tm na proficiência final m cada um dos anos d scolarização 8 é a stimativa da proficiência qu dv sr fito a 0 rfrnt ao status dos alunos não rtidos durant o procsso d colta d dados Os dmais componnts das quaçõs são os coficints vinculados a cada uma das variávis insridas no modlo. i 15

16 Com ssa modlagm podm sr stimados os parâmtros da rta qu mlhor s ajusta a cada um dos quatro anos d scolarização. O Quadro 0 aprsnta sss parâmtros m cada um dos anos d scolarização Ano d scolarização Quadro 0 Parâmtros da rta d cada um dos anos d scolarização Intrcpto T T3 T4 T*LitI T3*LitI T4*LitI da rta LitI LitI LitI 3 Coficint d Inclinação Nst modlo foram considrados os fitos alatórios apnas no intrcpto na inclinação do primiro ano d scolarização, algo qu sria também intrssant considrar para os dmais anos d scolarização, porém ssa dcisão mtodológica implicaria acumular fitos alatórios sobr outros fitos alatórios (já qu os parâmtros para intrcpto inclinação dos difrnts anos são somados aos do primiro ano, conform Quadro 01), dificultando a convrgência na stimação dos parâmtros a intrprtação dos rsultados. Com a colocação do fito alatório apnas nos parâmtros da rta do primiro ano, assum-s qu os sus valors podrão sr difrnts ntr os alunos d uma msma scola qu há difrnça ntr as scolas. Ao msmo tmpo, sss parâmtros srão iguais nos dmais anos d scolarização, implicando assim, uma limitação frnt à ralidad. Para atnuar ssa limitação, podrão sr insridas variávis xplicativas nos nívis d aluno d scola qu prmitirão fazr a distinção ntr ls. Comparação dos rsultados ncontrados nos dois modlos. Em ambos os modlos, todas as variávis xplicativas foram insridas no modlo no Nívl 1 foram sndo rtiradas uma a uma, m função do pior rsultado aprsntado no p-valu, sndo mantidas aqulas com valor infrior a 0,05, qu indica qu é statisticamnt significativa. Ess procsso s rptiu nos dmais nívis. O objtivo dst studo s limitou a comparar os rsultados dos dois modlos vrificar s as variávis mantidas nos dois modlos ram as msmas. 16

17 O rsultado ncontrado nos dois modlos stá aprsntado no Quadro 03, ond stão marcadas as variávis statisticamnt significativas m dstaqu aqulas qu foram coincidnts m ambos os modlos. Quadro 03 - Variávis significativas nos dois modlos Variávis Modlo nívis Modlo 3 nívis Ano1 Ano Ano3 Ano4 Ano1 Ano Ano3 Ano4 RET X X X X X X PRE X X X X X x X NSE X X X X X X X X DC x X PL x PR PC x EL x x LC LP x x x x IL x Como pod sr obsrvado, as únicas variávis statisticamnt significativas nos dois modlos foram: RET, qu indica s o aluno foi rtido m plo mnos um ano durant o procsso d colta d dados NSE, qu indica o nívl sócio conômico dos alunos No primiro modlo, o valor ncontrado foi d 0, 14 5 pontos para o sgundo trciro quarto ano, rspctivamnt. Plas caractrísticas do sgundo modlo o valor stimado para a variávl RET, qu corrspond à média da dfasagm m pontos d proficiência dos quatro anos d scolarização, foi d 5 pontos. O primiro ano, vidntmnt, não alunos considrados rtidos para a colta d dados. Mais uma vz, s confirma a importância do nívl socioconômico no dsmpnho dos alunos, nst caso, msmo dpois da sua ntrada na scola. A Tabla 03 sinttiza o incrmnto na proficiência final para cada ponto na scala d NSE. 17

18 Tabla 03 - Incrmnto dvido ao NSE Modlo Primiro Sgundo nívis 3 nívis Ano1,7 3,5 Ano,1 1,4 Ano3 1,4 1 Ano4,5,4 Outra variávl qu ficou discrpant m apnas um ano foi a qu controla s o aluno fz a pré-scola ants do nsino fundamntal. A Tabla 04 sinttiza o incrmnto na proficiência final caso o aluno tnha curso a pré-scola. Tabla 04 - Incrmnto dvido ao prsnça na pré-scola Modlo Primiro Sgundo nívis 3 nívis Ano1 3,1,3 Ano,4 4,3 Ano3 -,3 Ano4,7,3 Outro aspcto qu dv sr vidnciado é qu ssas três variávis são associadas ao prfil do aluno, ou sja, houv uma tndência d qu as variávis associadas à scola tndm à não convrgência, quando comparado os rsultados dsss dois modlos. Divrsas hipótss d xplicação podm sr aprsntadas para ssa não convrgência, mas, dntr las, a principal sria a fragilidad dos dados finais qu prpassam por todo o procsso, a comçar pla qualidad dos instrumntos usados, da aplicação dos instrumntos tratamntos postrior dado a ls. No ntanto, o aspcto a sr dstacado, dado o objtivo do trabalho é a constatação d qu modlos statísticos difrnts podm produzir rsultados difrnts msmo quando procssam os msmos dados. Essa constatação prd sua rlvância quando os studos quantitativos form usados para orintar outras psquisas d naturza qualitativa, mas num contxto oposto, quando m uma lógica mritocrática (quas-mrcado) os rsultados tornam as avaliaçõs m xams d alto impacto. Ao msmo tmpo m qu ssa constatação fr a 18

19 visão dtrminística dos modlos statísticos, corrobora com os atuais studos amricanos qu nvolvm dados longitudinais apontam a instabilidad dsss modlos. Nss sntido, é válido o alrta dados por Fritas (003) quando afirma qu a scola é um pouco mais complxa do qu um conjunto d variávis a srm manipuladas, os valors dssa variávis são d difícil stabilização a transfrência para outras situaçõs. [...] Isso não significa dizr qu nada há a sr aprndido com os studos quantitativos com as avaliaçõs d larga scala. Significa qu dvmos colocá-los m su dvido lugar. (p.35) Bibliografia Babbi, E. (005) Métodos d psquisa survy. (3ª. Ed.).Blo Horizont: Ed UFMG. Bourdiu, P. Passron, J. C. (1975). A rprodução: lmntos para uma toria do sistma d nsino. Rio d Janiro: Editora Francisco Alvs. Brook, N. Bonamino, A. (Eds.). (011). GERES 005: Razõs Rsultados d uma Psquisa Longitudinal sobr Eficácia Escolar. Rio d Janiro: Walprint. Faccnda, O. Dalbn, A. Fritas, L.C. (011) Capacidad xplicativa d qustionários d contxto: aspctos mtodológicos. In: Rvista Brasilira d Estudos Pdagógicos. Vol. 9, nº 31. Frrão, M.E. (003). Introdução aos modlos d rgrssão multinívl m ducação. Campinas: Komdi. FREITAS, L.C. (003) Ciclos, sriação Avaliação: Confronto d lógicas. São Paulo: Modrna. Goldstin, H. (1999). Multilvl Statistical Modls. Londrs: Institut of Education. Mortimor, P. (1998). Th Road to Improvmnt: Rflctions on School Effctivnss. Th Nthrlands: Swts & Zitlingr Publishrs. Murillo-Torrcilla, F. J. (005). Importa la scula? Una stimación d los fctos scolars n España. In: Tndncias Pdagógicas, 10, pp Murillo-Torrcilla, F. J. t al. (007). Invstigación ibroamricana sobr ficacia scolar. Bogotá: Convnio Andrés Bllo. L, V.E. (001). What ar multilvl qustions, and how might w xplor thm with quantitativ mthods? In: Estudos m Avaliação Educacional, São Paulo, v. 4, p L, V.E. (008). Utilização d modlos Hirárquicos linars para studar contxtos sociais: o caso dos fitos scola. In: Brook, N. & Soaras, J. F. Psquisa m ficácia scolar: origm trajtórias. Blo Horizont: Editora UFMG. 19

20 L, V.E. (010). A ncssidad dos dados longitudinais na idntificação do fitoscola. In Rvista Brasilira d Estudos Pdagógicos, Brasília, v. 91, n. 9, p , st./dz. L, V.E. (010a) Dados longitudinais m ducação: um componnt ssncial da abordagm d valor agrgado no qu s rfr à avaliação d dsmpnho scolar. In: Estudos m Avaliação Educacional,São Paulo, v. 1, n. 47, p , st./dz. Raundnbush, S.W. & Bryk, A.S. (00). Hirarchical linar modls: Applications and data analysis mthods. Califonia: Sag. 0