VALIDADE DO CLOZE ENQUANTO TÉCNICA DE AVALIAÇÃO DA COMPREENSÃO DE LEITURA VALIDITY OF CLOZE AS A READING COMPREHENSION ASSESSMENT TECHNIQUE

Transcrição

1 DOI: / v7n2p86 VALIDADE DO CLOZE ENQUANTO TÉCNICA DE AVALIAÇÃO DA COMPREENSÃO DE LEITURA Acácia Aparecida Angeli dos Santos Universidade São Francisco Rebecca Magalhães Monteiro PUC-Minas Gerais Resumo O Cloze tem sido usado como uma medida de compreensão de leitura pela omissão de algumas palavras de um texto, que devem ser completadas pelo leitor. Este trabalho buscou evidência de validade para dois textos baseados na técnica de Cloze por meio da correlação com a Escala de Avaliação da Escrita EAVE, assim como procurou explorar as diferenças de desempenho no Cloze em subgrupos de alunos, formados com base na pontuação da EAVE. Participaram da pesquisa 92 crianças procedentes de uma escola pública do estado de São Paulo com idades entre 7 e 10 anos. Os instrumentos utilizados foram dois textos de Cloze e a EAVE. Os resultados indicaram uma correlação moderada e significativa entre os textos do Cloze e a EAVE evidenciando a convergência entre os construtos. Além disso, alunos com desempenho fraco na EAVE obtiveram baixo rendimento no Cloze. Palavras-chave: Compreensão de Leitura; Escrita; Ensino Fundamental; Avaliação Psicoeducacional. VALIDITY OF CLOZE AS A READING COMPREHENSION ASSESSMENT TECHNIQUE Abstract The Cloze test has been used as a measure of reading comprehension, through the replacement of some missing words in a text by the reader. This study explored validity evidence in two texts based on the Cloze s technique by correlating them with the Writing Evaluation Scale - EAVE, as well as exploring the differences in Cloze s score and the performance of students subgroups, stablished according to the EAVE s score. The participants consisted of 92 children from a public school in the state of Sao Paulo with ages ranging from 7 to 10 years. The instruments used were two texts based on Cloze s technique and the EAVE. The results indicated a high and significant correlation between the texts and the EAVE, showing convergence between the constructs. In addition, the students with poorly performing on EAVE obtained the lowest average in cloze. Keywords: Reading Comprehension; Writing; Elementary School; Psychoeducational Assessment. 86 Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

2 Validade do Cloze VALIDEZ DEL CLOZE COMO TÉCNICA DE EVALUACIÓN DE LA COMPRENSIÓN DE LECTURA Resumen La prueba Cloze ha sido usado como una medida de la comprensión lectora mediante la omisión de algunas palabras del texto, que deben ser completados por el lector. Este estudio buscó evidencias de validez de dos textos basados en la técnica de Cloze por medio de la correlación con la Escala de Evaluación de Escritura - EAVE, así mismo buscó explorar las diferencias en el desempeño en Cloze y el de subgrupos organizados en base a la puntuación EAVE. Los participantes fueron 92 niños procedentes de una escuela pública en el estado de Sao Paulo, con edad entre 7 y 10 años. Los instrumentos utilizados fueron dos textos de Cloze y de la puntuación EAVE. Los resultados indicaron una correlación moderada y significativa entre los textos Cloze y la EAVE evidenciando convergencia entre los constructos. Además, los estudiantes con bajo rendimiento en EAVE obtienen bajos rendimientos en Cloze. Palabras clave: Comprensión de Lectura; Escritura; Educación Primaria; Evaluación Psicoeducativa. INTRODUÇÃO Dentre as habilidades linguísticas frequentemente investigadas, encontram-se a compreensão de leitura e a escrita. Essas habilidades são variáveis comuns a muitos estudos que visam verificar a relação entre elas, formando assim um grupo importante de pesquisas no contexto educacional. Muitos autores têm se dedicado ao estudo desses temas, abordando-os de diferentes maneiras, mas reiterando a sua importância no processo de aprendizagem da criança (Cunha & Santos, 2008; Mota et al, 2008; Santos, 2005; Sisto, 2006; entre outros). Devido a relevância dessas habilidades, muitas pesquisas sobre essas variáveis foram propostas a fim de averiguar se a causa da dificuldade dos alunos relaciona-se à aprendizagem da leitura e escrita (Ferreira & Dias, 2002; Santos, 2004; entre outros). Em razão da importância dessas habilidades, a avaliação de ambas será investigada no presente estudo por meio de dois instrumentos, a saber, o teste de Cloze para a avaliação da compreensão (Suehiro, 2013) e a Escala de Avaliação da Escrita (EAVE). No que se refere à compreensão de leitura, estudiosos da área salientam sua importância, visto ser uma habilidade exigida ao longo do período de escolarização, sobretudo porque se relaciona com a aprendizagem de conteúdos de diferentes disciplinas (Santos, Noronha & Sisto, 2010; Guidetti & Martinelli, 2007; Wang et al, 2008). Assim, ela deve ser adequadamente avaliada, por possibilitar que sejam identificadas as dificuldades e fornecer elementos para o oferecimento de intervenções apropriadas. Eles são consistentes ao apontar para o Cloze como uma forma bastante satisfatória, tanto como alternativa de avaliação, como de intervenção (Joly, 2009; Mota, 2012; Santos et al, 2002; Suehiro, 2013; Wang et al, 2008). Eysenck e Keane (2007) consideram que a compreensão de leitura requer vários processos perceptuais e cognitivos, assim como um bom conhecimento da língua e da gramática. Na verdade, os autores salientam que parte relevante das Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

3 Santos & Monteiro atividades mentais depende dela, que pode ser encarada como pensamento visualmente guiado. A esse respeito, Sternberg (2008) afirma que o ato de ler envolve diferentes processos que podem ser observados, como a percepção das letras, seus formatos e ligações, aspectos relacionados à ortografia. Em seguida, o sujeito traduz a letra em som, criando um código fonológico, depois deve sequenciar todos os símbolos visuais e os sons para formar uma palavra, relacionando-a a um significado. O conjunto de palavras constituirá uma frase ou sentença e ao conjunto de sentenças o leitor dará um sentido, o que possibilita a compreensão do texto como um todo. Nesse sentido, Sternberg (2008) pondera que para aprender a ler o leitor deve chegar a dominar dois tipos básicos de processos perceptuais, os processos lexicais, usados na identificação de letras e palavras, e os processos de compreensão, usados para entender o texto como um todo. Em acréscimo, afirma que para a compreensão de leitura é necessário ativar a memória de trabalho, que irá resgatar as experiências e conhecimentos prévios para identificar e codificar as palavras do texto. Em trabalho anterior, Alliende e Condemarin (1987) já destacavam que a compreensão de texto está intimamente ligada com o conhecimento e significado das palavras, ou seja, com o vocabulário que o leitor tem armazenado. Os autores esclarecem também que não é preciso ter conhecimento de todas as palavras do texto para compreendê-lo, visto que é possível dar sentido a um texto como um todo, por meio de conhecimento anterior sobre o tema. Isso facilita o entendimento do texto, mesmo que o leitor tenha que buscar o significado de algumas palavras que são novas naquele momento. Ainda sob essa perspectiva, Nicholson (1999) explica que a leitura e a escrita são habilidades que consistem de vários subprocessos utilizados para desempenhar tarefas. Isso significa que esses subprocessos têm funções especializadas que interagem para completar uma tarefa, cada um deles com uma função diferente. Os modelos de processamento da informação para leitura são similares aos da escrita. Além disso, os leitores operam vários níveis, incluindo o reconhecimento e identificação de palavras, entendimento e uso das estruturas sintáticas, acesso a conhecimentos básicos e operação de fluência da leitura (Ellis, 2001; Flower & Hayes, 1981; Mota, 2015). Ao refletir sobre a aprendizagem da leitura, vale destacar a escrita como parte importante na aquisição dessa habilidade. De acordo com a psicologia cognitiva, a escrita combina dois tipos de princípios, sendo eles o fonográfico e o semiográfico. O primeiro envolve estabelecer como as unidades gráficas, os grafemas ou letras, correspondem aos sons que compõem a fala. Esse princípio é também considerado como princípio alfabético. Já o semiográfico envolve estabelecer como os grafemas representam significados das palavras (Marec- Breton & Gombert, 2004). Fonemas são as menores unidades de som que compõem as palavras, já os morfemas são as menores unidades de significado 88 Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

4 Validade do Cloze das palavras. O processamento fonológico está mais próximo do princípio fonográfico, enquanto o processamento morfológico está mais fortemente associado ao princípio semiográfico (Mota et al, 2008; Mota et al, 2012). Pode-se dizer que a escrita, assim como a leitura, engloba uma série de habilidades complexas, nas quais o indivíduo deve operar diversos níveis de representação, sem desconsiderar sua habilidade motora. Sendo assim, ler e escrever requer a capacidade do indivíduo de realizar correspondências entre fonemas e grafemas. Outra capacidade necessária é a consciência sintática referente à operacionalização mental sobre os mecanismos responsáveis pela representação das palavras e dessas no seu contexto. Por sua vez, a consciência fonológica caracteriza-se pela capacidade de manipular as subunidades da linguagem falada, ou seja, fonemas e palavras. Portanto, é possível inferir que ler e escrever são interdependentes, pois a primeira levaria à segunda e viceversa (Mota et al. 2012; Suehiro, Santos & Rueda, 2015). A respeito, Zucoloto e Sisto (2002) salientam que a leitura e a escrita são as atividades mais avaliadas no ensino fundamental, já que são a base para a avaliação escolar e implicam em um duplo sistema simbólico. Isso significa dizer que essas habilidades permitem transcrever um equivalente visual em um equivalente auditivo, ou o contrário. Os autores investigaram a compreensão de leitura em crianças com dificuldade de aprendizagem na escrita. Participaram do estudo 194 alunos de 2ª e 3ª séries (atuais 3 o e 4 o ano) de uma escola pública do interior de Minas Gerais. Os alunos foram categorizados por níveis de dificuldade de aprendizagem em escrita, segundo o instrumento Avaliação das Dificuldades de Aprendizagem em Escrita (ADAPE). A compreensão de leitura foi avaliada por dois textos com a técnica de Cloze. Os resultados mostraram que, na segunda e terceira séries, os erros na compreensão de leitura aumentavam em razão da dificuldade de aprendizagem da escrita. Também, o estudo de Guidetti e Martinelli (2007) buscou verificar a relação entre a compreensão de leitura e o desempenho em escrita de alunos do primeiro ciclo do ensino fundamental. Participaram do estudo 148 alunos regularmente matriculados da 2 a à 4 a série do ensino fundamental na faixa etária de 8 a 12 anos de idade, de três escolas municipais do interior do estado de São Paulo. Usando os resultados obtidos com a aplicação da Escala de Avaliação da Escrita (EAVE) de Sisto (2005) e do Teste de Cloze (Santos, 2005), as autoras classificaram os alunos em três grupos (desempenho superior; desempenho mediano; desempenho inferior). O coeficiente de correlação de Pearson foi calculado com o total de alunos, revelando uma correlação negativa e significativa (r= -0,57; p<0,001) entre as variáveis. Importante lembrar que na EAVE, os erros é que são pontuados, o que explica o índice negativo de correlação, ou seja quanto maior o número de erros na escrita, pior o desempenho na compreensão de leitura. Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

5 Santos & Monteiro Nessa mesma direção, Suehiro e Santos (2012) também se preocuparam em buscar evidência de validade entre instrumentos de avaliação da compreensão em leitura e da aprendizagem da escrita em pesquisa realizada com crianças. As autoras avaliaram 221 escolares de ambos os sexos, entre 6 e 12 anos (M=8,53; DP=1,40) que cursavam de 1ª à 4ª séries (atuais 2º a 5º ano) do Ensino Fundamental de uma escola pública de São Paulo. Os alunos responderam a dois testes de Cloze para avaliação da compreensão em leitura e responderam à EAVE. A hipótese das autoras é de que as habilidades de compreensão de leitura e a de escrita, embora envolvam processos distintos, apresentam-se relacionadas, o que foi confirmado pela identificação de um índice de correlação forte entre as duas medidas (r=-0,84; p<0,001) (Dancey & Reidy, 2006), bastante acima do encontrado por Guidetti e Martinelli (2007). Conforme apresentado, a compreensão de leitura e a escrita são variáveis relevantes para a aprendizagem escolar da criança. Nesse sentido, vale destacar a importância da avaliação desses aspectos no contexto educacional, cujos resultados poderão proporcionar elementos para um melhor planejamento das atividades escolares. Sob essa perspectiva, torna-se fundamental o estudo de instrumentos com boas qualidades psicométricas capazes de mensurar esses construtos, que é o propósito do presente estudo. De acordo com a literatura da área, sabe-se que existem três procedimentos importantes para construção de um instrumento, a saber, procedimentos teóricos, procedimentos experimentais e procedimentos analíticos (Pasquali, 2010). Os procedimentos teóricos envolvem a fundamentação teórica do construto e o desenvolvimento dos itens do instrumento. Quanto aos experimentais, o autor refere-se às aplicações do teste para a última etapa que são as análises psicométricas. Em relação às análises psicométricas, é fundamental o estudo das evidências de validade e da precisão do instrumento de avaliação. Na última revisão dos Standards, em 2014, é confirmada a existência de cinco fontes de validade, quais sejam, evidência com base no conteúdo, evidência com base no processo de resposta, evidência com base na estrutura interna, evidência com base na relação com variáveis externas e evidências baseadas nas consequências da testagem. Destaca-se aqui a evidência baseada nas relações com variáveis externas, que pode se referir à correlação entre os escores de um teste com outras medidas de construtos relacionados, como o aqui proposto (AERA, APA, & NCME, 2014). Ao refletir sobre a relevância da avaliação dessas habilidades linguísticas no contexto escolar, o propósito do presente estudo foi averiguar a evidência de validade baseada nas relações com variáveis externas. Especificamente, trata-se de explorar a relação de convergência, teoricamente existente, entre os dois textos de Cloze, que avaliam a compreensão de leitura, por meio da correlação com a Escala de Avaliação da Escrita EAVE. Também foi objetivo deste trabalho 90 Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

6 Validade do Cloze explorar a relação entre o desempenho no Cloze e subgrupos de alunos, formados com base na pontuação da EAVE. MÉTODO Participantes Participaram desta pesquisa 92 crianças procedentes de uma escola pública do interior do estado de São Paulo regularmente matriculadas no ensino fundamental. Dessas crianças 45,7% (n=42) estavam no terceiro ano, 23,9% (n=22) no quarto ano e 30,4% (n=28) no quinto ano. Do total, 54,3% (n=50) eram do sexo masculino, com idade variando entre 7 e 10 anos (M=8,80; DP=0,96). Instrumentos Teste de Cloze Usado como instrumento de avaliação da compreensão de leitura. Os textos utilizados neste estudo foram A princesa e o fantasma e Uma vingança infeliz elaborados por Santos (2005). Eles possuem tamanho e dificuldade equivalentes e foram elaborados na forma do Cloze tradicional, tal como proposto inicialmente por Taylor em Em cada texto, são omitidos os quintos vocábulos, e substituídos por um traço de tamanho equivalente ao da palavra retirada. Os alunos foram solicitados a preencher o espaço em branco com a palavra que lhes parecesse a mais apropriada para completar o sentido do texto. Recorreu-se à correção literal, considerando como certas somente palavras idênticas às omitidas. A pontuação máxima possível em cada texto é de 15 pontos, perfazendo um total de 30 pontos possíveis para o total de lacunas nas duas histórias. Há estudos que relatam as evidências de validade para essas histórias do Cloze, mostrando que são suficientemente sensíveis para separar os alunos de acordo com o ano escolar em que cursam (Cunha & Santos, 2009; Mota & Santos, 2015). A análise da consistência interna apresentou índices de precisão satisfatórios, pois o alfa de Cronbach foi de 0,83. Procedeu-se também à análise da consistência interna por ano escolar, obtendo-se índices adequados (alfa acima de 0,70). Escala de Avaliação da Escrita (EAVE) (Sisto, 2005) O instrumento visa avaliar a dificuldade de representação de fonemas na grafia de letras e palavras a partir de um sistema linguístico estruturado e arbitrário. Consiste em uma escala com 55 palavras a serem ditadas para crianças de 1ª a 4ª séries (atuais 2º ao 5º ano). Para cada palavra errada escrita pela criança é atribuído um ponto, sendo o escore máximo possível de 55 pontos (Sisto, 2005). O estudo realizado com escolares, ambos os sexos, Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

7 Santos & Monteiro provenientes de escolas públicas e particulares do interior do estado de São Paulo, permitiu a seleção das palavras inseridas na Escala de Avaliação da Escrita, em seu formato atual, como as que ofereciam maior possibilidade de discriminação entre as diferentes séries. Em relação às propriedades psicométricas do instrumento, um estudo realizado por Sisto (2005) revelou que a escala apresenta evidências de validade convergente, demonstrando alto índice de correlação (r=0,89) com a Escala de Avaliação de Dificuldades na Aprendizagem da Escrita (ADAPE), desenvolvido anteriormente pelo mesmo autor. Procedimentos Coleta de dados O projeto de pesquisa foi submetido ao Comitê de Ética da Universidade São Francisco (CAAE n o ) e após a autorização da direção da escola, os instrumentos foram aplicados aos alunos cujos pais assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). As aplicações do Cloze e EAVE foram realizadas de forma coletiva em sala de aula, nos horários definidos pela escola. Os aplicadores eram alunos de graduação e pós-graduação do curso de Psicologia. Os testes foram aplicados na seguinte ordem, primeiramente os dois textos de Cloze seguidos da EAVE. As instruções de cada teste foram passadas pelos pesquisadores a todas as crianças no momento da aplicação. O tempo total da aplicação com cada turma de alunos foi de 50 minutos. Análise de dados Foram usadas análises da estatística descritiva para caracterizar os alunos em termos da médias e desvios-padrão em cada um dos instrumentos aplicados. Recorreu-se, ainda, a provas da estatística inferencial, quais sejam, a correlação de Pearson para verificar a associação entre os resultados obtidos e a Análise de variância (ANOVA de um fator) para a comparação entre os escores dos diferentes agrupamentos em que os alunos foram categorizados. O nível de significância adotado foi o de p < 0,05. RESULTADOS A primeira parte das análises realizadas consistiu em avaliar a habilidade dos sujeitos nos instrumentos EAVE, nos dois textos com a técnica de Cloze e a soma de ambos, que resultou no Cloze total. O texto A Princesa e o Fantasma está representado como Cloze 1 nas tabelas, e o texto Uma Vingança Infeliz como Cloze 2. Os resultados das provas de estatística descritiva são apresentados na Tabela 1. Tabela 1. Estatísticas descritivas dos escores dos instrumentos (N=92) 92 Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

8 Validade do Cloze Mínimo Máximo Média Desvio-Padrão EAVE ,41 12,42 Cloze ,48 3,37 Cloze ,92 3,97 Cloze Total ,49 6,94 Pelos dados da Tabela 1 verifica-se que a média obtida na EAVE pelos estudantes da amostra está bem abaixo do ponto médio da escala, que seria de 27,5, considerando os 55 erros possíveis. Quanto à pontuação dos textos de Cloze, observou-se que a melhor média dos alunos foi obtida no Cloze 1 A Princesa e o Fantasma (M=7,48; DP=3,37), embora não tenham atingido o número total de acertos do texto. Constatou-se que a média no Cloze 2 Uma Vingança Infeliz foi inferior, sugerindo um desempenho baixo. Conforme o objetivo proposto por este trabalho verificou-se a evidência baseada nas relações de convergência entre os escores de testes que avaliam construtos relacionados, a saber, os dois textos de Cloze e a Escala de Avaliação da Escrita EAVE. Para tanto, recorreu-se à prova de correlação de Pearson, cujos resultados são observados na Tabela 2. Tabela 2. Índices de correlações (r) entre os escores dos Textos de Cloze e a EAVE Cloze EAVE p Cloze 1 (A princesa e o fantasma) -0,76 <0,001 Cloze 2 (Uma vingança infeliz) -0,74 <0,001 Cloze Total (Soma da pontuação dos dois textos) -0,79 <0,001 Pela Tabela 2 se identifica que os índices de correlação entre os escores dos instrumentos foram negativos e significativos. Assim como encontrado em Guidetti e Martinelli (2007) e Suehiro e Santos (2012), este resultado indica que quanto maior a compreensão em leitura dos participantes melhor seu desempenho em escrita, ou pode-se dizer que, quanto melhor foi o resultado na prova de compreensão em leitura, menor quantidade de erros foi verificada na escrita de palavras. Além disso, esses resultados evidenciam a existência de evidência de validade convergente entre os instrumentos. A fim de se averiguar as diferenças entre os escores dos alunos no Cloze nos subgrupos, formados com base na pontuação da EAVE, utilizou-se a ANOVA Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

9 Santos & Monteiro de um fator. Para a constituição dos grupos considerou-se a classificação proposta por Guidetti e Martinelli (2007). Os resultados da análise de variância por grupos de desempenho na EAVE com os escores dos textos de Cloze revelou existir uma diferença estatisticamente significativa no Cloze 1 [F(2,85)=38,098; p<0,001], no Cloze 2 [F(2,87)=30,908; p<0,001] e no Cloze total [F(2,85)=40,520; p<0,001]. Essas diferenças foram verificadas por meio do teste post-hoc de Tukey constatando a existência de três agrupamentos mostrados na Tabela 3, sendo que em todos eles o nível de significância obtido foi o de p<0,001. Tabela 3. Agrupamento por médias dos grupos por desempenho na EAVE em relação aos escores dos dois testes de Cloze e do Cloze Total Agrupamento por alfa no Cloze 1 Grupos por desempenho na EAVE n Desempenho fraco 20 3,95 Desempenho mediano 40 7,25 Desempenho bom 28 10,32 Agrupamento por alfa no Cloze Desempenho fraco 21 1,19 Desempenho mediano 41 4,60 Desempenho bom 28 8,17 Agrupamento por alfa no Cloze Total Desempenho fraco ,20 Desempenho mediano 40 11,92 Desempenho bom 28 18,50 Como visto na Tabela 3, no Cloze 1 foram formados três grupos com os três subgrupos constituídos de acordo com a pontuação da EAVE. Os resultados condizem com o esperado, já que os alunos do grupo desempenho fraco obtiveram a menor média no Cloze 1, seguidos dos alunos do grupo desempenho mediano e por fim dos do grupo desempenho bom. Assim como ocorreu com os resultados do Cloze 1, os agrupamentos em relação ao Cloze 2 foram os mesmos. Dessa forma, o desempenho dos alunos no Cloze 2 aumentou conforme a melhora no desempenho da EAVE. Em relação ao Cloze total, o teste post-hoc de Tukey mais uma vez agrupou os subgrupos da EAVE em três grupos distintos, evidenciando a diferença de desempenho entre esses grupos em 94 Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

10 Validade do Cloze relação à pontuação no Cloze total. É possível dizer que esses resultados são congruentes com os encontrados na correlação de Pearson entre os instrumentos, indicando, assim, a validade convergente dos construtos investigados. DISCUSSÃO Tendo em vista a importância de instrumentos de avaliação com boas qualidades psicométricas, este estudo buscou evidência de validade para dois textos com a técnica de Cloze por meio da correlação com um instrumento de avaliação da escrita. Para tanto, inicialmente, algumas análises foram realizadas a fim de caracterizar a amostra desta pesquisa, revelando os resultados atingidos pelos alunos. Sendo assim, observou-se num primeiro momento que os estudantes obtiveram um desempenho mediano tanto na compreensão de leitura como na escrita, de acordo com a classificação proposta por Guidetti e Martinelli (2007). É importante lembrar que esses estudantes eram provenientes de uma escola pública e que o resultado obtido por eles pode estar relacionado à qualidade de ensino dessa escola. Conforme abordado ao longo do texto, a leitura e a escrita são aquisições importantes para o bom rendimento escolar da criança (Cunha & Santos, 2008; Mota et al., 2008; Santos, 2005; Sisto, 2006; Santos et al., 2010, entre outros). A leitura por ser requisitada ao longo da aprendizagem de diversas disciplinas escolares (Joly, 2009; Santos et al., 2002; Wang et al., 2008) e a escrita por ser a representação por meio de símbolos da linguagem oral indicam a relevância da avaliação dessas habilidades no Ensino Fundamental. Ler e escrever representam duas significações interdependentes, já que é possível dizer que a primeira levaria à segunda e vice-versa (Zucoloto & Sisto, 2002). Dessa maneira, pode-se inferir que os resultados dos alunos deste estudo apontam para a necessidade de se pensar em estratégias de ensino para tais habilidades a fim de proporcionar um melhor desempenho dos alunos no que diz respeito à leitura e escrita. Outra análise proposta por este estudo foi a correlação de Pearson entre os instrumentos utilizados para averiguar a validade entre construtos relacionados, ou seja, convergência. Os resultados dessa análise revelaram uma correlação de magnitude alta e significativa entre os textos do Cloze e a EAVE, indicando que quanto maior o desempenho na compreensão de leitura, maior também o desempenho em escrita. Esses achados corroboram os de Zucoloto e Sisto (2002), Santos et al (2006) e Guidetti e Martinelli (2007), já que nesses estudos o desempenho em compreensão de leitura também se correlacionou com o desempenho de escrita. No entanto, vale observar que a menor magnitude de correlação encontrada foi no estudo de Guidetti e Martinelli, cujo resultado indicou uma variância compartilhada de 32,49% entre ambas as medidas e o de Santos e Suhiro (2012) que encontraram 70,56% entre as mesmas medidas. Em Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

11 Santos & Monteiro relação a este aspecto, o que aqui foi encontrado indica uma variância compartilhada entre 54,76% (Cloze 2) e 62,41% (Cloze Total). Estes são valores intermediários entre os dois estudos realizados anteriormente, o que aponta para a necessidade de que futuros estudos explorem a capacidade preditiva da compreensão de leitura (medida pelo Cloze e por outras formas) e a escrita, medida pela EAVE e também por outros instrumentos. Sob essa perspectiva, vale considerar que a hipótese desta investigação era que o aluno com baixo desempenho na escrita também poderia apresentar baixa compreensão de leitura, revelando assim uma alta correlação entre os instrumentos utilizados. Os achados desta pesquisa parecem indicar uma ligação de reciprocidade entre os construtos estudados, pois revelaram que a compreensão de leitura está associada ao desempenho em escrita, mostrando que ambos caminham juntos (Mota & Santos, 2014; Suehiro & Santos, 2012; Zucoloto & Sisto, 2002). Isso significa que quanto maior a compreensão em leitura maior o desempenho em escrita e vice-versa. Com base nesses resultados, pode-se inferir que ambas as medidas são convergentes em razão da magnitude de correlação detectada entre o Cloze e a EAVE. Este trabalho também objetivou verificar a relação entre o desempenho no Cloze e subgrupos de alunos, formados com base na pontuação da EAVE, tal como proposto por Guidetti e Martinelli (2007). Percebeu-se pelos resultados da ANOVA que a maior parte dos alunos se concentrou no grupo de desempenho mediano, o que já era previsto pela análise descritiva da EAVE. Ademais, o segundo grupo com maior número de alunos foi o de desempenho bom, revelando que a grande maioria dos alunos obteve um desempenho mediano ou bom de acordo com a classificação utilizada na EAVE. A diferença entre as médias desses alunos foi estatisticamente significativa e o teste post hoc de Tukey formou três grupos, no Cloze 1, Cloze 2 e Cloze total, com os três subgrupos constituídos de acordo com a pontuação da EAVE. Pode-se dizer, com esses achados, que mais uma vez os construtos mostraram-se correlacionados corroborando os resultados da correlação de Pearson. Conforme apontado por Ellis (2001) e Flower e Hayes (1981), os modelos de processamento da informação para leitura são similares aos da escrita. Para aquisição de tais habilidades os alunos devem operar vários níveis de tarefas, desde o reconhecimento e identificação de palavras até entendimento e uso das estruturas sintáticas (Eysenck & Keane, 2007; Mota et al, 2008; Sternberg, 2008; entre outros). Dessa maneira, é possível inferir que bons leitores dominam cada vez mais textos complexos e sabem empregar o uso da escrita para se expressar de forma clara. Nesse sentido, torna-se fundamental uma boa avaliação da leitura e escrita nos anos iniciais do Ensino Fundamental para um melhor planejamento das atividades àqueles alunos que apresentam dificuldades na aquisição dessas habilidades, embora os instrumentos aqui focalizados não se proponham ao diagnóstico de problemas específicos. 96 Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

12 Validade do Cloze É importante lembrar que um bom instrumento de avaliação deve apresentar qualidades psicométricas satisfatórias para seu uso. Para tanto são necessários estudos de validade com diferentes amostras a fim de verificar a congruência de resultados obtidos (Pasquali, 2010; Primi, Muniz & Nunes, 2009; Santos et al, 2010). Apesar dos resultados aqui apresentados irem ao encontro de outros na literatura, novos estudos se fazem necessários para que seja mais bem investigada a validade dos instrumentos aqui focalizados, visto favorecerem o aprimoramento de suas qualidades psicométricas. Nesse sentido, estudos específicos devem ser conduzidos no sentido de produzir informações sobre a sensibilidade e a especificidades dessas medidas. CONSIDERAÇÕES FINAIS Os achados deste estudo confirmaram a hipótese inicial de convergência entre as medidas aqui focalizadas, embora ainda reste uma diferença expressiva de variância compartilhada relativa a outros estudos com as mesmas medidas, que foram anteriormente realizados. Vale destacar, no entanto, o seu potencial de contribuição, considerando-se que os instrumentos investigados são voltados para a identificação de dificuldades relacionadas às habilidades de compreensão de leitura e de escrita, bastante exigidas durante a formação escolar da criança. A identificação precoce dessas dificuldades possibilita um melhor planejamento das atividades escolares por parte dos profissionais da área, como professores e pedagogos. Em termos de limitações do estudo, pode-se mencionar o fato de que os 92 participantes eram alunos de uma única escola pública do interior de São Paulo e que a sua distribuição não era homogênea por ano escolar e por sexo. Além disso, outros fatores intervenientes não foram controlados, incluindo aqueles atinentes a problemas cognitivos que as crianças pudessem apresentar. O controle de variáveis como a idade e a escolaridade, bem como o uso de técnicas estatísticas mais robustas seria recomendado. Importante assinalar, ainda, que o teste de Cloze por si só não se presta a avaliar a compreensão leitora em toda a sua complexidade enquanto processo cognitivo. Nesse sentido, deixa de informar aspectos como os referentes às questões da redundância textual e da compreensão local em contraponto com a compreensão global do texto. Por fim, vale salientar um aspecto importante que resultou da discussão destes achados, mostrando a possibilidade de utilização de instrumentos que possuam qualidades psicométricas satisfatórias para diagnóstico e prevenção de dificuldades relacionadas à aprendizagem escolar. Sob essa perspectiva, a construção de testes psicológicos com exigências de validade e precisão cria uma oportunidade para se refletir sobre instrumentos de avaliação psicoeducacional nas práticas educativas. A ampliação de investigações como esta, referentes a Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

13 Santos & Monteiro outros instrumentos de fácil aplicação e correção, poderão resultar em um aumento de recursos que podem subsidiar a prática pedagógica de professores do ensino fundamental, ajudando-os a cumprir sua importante tarefa. REFERÊNCIAS American Educational Research Association (AERA), American Psychological Association (APA), & National Council on Measurement in Education (NCME) (2014). The standards for educational and psychological testing. Washington-DC: AERA. Alliende, F. & Condemarín, M. (1987). Leitura teoria, avaliação e desenvolvimento (J. C. A. Abreu, Trad.). Porto Alegre, RS: Artes Médicas. Cunha, N. B., & Santos, A. A. A. (2008). Habilidades linguísticas no ensino fundamental em escolas públicas e particulares. PSIC - Revista de Psicologia da Vetor Editora, 9 (1), Cunha, N. B., & Santos, A. A. A. (2009). Validade por processo de resposta no teste de Cloze. Fractal, 21(3), doi: /S Dancey, C., & Reidy, J. (2006). Estatística sem matemática para psicologia. Porto Alegre, RS: Artmed. Ellis, A. W. (2001). Leitura, escrita e dislexia: uma análise cognitiva (2a ed.), (D. Batista, Trad.). Porto Alegre, RS: Artes Médicas. Eysenck, M. W., & Keane, M. T. (2007). Percepção da leitura e da fala. In M. W. Eysenck & M. T. Keane, Manual de psicologia cognitiva (pp ). Porto Alegre, RS: Artmed. Flower, L., & Hayes, J. (1981). Plans that guide the composing process. In C. H Frederiksen & J. Dominic (Org.), Writing: The nature, development, and teaching of written communication (pp ). Hillsdale, NJ: Erlbaum. Guidetti, A. A., & Martinelli, S. C. (2007). Compreensão em leitura e desempenho em escrita de crianças do ensino fundamental. PSIC - Revista de Psicologia da Vetor Editora, 8(2), Joly, M. C. R. A. (2009). Estudos com o sistema orientado de cloze para o ensino fundamental. Em A. A. A Santos, E. Boruchovitch & K. L. Oliveira (2009). Cloze: um instrumento de diagnóstico e intervenção (pp ). São Paulo, SP: Casa do Psicólogo. Marec-Breton, N., & Gombert, J. (2004). A dimensão morfológica nos principais modelos de aprendizagem da leitura. In M. R. Maluf (Org). Psicologia educacional: questões contemporâneas (pp ). São Paulo, SP: Casa do Psicólogo. Mota, M. M. P. E. (2015). Um olhar crítico sobre os testes de compreensão de leitura. Avaliação Psicológica, 14(3), doi: /ap Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016

14 Validade do Cloze Mota, M. M. P. E., & Santos, A. A. A. (2014). O cloze como instrumento de avaliação de leitura nas séries iniciais. Psicologia Escolar e Educacional, 18(1), doi: /S Mota, M. M. P. E., Santos, A. A. A., Dias, J., Paiva, N., Lisboa, S. M., & Silva, D. A. (2008). Relação entre consciência morfológica e a escrita em crianças do ensino fundamental I. Psicologia em Pesquisa, 2(2), Mota, M. M. P. E., Vieira, M. T., Bastos, R. R., Dias, J., Paiva, N., Lisboa, S. M., & Silva, D. A. (2012). Leitura contextual e processamento metalinguístico no português do Brasil: um estudo longitudinal. Psicologia: Reflexão e Crítica, 25(1), doi: /S Nicholson, T. (1999). Reading comprehension processes. In G. B. Thompson & T. Nicholson (Orgs.), Learning to Read (pp ). Newark: IRA. Pasquali, L. (2010). Testes referentes a construto: teoria e modelo de construção. In L. Pasquali (2010), Instrumentação psicológica: fundamentos e práticas (pp ). Porto Alegre, RS: Artmed. Primi, R; Muniz, M., & Nunes, C. H. S. S. (2009). Definições contemporâneas de validade de testes psicológicos. Em C. S. Hutz. (Org.), Avanços e polêmicas em avaliação psicológica (pp ). São Paulo, SP: Casa do Psicólogo. Santos, A. A. A. (2004). O Cloze como técnica de diagnóstico e remediação da compreensão em leitura. Interação em Psicologia, 8 (2), Santos, A. A. A. (2005). Evidências de validade de critério para o teste de cloze. Manuscrito não publicado. Programa de Pós-graduação Stricto-Sensu em Psicologia. Universidade São Francisco, São Paulo. Santos, A. A. A., Noronha, A. P., & Sisto, F. F. (2010). Toni 3 forma A e teste de cloze: evidências de validade. Psicologia: Teoria e Pesquisa, 26(3), doi: /S Sisto, F.F. (2001). Dificuldade de aprendizagem em escrita: um instrumento de avaliação (ADAPE). Em F.F., Sisto, E., Boruchovitch, & L.D.T., FINI, (Orgs.), Dificuldades de Aprendizagem no Contexto Psicopedagógico (pp ). Petrópolis, RJ: Vozes. Sisto, F. F. (2005). Escala de Avaliação da Escrita. Relatório técnico. Itatiba, SP: Universidade São Francisco. Sisto, F. F. (2006). Estudo do funcionamento diferencial de itens para avaliar o reconhecimento de palavras. Avaliação Psicológica, 5(1), Sternberg, R. J. (2008). Linguagem em contexto. In R. J. Sternberg, Psicologia cognitiva (pp ). Porto Alegre, RS: Artmed. Suehiro, A. C. B. (2013). Produção científica sobre o teste de cloze. Psicologia Escolar e Educacional, 17(2), doi: /S Suehiro, A. C. B., & Santos, A. A. A. (2012). Validade concorrente entre instrumentos de avaliação da compreensão em leitura e da escrita. Psicologia Argumento, 30(68), Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez

15 Santos & Monteiro Suehiro, A. C. B., Santos, A. A. A., & Rueda, F. J. M. (2015). Desenvolvimento perceptomotor e escrita em crianças do ensino fundamental. Psicologia Escolar e Educacional, 19(2), doi: / /2015/ Zucoloto, K. A. & Sisto, F. F. (2002). Dificuldades de aprendizagem em escrita e compreensão em leitura. Interação em Psicologia, 6(2), Wang, S., Jiao, H., Young, M. J., Brooks, T., & Olson, J. (2008). Comparability of computer-based and paper-and-pencil testing in K-12 reading assessments: A meta-analysis of testing mode effects. Educational and Psychological Measurement, 68(1), doi: / Sobre as autoras Acácia Aparecida Angeli dos Santos é psicóloga pela Pontifícia Universidade Católica de Campinas (PUC-Campinas) e mestre pela mesma universidade. Doutora em Psicologia Escolar e do Desenvolvimento Humano pela Universidade de São Paulo. Trabalha na linha de Avaliação Psicoeducacional no Programa de Pós-graduação Stricto Sensu em Psicologia da Universidade São Francisco e recebe financiamento de pesquisa do CNPq, como bolsista de produtividade 1A. acacia.santos@usf.edu.br Rebecca Magalhães Monteiro é psicóloga pela Pontifícia Universidade Católica de Minas Gerais (PUC-MG), mestre e doutora em Psicologia pela Universidade São Francisco. Trabalha na linha de Psicologia Educacional na Pontifícia Universidade Católica de Minas Gerais e recebeu, na ocasião da pesquisa, financiamento da CAPES por ter sido bolsista no programa de pós-graduação. rebamonteiro@gmail.com Recebido em: 05/04/2016 1ª revisão em: 04/06/2016 2ª revisão em 01/07/2016 Aceito em: 19/07/ Estudos Interdisciplinares em Psicologia, Londrina, v. 7, n. 2, p , dez. 2016