Item 11 - Avaliação da estruturação sintática discursiva

Transcrição

1 80 Item 11 - Avaliação da estruturação sintática discursiva Registro: a partir da escuta das gravações realizadas no momento da aplicação da Escala, transcreveram-se, canonicamente na Folha de Registro de Desempenho, todas as respostas do escolar. Critérios de análise: A avaliação deste item considerou: a. presença de adequação semântica; b. tipo de construção sintática. Os critérios de julgamento encontram-se especificados no Manual de Orientação ao Avaliador nas páginas 63 e 64. Quantificação de desempenho: as sentenças que a partir das situaçõesproblema apresentaram adequação semântica e coerência foram avaliadas por um sistema de pontuação atribuída para cada tipo de construção sintática apresentada. As sentenças que apresentaram inadequações semânticas e/ou contextuais receberam pontuação zero. Para cada tipo de período classificado foi atribuído um valor correspondente: a) Período Simples - 1 ponto; b) Período composto por coordenação - 2 pontos; c) Período composto por subordinação - 3 pontos; d) Período composto por coordenação e subordinação - 4 pontos. Escala de Metalinguagem (EML) As respostas dos escolares aos itens da EML foram registradas na Folha de Registro de Desempenho, subseqüentemente à aplicação do instrumento, ou, posteriormente, a partir da transcrição de gravações feitas no momento da avaliação. O procedimento de registro e os critérios empregados em sua análise encontram-se descritos a seguir. Item 1 Tarefa de avaliação da Percepção Categórica e manipulação fonêmica

2 81 Registro: seqüências de sílabas repetidas pela criança foram anotadas subseqüentemente na Folha de Registro de Desempenho. Critério de análise: - Respostas certas: respostas que respeitaram a seqüência de apresentação das sílabas e que apresentaram a correta manipulação de vogais solicitada. - Respostas erradas: com inversões de sílabas, omissões de sílabas, substituições de consoantes ou inadequação na manipulação de vogais. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Item 2 - Avaliação da identificação de rimas Registro: as respostas fornecidas oralmente pelos escolares foram transcritas subseqüentemente na Folha de Registro de Desempenho. Critério de análise: - Respostas certas: as respostas consideradas corretas encontram-se especificadas no Manual de Orientação ao Avaliador na página Respostas erradas: todas as respostas fornecidas que foram distintas das especificadas como corretas no Manual de Orientação ao Avaliador. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Os critérios de análise do desempenho adotados para este item foram pautados pelos procedimentos estabelecidos por CAPOVILLA e CAPOVILLA (1998).

3 82 Item 3 Avaliação da síntese fonêmica Registro: o registro das respostas obedeceu a critérios estabelecidos segundo a faixa etária. - Para 8 a 9 anos e 11 meses: registrou-se o nome da única figura indicada pela criança como resposta. - Para 10 a 11 anos e 11 meses: registrou-se a resposta fornecida oralmente pelo escolar. Critério de análise: - Respostas certas: respostas correspondentes aos estímulos-alvo. - Respostas erradas: respostas que indicaram vocábulos diferentes do estímulo-alvo, resultantes de omissões ou inversões de fonemas. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados pelos procedimentos propostos por CAPOVILLA e CAPOVILLA (1998). Item 4 Tarefa de definição de vocábulos Registro: a partir da escuta das gravações realizadas no momento da aplicação da Escala, transcreveram-se, canonicamente na Folha de Registro de Desempenho, todas as respostas do escolar. Critério de análise: As transcrições foram avaliadas segundo o número de atributos apresentados pela criança durante a definição dos estímulos lingüísticos apresentados. Para o julgamento das respostas fornecidas pelos escolares foi realizada a priori uma pesquisa das definições contidas em dicionário (HOLANDA, 2004) a partir da qual se determinaram os atributos creditáveis

4 83 segundo as categorias propostas por BOGOSSIAN e SANTOS (1977): denominação de classe, cor, forma, composição, função ou ação, partes principais, quantificação, pessoa ou lugar, comparação e outras características pertinentes. As definições consideradas corretas e incorretas, com base no julgamento das respostas obtidas em confronto com os critérios previamente definidos, foram organizadas em tabelas apresentadas no Manual de Orientação ao Avaliador nas páginas 66 a 70. Quantificação do desempenho: para cada atributo, considerado correto, apresentado pela criança durante a definição dos estímulos lingüísticos, creditou-se um ponto. Posteriormente, realizou-se o cômputo do número de atributos corretos fornecidos pela criança para todos os estímulos de teste. Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados pelos procedimentos propostos pelo teste Illinois Test of Psycholiguistics Abilities (ITPA) adaptado por BOGOSSIAN e SANTOS (1977). Item 5 - Tarefa de correção na ordenação de palavras Registro: as respostas fornecidas pelos escolares foram transcritas pelo avaliador no momento de aplicação do teste. Critério de análise: - Respostas certas: organização correta da frase proposta. - Respostas erradas: presença de erros na organização sintática apropriada da frase; inserção, omissão ou modificação de vocábulos na frase. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item.

5 84 Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados pelos procedimentos propostos por NATION e SNOWLING (2000). Item 6 Tarefa de Identificação de erros gramaticais Registro: as respostas fornecidas pelos escolares foram transcritas pelo avaliador no momento de aplicação do teste. Critério de análise: - Respostas certas: identificação correta do erro gramatical, e posterior correção. As respostas corretas encontram-se no Manual de Orientação ao Avaliador na página Respostas erradas: ausência de identificação correta do erro gramatical; presença de identificação correta do erro gramatical, contudo sem a apresentação adequada da correção gramatical da frase; presença de correção da incoerência semântica em detrimento ao erro gramatical. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados pelos procedimentos propostos por CAPOVILLA e CAPOVILLA (2006). Item 7 Capacidade de Geração de Inferências Registro: o registro das respostas obedeceu a critérios estabelecidos segundo a faixa etária e foi realizado subseqüentemente, na Folha de Registro de Desempenho. - Para 8 a 10 anos e 11 meses: registrou-se para os estímulos de testes 1 e 2 as respostas oralmente fornecidas pelos escolares às situações propostas

6 85 oralmente pelo examinador. Para o estímulo de teste 3 registrou-se a alternativa selecionada pelos escolares como resposta apropriada aos testes de múltipla escolha fornecidos pelo examinador. - Para 11 a 11 anos e 11 meses: registrou-se para o estímulo de teste 1 as respostas oralmente fornecidas pelos escolares às situações propostas oralmente pelo examinador. Para os estímulos de teste 2 e 3 registrou-se a alternativa selecionada pelos escolares como resposta apropriada aos testes de múltipla escolha fornecidos pelo examinador. Critérios de análise: - Respostas certas: as respostas consideradas corretas encontram-se especificadas no Manual de Orientação ao Avaliador na página Respostas erradas: todas as respostas distintas das especificadas como corretas no Manual de Orientação ao Avaliador. Quantificação de desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Item 8 - Capacidade de Geração de Inferências Registro: registrou-se, no momento da aplicação da Escala, a alternativa selecionada pelos escolares como resposta apropriada aos testes de múltipla escolha fornecidos pelo examinador. Critérios de análise: - Respostas certas: as respostas consideradas corretas encontram-se especificadas no Manual de Orientação ao Avaliador na página Respostas erradas: todas as respostas distintas das especificadas como corretas no Manual de Orientação ao Avaliador. Quantificação de desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item.

7 86 Escala de Leitura (EL) As respostas dos escolares aos itens da EL foram registradas, subseqüentemente à aplicação do instrumento, nas Folhas de Registro de Desempenho ou procedeu-se ao registro dos parâmetros de leitura posteriormente, a partir das escutas das gravações. O procedimento de registro e os critérios empregados em sua análise encontram-se descritos a seguir. Item 1 - Avaliação do conhecimento de letras Registro: As respostas fornecidas pela criança diante da solicitação da nomeação de letras foram registradas subseqüentemente na Folha de Registro de Desempenho. Critério de análise: - Respostas certas: nomeação correta da letra apresentada. - Respostas erradas: ausência de respostas ou nomeação inapropriada da letra apresentada. Quantificação do desempenho: Para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados pelos procedimentos propostos por RAMOS (2005). Item 2 - Avaliação do conhecimento da relação fonema-grafema Registro: as respostas fornecidas pela criança diante da solicitação de fornecimento do fonema representado pelos grafemas apresentados foram registradas subseqüentemente na Folha de Registro de Desempenho.

8 87 Critério de análise: - Respostas certas: identificação correta do grafema representado pela letra apresentada pelo examinador. - Respostas erradas: ausência de respostas ou identificação inapropriada do grafema representado pela letra apresentada pelo examinador. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos neste item. Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados pelos procedimentos propostos por RAMOS (2005). Item 3 Avaliação da fluência da leitura velocidade da leitura de palavras Registro: a partir da escuta das gravações foi realizada a mensuração do tempo despendido na leitura e a transcrição das palavras. Também foram identificados os estímulos recusados na leitura. Critério de análise: foi computado o número de palavras lidas por minuto. Quantificação do desempenho: o cálculo da velocidade da leitura foi feito a partir da fórmula: Velocidade = n o de palavras lidas X 60 segundos tempo total de leitura dos itens (em segundos) Os critérios de análise e de quantificação do desempenho adotado para este item foi pautado nos procedimentos propostos por GEVA e ZADEH (2006).

9 88 Item 4 - Avaliação da fluência da leitura acurácia da leitura de palavras Registro: a partir da escuta das gravações foi realizada a mensuração do tempo despendido na leitura e a transcrição das palavras. Critério de análise: foi computado o número de palavras lidas corretamente por minuto. Considerou-se acerto somente quando os itens escritos foram lidos de maneira correta e fluente. Hesitações, estratégias de revisão para correções ou falhas na decodificação ortográfica foram consideradas erros. Quantificação do desempenho: o cálculo da acurácia da leitura foi feito a partir da fórmula: Acurácia = n o de palavras lidas corretamente X 60 s tempo total de leitura (em segundos) Os critérios de análise e quantificação do desempenho adotados para este item foi pautado nos procedimentos propostos por GEVA e ZADEH (2006). Item 5 - Avaliação da fluência da leitura velocidade da leitura de pseudopalavras Registro: a partir da escuta das gravações foi realizada a mensuração do tempo despendido na leitura e a transcrição das pseudo-palavras. Também foram identificados os estímulos recusados na leitura. Critério de análise: foi computado o número de pseudo-palavras lidas por minuto. Quantificação do desempenho: o cálculo da velocidade da leitura foi feito a partir da fórmula: Velocidade = n o de pseudo-palavras lidas X 60 segundos tempo total de leitura dos itens (em segundos)

10 89 Os critérios de análise e de quantificação do desempenho adotado para este item foi pautado nos procedimentos propostos por GEVA e ZADEH (2006). Item 6 - Avaliação da Fluência da leitura acurácia da leitura de pseudopalavras Registro: a partir da escuta das gravações foi realizada a mensuração do tempo despendido na leitura e a transcrição das pseudo-palavras. Critério de análise: foi computado o número de pseudo-palavras lidas corretamente por minuto. Considerou-se acerto somente quando os itens psicolingüísticos foram lidos de maneira correta e fluente. Hesitações, estratégias de revisão para correções ou falhas na decodificação ortográfica foram consideradas erros. Quantificação do desempenho: O cálculo da acurácia da leitura foi feito a partir da fórmula: Acurácia = n o de pseudo-palavras lidas corretamente X 60 s tempo total de leitura (em segundos) Os critérios de análise e quantificação do desempenho adotados para este item foi pautado nos procedimentos propostos por GEVA e ZADEH (2006). Item 7 - Avaliação da fluência da leitura velocidade da leitura de texto (1 o leitura) Registro: a partir da escuta das gravações foi realizada a mensuração do tempo despendido na leitura do texto. Critérios de análise: identificação das palavras omitidas, relidas ou inseridas durante a leitura. Quantificação de desempenho: foi computado o número de palavras omitidas, relidas ou inseridas durante a leitura. Em caso de inserção ou releitura de

11 90 algumas palavras pela criança, os itens inseridos ou relidos foram incorporados ao número total de palavras contidas no texto para o cálculo da velocidade. Por outro lado, o número de itens omitidos durante a leitura foi subtraído do número total de palavras contidas no texto. O cálculo da velocidade da leitura foi feito a partir da fórmula: Velocidade de leitura = número de palavras lidas pelo escolar X 60 segundos tempo total da leitura (em segundos) Os critérios de análise e quantificação do desempenho adotados para este cálculo seguiram os procedimentos de análise de decodificação de textos utilizados por CAPELLINI e CAVALHEIRO (2000), SALLES e PARENTE (2002), RAMOS (2005) e AVILA et al. (2005). Item 8 - Avaliação da fluência da leitura acurácia da leitura de texto (1 a leitura) Registro: após a escuta das gravações foi realizada a mensuração do tempo despendido na leitura do texto e identificadas as palavras lidas corretamente. Critérios de análise: foi computado o número de palavras lidas corretamente. Considerou-se acerto somente a leitura de itens escritos realizada de maneira correta e fluente. Palavras lidas com hesitações, relidas ou para as quais houve falhas na decodificação ortográfica foram consideradas erro. Quantificação de desempenho: o cálculo da acurácia da leitura foi feito a partir da fórmula: Acurácia de leitura = número de palavras lidas corretamente X 60 segundos tempo total de leitura (em segundos) Os critérios de análise e quantificação do desempenho adotados para este cálculo seguiram os procedimentos de análise de decodificação de textos utilizados por CAPELLINI e CAVALHEIRO (2000), SALLES e PARENTE

12 91 (2002), RAMOS (2005) e AVILA et al. (2005). Item 9 - Avaliação da fluência da leitura velocidade da leitura de texto (2 a leitura) Registro: A partir da escuta das gravações foi realizada a mensuração do tempo despendido na leitura do texto. Critérios de análise: identificação das palavras omitidas, relidas ou inseridas durante a leitura. Quantificação de desempenho: foi computado o número de palavras omitidas, relidas ou inseridas durante a leitura. Em caso de inserção ou releitura de algumas palavras pela criança, os itens inseridos ou relidos foram incorporados ao número total de palavras contidas no texto para o cálculo da velocidade. Por outro lado, o número de itens omitidos durante a leitura foi subtraído do número total de palavras contidas no texto. O cálculo da velocidade da leitura foi feito a partir da fórmula: Velocidade de leitura = número de palavras lidas pelo escolar X 60 segundos tempo total da leitura (em seg) Os critérios de análise e quantificação do desempenho adotados para este cálculo seguiram os procedimentos de análise de decodificação de textos utilizados por CAPELLINI e CAVALHEIRO (2000), SALLES e PARENTE (2002), RAMOS (2005) e AVILA et al. (2005). Item 10 - Avaliação da fluência da leitura acurácia da leitura de texto (2 a leitura) Registro: após a escuta das gravações foi realizada a mensuração do tempo despendido na leitura do texto e identificadas as palavras lidas corretamente. Critérios de análise: foi computado o número de palavras lidas corretamente.

13 92 Considerou-se acerto somente a leitura de itens escritos realizada de maneira correta e fluente. Palavras lidas com hesitações, relidas ou para as quais houve falhas na decodificação ortográfica foram consideradas erro. Quantificação de desempenho: o cálculo da acurácia da leitura foi feito a partir da fórmula: Acurácia de leitura = número de palavras lidas corretamente X 60 segundos tempo total de leitura (em segundos) Os critérios de análise e quantificação do desempenho adotados para este cálculo seguiram os procedimentos de análise de decodificação de textos utilizados por CAPELLINI e CAVALHEIRO (2000), SALLES e PARENTE (2002), RAMOS (2005) e AVILA et al. (2005). Item 11 Avaliação da compreensão da leitura Registro: os recontos dos escolares, gravados no momento da avaliação, foram ouvidos e transcritos na Folha de Análise do Reconto (ANEXO 12). Critérios de análise: a análise dos recontos considerou inicialmente a identificação das idéias recontadas e das relações causais identificadas a partir dos mapas de análise dos episódios da narrativa, ambas contidas nas Folhas de Análise do Reconto. Consideraram-se, para cada texto: - relações causais de primeiro nível: relacionam as idéias centrais do texto. - relações causais de segundo nível: relacionam as idéias de detalhe. A identificação e o cômputo das relações causais possibilitaram a classificação do reconto segundo os seguintes padrões: Padrão 3 apresentou todas as relações causais de primeiro nível (idéias centrais) ou contemplou todos os momentos do texto marco inicial, fato inicial, resposta interna, execução, conseqüência e reação - mesmo que

14 93 substituindo algumas idéias de primeiro nível (centrais) por idéias de segundo nível (de detalhe). Padrão 2 apresentou relações de causalidade consideradas mínimas, relacionando marco inicial, fato inicial, execução, conseqüência e reação. Padrão 1 apresentou omissão de uma ou mais relações de causalidade consideradas mínimas, embora apresentasse idéias de primeiro e de segundo nível, caracterizando um reconto descritivo. Padrão 0 apresentou omissão de idéias centrais do texto e ausência de relação de causalidade, caracterizando uma narrativa sem estrutura e/ou com intrusão de elementos não presentes no texto. Quantificação de desempenho: os padrões de reconto foram identificados e receberam as seguintes pontuações: Padrão 3 recebeu três pontos; Padrão 2 recebeu dois pontos; Padrão 1 recebeu um ponto; Padrão 0 recebeu zero. Os critérios de análise e quantificação do desempenho adotados seguiram os procedimentos descritos a seguir. Para a identificação das idéias e relações causais compôs-se uma banca de três juízes, um fonoaudiólogo e dois pedagogos com formação superior em psicologia da educação. Primeiramente a banca proposicionalizou cada um dos textos e identificou, adicionalmente, as inferências elaborativas importantes para a compreensão das histórias. As proposicionalizações realizadas por cada um dos membros da banca foram comparadas e, neste momento, selecionaram-se, por consenso, as categorias de eventos narrativos presentes em cada um dos contos segundo modelos propostos por STEIN e GLENN (1979); TRABASSO e van der BROEK (1985). As proposições identificadas foram então julgadas como sendo de primeiro (idéias centrais) ou de segundo nível (idéias de detalhe) de acordo com a relevância para a cadeia causal. Posteriormente, foram identificadas as relações causais entre as categorias de eventos narrativos dos textos. Estas identificações permitiram a elaboração de mapas de análise dos episódios da

15 94 narrativa que serviram de crivo para avaliação dos recontos. Item 12 - Avaliação da Compreensão da Leitura Registro: O registro das respostas às questões de múltipla escolha foi realizado pelos próprios escolares nas Folhas de Respostas - EL. Critérios de análise: As respostas corretas encontram-se no Manual de Orientação ao Avaliador nas páginas 85 e 86. Quantificação de desempenho: Foi computado o número de respostas corretas às questões de múltipla escolha. Os critérios de análise e quantificação do desempenho adotados utilizados foram pautados nos parâmetros propostos por SALLES e PARENTE (2004); OAKHILL e PETRIDES (2007) e CARVALHO (2008). Escala de Escrita (EE) As produções escritas das crianças foram realizadas diretamente na Folha de Resposta da Escala de Escrita, constituindo o material para análise posterior. O procedimento de registro e os critérios empregados em sua análise encontram-se descritos a seguir. Item 1 - Avaliação do conhecimento da escrita de letras Registro: as crianças escreveram as letras nas Folhas de Resposta quando ouviram o nome dos grafemas. Critério de análise: - Respostas certas: escrita correta da letra ditada independentemente do tipo de letra forma, cursiva, maiúscula ou minúscula. - Respostas erradas: ausência de respostas ou escrita de letra diferente da ditada.

16 95 Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Item 2 - Avaliação do domínio da relação fonema-grafema Registro: as crianças escreveram as letras nas Folhas de Resposta quando ouviram o fonema produzido pelo examinador. Critério de análise: - Respostas certas: escrita correta da letra que representa o fonema apresentado. - Respostas erradas: ausência de respostas ou escrita inapropriada da letra que representa o fonema produzido. Quantificação do desempenho: para cada resposta considerada correta creditou-se um ponto e, posteriormente, computou-se o número de acertos obtidos pela criança neste item. Item 3 Avaliação da codificação de palavras Registro: as palavras ditadas pelo examinador foram escritas pelos escolares diretamente nas Folhas de Resposta. Critério de análise: foi computado o número de palavras escritas corretamente segundo as regras de codificação do Português Brasileiro (SCLIAR-CABRAL, 2003). Quantificação do desempenho: calculou-se o percentual de palavras escritas corretamente segundo a seguinte fórmula: Percentual de acerto de palavras = 100 x n 0 de palavras escritas corretamente 35 (n o total de palavras ditadas)

17 96 Os critérios de análise e de quantificação do desempenho adotado para este item foi pautado por procedimentos propostos por GUIMARÃES (2003); QUEIROGA, LINS e PEREIRA (2006); MEIRELES e CORREA (2006). Item 4 - Avaliação da codificação de pseudo-palavras Registro: as pseudo-palavras ditadas pelo examinador foram escritas pelos escolares diretamente nas Folhas de Resposta. Critério de análise: foi computado o número de pseudo-palavras escritas corretamente segundo as regras de codificação do Português Brasileiro (SCLIAR-CABRAL, 2003). Quantificação do desempenho: calculou-se o percentual de pseudo-palavras escritas corretamente segundo a seguinte fórmula: Percentual de acertos = 100 x n 0 de pseudo-palavras corretas 21(n o total de pseudo-palavras ditadas) Os critérios de análise e de quantificação do desempenho adotados para este item foram pautados por procedimentos propostos por GUIMARÃES (2003); QUEIROGA, LINS e PEREIRA (2006); MEIRELES e CORREA (2006). Item 5 - Avaliação da Produção Escrita Registro: as crianças escreveram as respostas às perguntas feitas pelo examinador diretamente nas Folhas de Resposta. Critério de análise: a produção escrita foi analisada segundo três aspectos: o uso adequado da pontuação, coerência e coesão discursivas segundo os critérios especificados no Manual de Orientação ao Avaliador nas páginas 93 e 94. Os critérios de avaliação foram definidos considerando a faixa de escolaridade: os parâmetros da segunda série foram utilizados para avaliar

18 97 crianças de oito anos de idade; os de terceira série a crianças de nove anos; os de quarta a crianças de dez anos e os de quinta série a crianças de onze anos. Quantificação do desempenho: creditou-se um ponto no uso correto de pontuação; um ponto para a frase coerente com a situação narrativa proposta na figura; e um ponto para o uso apropriado de marcadores temporais e de causalidade, regência verbal e concordância verbal e nominal. Os critérios de análise e de quantificação do desempenho adotados foram pautados nos procedimentos propostos por FLOWER e HAYES (1980), GELDEREN e OOSTDAM (2005) e nos Parâmetros Curriculares Nacionais (BRASIL, 1997). 4.5 Estabelecimento dos escores dos itens Com o objetivo de uniformizar a análise do desempenho de escolares nos diferentes itens da Bateria, optou-se pela utilização de escore. Este escore, obtido para cada item, foi definido para mensurar o desempenho de cada escolar em cada item da Bateria. Variou de 2 a 0 e assim representou, respectivamente, do melhor ao pior desempenho observado nesta amostra. Foi denominado escore de item. A variabilidade de demandas impostas pelos itens de teste exigiu, primeiramente, a quantificação dos desempenhos segundo os critérios anteriormente descritos em 4.4 Definição dos critérios de análise, de categorização e de quantificação das respostas. Os valores obtidos a partir dos critérios de quantificação do desempenho foram tabulados, por criança, para cada um dos itens da Bateria e enviados para análise estatística. Nesta etapa procedeu-se à análise das medidas de tendência central, adotando-se os valores de mediana e terceiro quartil para análises posteriores. A mediana foi adotada neste estudo por representar mais fielmente o desempenho dos participantes, uma vez que não é sensível aos valores extremos encontrados na amostra (DANCEY e REIDY, 2006). A mediana e os valores de terceiro quartil foram calculados considerando a faixa etária e permitiram a definição dos critérios de atribuição

19 98 dos escores de item. Deste modo, a mediana representou o escore 2, os valores compreendidos entre a mediana e o terceiro quartil receberam escore 1, e os valores inferiores ao terceiro quartil receberam escore 0 (zero). Quando os valores de tendência central obtidos foram coincidentes entre as diferentes faixas etárias, foi adotado o mesmo critério de atribuição de escore. Esta comparação indicou que a idade não influenciou significativamente o desempenho em treze dos quarenta e quatro itens avaliados, havendo nesses casos, a atribuição de um único escore para as quatro faixas etárias estudadas. Por outro lado, o mesmo processo de comparação dos valores de medianas e dos terceiros quartis em função da idade determinou, para vinte e seis dos itens de avaliação distribuídos nas diferentes escalas, a atribuição de um único escore para parte das faixas etárias estudadas. Os cinco itens restantes mostraram uma variabilidade segundo a idade, recebendo, desta forma, escores específicos para cada uma das idades estudadas. O perfil de atribuição de escores por escala encontra-se detalhado na Tabela 5. Tabela 5. Perfil de Atribuição de Escores por Escala da Bateria Escalas Escore único para todas as faixas etárias Escores unificados para parte das faixas etárias Escore individualizado para cada uma das faixas etárias ELOR ELOE EML EL EE TOTAL

20 Estudo da consistência interna da Bateria O estudo da consistência interna da Bateria de Avaliação de Habilidades e Competências Lingüísticas, de Escrita e Leitura foi realizado para atender ao objetivo de analisar a confiabilidade deste instrumento. Neste estudo, entendeu-se a confiabilidade como a consistência dos dados ou dos resultados obtidos em uma dada medição e optou-se pela análise da consistência interna inter itens assumindo que diferentes itens de teste devem de fato medir uma mesma variável (DOMINO e DOMINO, 2006). Deste modo, a análise da confiabilidade da Bateria exigiu a atribuição e o cálculo dos escores dos itens, destes mesmos escores calculados por habilidades e competências (ehc) e do escore bruto calculado por escala (ebe) para o desempenho de cada um dos escolares da amostra. Para a atribuição dos escores dos itens as respostas de cada um dos participantes, contidas nas Folhas de Registro do Desempenho, foram novamente analisadas. Estas respostas foram classificadas segundo os critérios de atribuição de escores recebendo um valor que variou de 0 a 2. Este procedimento foi realizado para cada um dos itens de teste da Bateria. A seguir, procedeu-se ao cômputo do escore por habilidade e competência (ehc). O escore por habilidade e competência foi idealizado para mensurar o desempenho dos escolares em cada campo de conhecimento que compôs uma escala, conforme a estruturação da Bateria apresentada na Tabela 6:

21 100 Tabela 6. Escores por habilidade e competência para cada Escala da Bateria Escalas da Bateria Escala de Linguagem Oral Receptiva Escala de Linguagem Oral Expressiva Escala de Metalinguagem Escala de Leitura Escala de Escrita Escores por Habilidade e Competência previstos para cada Escala ehc Habilidades Auditivas ehc Semântico ehc Morfossintático ehc Produção Oral ehc Semântico-lexical ehc Morfossintático ehc Metafonológico ehc Metassemântico ehc Metassintático ehc Conhecimento de letras e relação fonografêmica ehc Decodificação de itens isolados ehc Fluência de leitura de texto ehc Compreensão de leitura ehc Conhecimento de letras e relação fonografêmica ehc Codificação de itens isolados ehc Construção da Escrita Assim, para seu cálculo, foram identificados os itens que compuseram cada um dos Campos de Habilidades e Competências de cada Escala e, após a identificação, procedeu-se à soma dos escores obtidos pelos escolares nos itens pertencentes a cada área de Habilidade e Competência, encontrando assim o ehc. Calculados os ehc, procedeu-se ao cômputo dos escores brutos por escala (ebe). Os escores brutos por escala foram idealizados para fornecer informações sobre o desempenho dos escolares em cada área avaliada pela Bateria (Linguagem Receptiva, Linguagem Expressiva, Metalinguagem, Leitura e Escrita). A obtenção dos ebe deu-se por meio da soma dos ehc que compuseram uma dada escala. Os valores de escores atribuídos e calculados para cada escolar da amostra foram tabulados e encaminhados para análise estatística.

22 Método Estatístico Para análise estatística foram aplicados os seguintes testes: - Coeficiente Alpha de Cronbach, utilizado para analisar a consistência interna do instrumento, por meio do estudo do grau de covariância dos itens entre si. Assim, por meio desta análise verifica-se a congruência de cada item de uma escala com os demais itens que a compõe. Este coeficiente varia de 0 a 1, sendo zero a ausência total de consistência interna dos itens e um a presença de consistência de 100%. Segundo o critério de classificação, valores abaixo de 0,6 indicam grau de covariância em níveis inadmissíveis; valores entre 0,6 e 0,7 indicam covariância fraca; valores entre 0,7 a 0,8 indicam covariância aceitável; valores entre 0,8 e 0,9 indicam grau de covariância bom e valores acima de 0,9 indicam covariância muito boa (PESTANA e GAGEIRO, 2003). - Coeficiente de correlação de Pearson (c), utilizado para medir o grau de associação entre duas variáveis de mensuração numérica, não fazendo julgamento sobre a relação de causa e conseqüência entre as duas variáveis. Esta análise permite o estudo sobre quão consistentemente duas variáveis mudam em conjunto. O coeficiente de correlação de Pearson (c) consiste de um valor entre 1 e 1, sendo valores próximos a 1 ou 1 indicativos de um maior grau de associação entre as informações. Valores de correlação próximo de 0 (zero) indicam um menor grau de associação. Valores do coeficiente de correlação menores que 0 indicam uma associação negativa ou inversa, ou seja, quando uma variável aumenta seu valor, a outra diminui. Valores do coeficiente de correlação maiores que 0 indicam uma associação positiva ou direta, ou seja, quando uma variável aumenta o valor, a outra também aumenta. Quanto à força da associação investigada, valores do coeficiente inferiores a 0,40 indicam a presença de correlações fracas, valores compreendidos entre 0,40 e 0,70 indicam a presença de correlações moderadas, valores compreendidos entre 0,70 e 0,90 indicam a presença de correlações boas e valores acima de 0,90 indicam a presença de correlações ótimas.

23 102 Neste estudo, adotou-se o nível de significância de 5% (0,05). Para realização da análise estatística foi utilizado o Programa SPSS (Statistical Package for Social Sciences), em sua versão 12.0.

24 RESULTADOS

25 RESULTADOS Neste capítulo encontram-se descritos os resultados das análises da consistência interna e da correlação entre unidades da Bateria de Avaliação de Habilidades e Competências Lingüísticas, de Escrita e Leitura, aplicada nos oitenta escolares que compuseram a amostra para este estudo piloto. Foram obtidos para atingir o objetivo específico de estudar a confiabilidade da Bateria como instrumento de mensuração do desempenho de crianças de oito a onze anos e onze meses. Estes resultados de análise estatística serão apresentados por Escala. São informações sobre o estudo de consistência interna obtida entre os itens que compuseram os escores de habilidades e competências (ech) e os escores brutos por escala (ebe), de maneira a avaliar a confiabilidade de todas as medidas da Bateria. Complementarmente serão apresentados os resultados do estudo da correlação dos escores por itens de um dado campo entre si, de cada escore por item com os escores por habilidade e competência (ehc) e com o escore bruto por escala (ebe). Este estudo complementar teve como propósito investigar a associação entre o desempenho nos itens que compuseram um determinado campo de habilidades e competências, e o desempenho de cada um dos itens com os demais escores de uma determinada escala, possibilitando uma análise mais específica da confiabilidade do instrumento.

26 Estudo da confiabilidade da ELOR A análise da consistência interna da Escala de Linguagem Oral Receptiva e de seus campos de habilidades e competências encontra-se descrita a seguir. Tabela 7. Medidas de consistência interna da ELOR e de seus campos de Habilidades e Competências Campo de Habilidades e Competências Itens de Teste Coeficiente Alpha de Cronbach Campo semântico 2 e 3 0,121 Campo morfossintático 4 a 8 0,144 Escala total 1 a 8 0,386 Legenda: α < 0,6 : grau de covariância em níveis inadmissíveis 0,6 < α < 0,7: grau de covariância fraco 0,7< α < 0,8: grau de covariância aceitável 0,8< α < 0,9: grau de covariância bom α > 0,9: grau de covariância muito bom Os valores de consistência interna para os campos semântico e morfossintático, bem como para o escore bruto da ELOR estão expostos na Tabela 7. Os campos semântico, morfossintático e a ELOR obtiveram grau de covariância em níveis inadmissíveis. A consistência interna do campo de habilidades auditivas não pôde ser analisada em razão deste campo constituir-se em único item de teste.

27 105 Tabela 8. Medidas de consistência interna da ELOR e de seus campos de Habilidades e Competências com a supressão de um item Campo de Habilidades e Competências Item de Teste excluído Resultado do Coeficiente Alpha de Cronbach com exclusão do item Campo morfossintático 4 0, , , , ,089 Escala total 1 0, , , , , , , ,390 Legenda: α < 0,6 : grau de covariância em níveis inadmissíveis 0,6 < α < 0,7: grau de covariância fraco 0,7< α < 0,8: grau de covariância aceitável 0,8< α < 0,9: grau de covariância bom α > 0,9: grau de covariância muito bom Os valores de consistência interna para o campo morfossintático e para o escore bruto da ELOR mediante a exclusão de cada item estão expostos na Tabela 8. As medidas de consistência interna do campo morfossintático e da ELOR mantiveram níveis muito baixos mesmo diante da análise realizada após a exclusão de cada um dos itens de teste que os compuseram. A consistência interna do campo semântico mediante exclusão de cada item não pôde ser analisada em razão deste campo possuir apenas dois itens de teste.

28 106 Tabela 9. Medidas de correlação linear e de significância entre os escores por itens e o escore do Campo Semântico da ELOR Escores Escores Item 2 Item 3 Ehc semântico Item 2 1,000 0,065 (p = 0,566) 0,684** Item 3 0,065 (p = 0,566) 1 0,772** Ehc semântico 0,684** 0,772** 1 Legenda: ** Correlação significante a 0,01 * Correlação significante a 0,05 Os valores de associação entre o ehc semântico e os escores por itens que compuseram este campo estão expostos na Tabela 9. Os resultados do estudo da correlação revelaram a ausência de associação entre os itens 2 e 3. Houve presença de correlações significantes entre os escores dos itens 2 e ehc semântico (r=0,684**), caracterizada como correlação moderada, e entre o item 3 e o ehc semântico (r=0,772**), caracterizada como boa correlação.

29 107 Tabela 10. Medidas de correlação e de significância entre os escores por itens e o escore do Campo Morfossintático da ELOR Escores Escores Item 4 Item 5 Item 6 Item 7 Item 8 Item 4 1 0,062-0,195 0,042 0,09 (p = 0,582) (p = 0,083) (p = 0,714) (p = 0,427) Item 5 0, ,023 0,143 0,102 (p = 0,582) (p = 0,837) (p =0,205) (p = 0,368) Item 6 0,195 0,023 0,031-0,041 1 (p = 0,083) (p = 0,837) (p = 0,789) (p = 0,716) Item 7 0,042 0,143 0,031 0,027 1 (p = 0,714) (p =0,205) (p = 0,789) (p = 0,814) Item 8 0,09 0,102-0,041 0,027 (p = 0,427) (p = 0,368) (p = 0,716) (p = 0,814) 1 Ehc 0,414** 0,585** 0,319** 0,549** 0,489** morfossintático (p =0,00) (p = 0,004) (p =0,00) Ehc morfossintático 0,414** 0,585** (p =0,00) 0,319** (p = 0,004) 0,549** 0,489** (p =0,00) 1 Legenda: ** Correlação significante a 0,01 * Correlação significante a 0,05 Os valores de associação entre o ehc morfossintático e os escores por itens que compuseram este campo estão expostos na Tabela 10. Os resultados revelaram ausência de associação entre os itens, quando investigadas todas as correlações possíveis entre os itens que compuseram este campo. Encontraram-se correlações significantes entre todos os escores por itens e o ehc morfossintático. A correlação entre o escore do item de teste 6 e o ehc morfossintático pode ser caracterizada como fraca (r=0,319**), enquanto que as demais relações dos itens 4, 5, 7 e 8 com o ehc morfossintático são consideradas moderadas.

30 108 Tabela 11. Medidas de correlação e de significância entre os escores por itens e os escores por habilidade e competência com o escore bruto por escala da ELOR Escores Ebe ELOR Item 1 0,485** 0,469** Item 2 Item 3 0,475** Item 4 0,342** (p = 0,002) Item 5 0,547** Item 6 0,253* (p = 0,023) Item 7 0,536** Item 8 0,356** (p= 0,001) ehc semântico 0,645** ehc morfossintático 0,867** Legenda: ** Correlação significante a 0,01 * Correlação significante a 0,05 Os valores de associação entre os escores por itens, dos escores por habilidade e competência e o escores bruto da ELOR estão expostos na Tabela 11. Os resultados do estudo da correlação revelaram a presença de associação positiva entre todos os tipos de escore investigados. As associações encontradas entre os itens 4 (r=0,342**), 6 (r=0,253**) e 8 (r=0,356**) com o ebe da ELOR foram fracas. Os itens 2 (r=0,469**), 3 (r=0,475**), 5 (r=0,547**), 7 (r=0,536**) e o ehc semântico (r=0,645**) associaram-se moderadamente com o ebe da ELOR. O ehc morfossintático apresentou boa correlação com o ebe da ELOR (r=0,867**).

31 Estudo da confiabilidade da ELOE A análise da consistência interna da Escala de Linguagem Oral Expressiva e de seus campos de habilidades e competências encontra-se descrita a seguir. Tabela 12. Medidas de consistência interna da ELOE e de seus campos de Habilidades e Competências Campo de Habilidades e Competências Itens de Teste Coeficiente Alpha de Cronbach Campo semântico-lexical 2 a 6 0,666 Campo morfossintático 7 a 11 0,027 Escala Total 1 a 11 0,467 Legenda: α < 0,6 : grau de covariância em níveis inadmissíveis 0,6 < α < 0,7: grau de covariância fraco 0,7< α < 0,8: grau de covariância aceitável 0,8< α < 0,9: grau de covariância bom α > 0,9: grau de covariância muito bom Os valores de consistência interna para os campos semântico-lexical e morfossintático, bem como para o escore bruto da ELOE estão expostos na Tabela 12. O campo semântico-lexical obteve covariância fraca, quando analisada a consistência interna entre os escores dos itens que o compuseram. O campo morfossintático e a ELOE obtiveram grau de covariância muito baixo, em níveis inadmissíveis. A consistência interna do campo de produção oral não pôde ser analisada em razão deste campo constituir-se em um único item de teste.

32 110 Tabela 13. Medidas de consistência interna da ELOE e de seus campos de Habilidades e Competências com a supressão de um item Campo de Habilidades e Competência Item de Teste excluído Resultado do Coeficiente Alpha de Cronbach com exclusão do item Campo semântico-lexical 2 0, , , , ,585 Campo morfossintático 7 0, , , , ,131 Escala total 1 Não calculado * 2 0, , , , , , , , , ,450 Legenda: *Não calculado por ser constante α < 0,6 : grau de covariância em níveis inadmissíveis 0,6 < α < 0,7: grau de covariância fraco 0,7< α < 0,8: grau de covariância aceitável 0,8< α < 0,9: grau de covariância bom α > 0,9: grau de covariância muito bom

33 111 Os valores de consistência interna para os campos semântico-lexical e morfossintático, bem como para o escore bruto da ELOE mediante a supressão de itens de teste estão expostos na Tabela 13. As medidas de consistência interna do campo semântico-lexical mantiveram covariância fraca mesmo diante da análise realizada após a exclusão de cada um dos itens de teste que compuseram este domínio. O campo morfossintático manteve níveis muito baixos mesmo diante da análise realizada por meio da supressão de cada um de seus itens de teste. A análise da consistência interna da ELOE revelou, após a exclusão do item 10, aumento no valor da covariância para esta escala, que chegou a atingir um nível de covariância fraco (α=0,630). A consistência interna do campo produção oral mediante supressão de itens não pôde ser analisada em razão deste campo possuir apenas um item de teste.

34 112 Tabela 14. Medidas de correlação e de significância entre os escores por itens e o escore do Campo Semântico-Lexical da ELOE Escores Escores Ehc Item 2 Item 3 Item 4 Item 5 Item 6 semânticolexical Item 2 1 0,212 (p = 0,059) 0,202 (p = 0,073) 0,227* (p = 0,042) 0,466*** 0,650** Item 3 0,212 (p = 0,059) 1 0,324** (p = 0,003) 0,489** (p =0,00) 0,309** (p = 0,005) 0,701** Item 4 0,202 (p = 0,073) 0,324** (p = 0,003) 1 0,135 (p = 0,234) 0,233* (p = 0,038) 0,577** Item 5 0,227* (p = 0,042) 0,489** (p =0,00) 0,135 (p = 0,234) 1 0,294** (p = 0,008) 0,662** Item 6 0,466*** 0,309** (p = 0,005) 0,233* (p = 0,038) 0,294** (p = 0,008) 1 0,693** Ehc semânticolexical 0,650** 0,701** 0,577** 0,662** 0,693** 1 Legenda: ** Correlação significante a 0,01 * Correlação significante a 0,05 Os valores de associação entre o ehc semântico-lexical e os escores por itens que compuseram este campo estão expostos na Tabela 14. Os resultados do estudo da correlação revelaram presença de associação positiva entre os itens deste campo. Foram obtidas correlações significantes moderadas entre os itens 2 e 6 (r=0,466**), 3 e 5 (r=0,489**) e correlações fracas entre os itens 2 e 5 (r=0,227*), 3 e 6 (r=0,309**), 4 e 6 (r=0,233*) e 5 e 6 (r=0,294**). O ehc semântico-lexical também apresentou associação positiva com todos os itens deste campo. A associação entre o ehc semântico-lexical e o item 3 pode ser caracterizada como boa (r=0,701**), enquanto as associações com os itens 2, 4, 5 e 6 mostraram-se moderadas.

35 113 Tabela 15. Medidas de correlação e de significância entre os escores por itens e o escore do Campo Morfossintático da ELOE Escores Escores Item 7 Item 8 Item 9 Item 10 Item 11 Ehc morfossintático Item 7 1 0,064 0,046-0,029 0,019 0,369** (p = 0,572) (p = 0,688) (p = 0,796) (p = 0,87) (p = 0,001) Item 8 0,064 (p = 0,572) Item 9 0,046 (p = 0,688) Item 10-0,029 (p = 0,796) Item 11 0,019 (p = 0,87) Ehc 0,369** morfossintático (p = 0,001) 1 0,144 (p = 0,201) -0,149 (p = 0,187) 0,075 (p = 0,507) 0,362** (p = 0,001) 0, ,103 0,290** 0,438** (p = 0,201) (p = 0,365) (p = 0,009) -0,149-0, ,064 0,631** (p = 0,187) (p = 0,365) (p = 0,574) 0,075 0,290** 0, ,461** (p = 0,507) (p = 0,009) (p = 0,574) (p= 0,00) 0,362** 0,438** 0,631** 0,461** 1 (p = 0,001) (p= 0,00) Legenda: ** Correlação significante a 0,01 * Correlação significante a 0,05 Os valores de associação entre o ehc morfossintático e os escores por itens que compuseram este campo estão expostos na Tabela 15. Os resultados do estudo da correlação revelam presença de associação fraca entre os itens 9 e 11 deste campo (r=0,290**). O ehc morfossintático também apresentou associação positiva com todos os itens deste campo. As associações entre o ehc morfossintático e os itens 7 e 8 (r=0,369** e r=0,362**, respectivamente) podem ser caracterizada como fracas, enquanto as associações com os itens 9, 10 e 11 mostraram-se moderadas.

36 114 Tabela 16. Medidas de correlação e de significância entre os escores por itens e os escores por habilidade e competência com o escore bruto por escala da ELOE Escores Ebe ELOE Item 1.(a). Item 2 0,476** Item 3 0,606** Item 4 0,494** Item 5 0,575** Item 6 0,624** Item 7 0,207 (p= 0,065) Item 8 0,326** (p= 0,003) Item 9 0,477** (p= 0,00) Item 10 0,218 0,052 Item 11 0,312** (p = 0,005) Ehc semântico-lexical 0,844** (p= 0,00) Ehc morfossintático 0,608** (p= 0,00) Legenda: ** Correlação significante a 0,01 * Correlação significante a 0,05.(a) variável com valor constante Os valores de associação entre os escores por itens, dos escores por habilidade e competência e o escores bruto da ELOE estão expostos na Tabela 16. Os resultados do estudo da correlação revelaram a presença de associação positiva entre todos os tipos de escore investigados. As associações significantes encontradas entre os itens 8 (r=0,326**) e 11 (r=0,312**) com o ebe da ELOE foram fracas. Os itens 2 (r=0,476**), 3 (r=0,606**), 4(r=0,494**), 5 (r=0,575**), 6 (r=0,624**) e o ehc morfossintático (r=0,608**) associaram-se moderadamente com o ebe da ELOE. O ehc semântico-lexical apresentou boa correlação com o ebe da ELOE (r=0,844**).

37 Estudo da confiabilidade da EML A análise da consistência interna da Escala de Metalinguagem e de seus campos de habilidades e competências encontra-se descrita a seguir. Tabela 17. Medidas de consistência interna da EML e de seus campos de Habilidades e Competências Campo de Habilidades e Competências Itens de Teste Coeficiente Alpha de Cronbach Campo metafonológico 1 a 3 0,302 Campo metassintático 5 e 6 0,289 Campo inferências 7 e 8 0,173 Escala total 1 a 8 0,531 Legenda: α < 0,6 : grau de covariância em níveis inadmissíveis 0,6 < α < 0,7: grau de covariância fraco 0,7< α < 0,8: grau de covariância aceitável 0,8< α < 0,9: grau de covariância bom α > 0,9: grau de covariância muito bom Os valores de consistência interna para os campos metafonológico, metassintático e de inferências, bem como para o escore bruto da EML estão expostos na Tabela 17. Os campos metafonológico, metassintático, inferências e a EML obtiveram grau de covariância em níveis inadmissíveis. A consistência interna do campo de metassemântico não pôde ser analisada em razão deste campo constituir-se em um único item de teste.

38 116 Tabela 18. Medidas de consistência interna da EML e de seus campos de Habilidades e Competências com a supressão de um item Campo de Habilidades e Competência Item de Teste excluído Resultado do Coeficiente Alpha de Cronbach com exclusão do item Campo metafonológico 1 0, , ,176 Escala total 1 0, , , , , , , ,502 Legenda: α < 0,6 : grau de covariância em níveis inadmissíveis 0,6 < α < 0,7: grau de covariância fraco 0,7< α < 0,8: grau de covariância aceitável 0,8< α < 0,9: grau de covariância bom α > 0,9: grau de covariância muito bom Os valores de consistência interna para o campo metafonológico e para o escore bruto da EML mediante a supressão de itens de teste estão expostos na Tabela 18. As medidas de consistência interna do campo metafonológico e da EML mantiveram covariância fraca mesmo diante da análise realizada após a exclusão de cada um dos itens de teste que compuseram este campo. A consistência interna do campo metassemântico, metassintático e inferências mediante exclusão de itens não pôde ser analisada em razão do número de itens de teste que compuseram cada um destes campos.