O teslle de língua inglesa da UFSM um estudo sobre os tipos, enfoques e aspectos linguísticos das questões e as pontuações dos examinandos

Transcrição

1 87 O teslle de língua inglesa da UFSM um estudo sobre os tipos, enfoques e aspectos linguísticos das questões e as pontuações dos examinandos The UFSM English TESLLE A study about kinds, foci and linguistic aspects of the questions and the testees scores Amanda Petry Radünz 1 (mandinha_radunz@hotmail.com) Orientadora: Patrícia Marcuzzo Universidade Federal de Santa Maria (UFSM), Santa Maria, Rio Grande do Sul Submetido em 28/08/2017 Revisado em 04/09/2017 Aprovado em 30/10/2017 Resumo: O objetivo do estudo é identificar a relação entre os índices de acertos e de erros dos examinandos com os tipos e os enfoques das questões do TESLLE de inglês da UFSM. Os aspectos linguísticos que o teste explora também foram analisados. O corpus é composto por seis testes ofertados entre o 1º semestre de 2014 e o 2º semestre de A análise mostrou que a relação entre os tipos e os enfoques com as pontuações não é clara, e que os examinados estão alcançando melhores pontuações. Palavras-chave: TESLLE. Tipos de Questão. Enfoques de Questão. Linguística Sistêmico-Funcional. Abstract: The objective of the study is to identify the relation between the testees indexes of successes and errors with the questions kinds and foci in the UFSM English TESLLE. The linguistic aspects that the test explores were also analyzed. The study s corpus is composed of six tests offered between the 2014 s 1 st semester and the 2016 s 2 nd semester. The analysis showed that the relation between the kinds and foci with the scores is not clear, and that the testees are reaching better scores. Keywords: TESLLE. Kinds of Questions. Foci of Questions. Systemic-Functional Linguistics. 1

2 88 Introdução O teste de suficiência em leitura em língua estrangeira (TESLLE) é um teste que avalia a leitura acadêmica dos examinandos em uma língua estrangeira. Ele é ofertado pela Universidade Federal de Santa Maria (UFSM) duas vezes por ano, geralmente em cinco diferentes línguas: alemão, espanhol, francês, inglês e português para estrangeiros. De acordo com a resolução do TESLLE (UFSM, 2010), que estabelece as regulamentações para a aplicação do teste na UFSM, os examinandos falantes de português podem inscrever-se no teste em língua estrangeira (em alemão, espanhol, francês ou inglês), enquanto que os examinandos não falantes de português podem inscrever-se no teste de português como língua estrangeira (MARCUZZO, 2016, p. 2). O TESLLE é ofertado nesta instituição para os alunos de pós-graduação, professores, técnico-administrativos em educação e alunos prováveis formandos. Entretanto, os examinandos são principalmente alunos de pósgraduação que precisam comprovar que sabem ler textos acadêmicos em uma língua estrangeira para completar o mestrado ou em duas línguas estrangeiras para completar o doutorado. O TESLLE de língua inglesa é o mais escolhido pelos examinandos em todas as edições. De acordo com Marcuzzo (2016, p. 2), aproximadamente 1200 examinandos realizam o TESLLE em cada edição, e desses, aproximadamente 700 realizam o teste em inglês. Marcuzzo (2016, p. 2) explica que isso provavelmente ocorre devido ao status do inglês como língua da ciência, sendo a língua utilizada na maioria das publicações acadêmicas em diferentes áreas. Desta forma, alunos de pós-graduação precisam ler textos acadêmicos nesta língua, e, portanto, escolher o TESLLE de inglês (MARCUZZO, 2016, p. 2). Dada a alta demanda de examinandos para o TESLLE de inglês, é importante analisar suas características. A interpretação dos altos índices de erros pelos examinandos e a estrutura do TESLLE, a conexão entre os índices de erros e as áreas dos examinandos e os enfoques das questões e as competências exploradas nelas já foram discutidos em outros estudos sobre o TESLLE de inglês (WIELEWICKI, 1997; BECKER, 2013; e CUNHA, 2015,

3 89 respectivamente). Cada um desses estudos são apresentados na seção de revisão da literatura desse artigo. Entretanto, no que diz respeito ao TESLLE de inglês, a relação entre os índices de acertos e de erros pelos examinandos e os tipos e enfoques das questões permanece inexplorada. Em vista disso, o objetivo deste estudo é 1) identificar em que medida é possível relacionar os tipos e enfoques das questões com os índices de acertos e de erros pelos examinandos; e 2) identificar os aspectos da linguagem que cada questão exige que o examinando reconheça em seis diferentes edições do TESLLE de inglês. O artigo é organizado em quatro seções principais, além desta Introdução: Revisão da literatura, Métodos, Resultados e discussão, e Conclusões. Revisão da Literatura Esta seção é organizada de acordo com o conceito que é discutido: primeiramente, o conceito de testagem adotado no estudo é explicado. Então, revisamos os estudos prévios sobre o TESLLE de inglês e sua estrutura. Finalmente, discutimos tipos e enfoques de questões e a estratificação da linguagem. Testagem Uma testagem é diferente de uma avaliação (MARCHEZAN, 2005, p. 27). De acordo com Marchezan (2005, p. 27), a primeira é independente do ensino, tem objetivos próprios e não prevê contato entre o elaborador do teste e o examinando: é o produto do aprendizado (MARCHEZAN, 2005, p. 27). Wiggings (1993, p. 4) confirma esta visão de testagem, afirmando que há uma distância entre o elaborador e o aluno, considerando que o examinando não pode adaptar a questão para seu estilo pessoal nem questionar o elaborador. Isso significa que um teste somente objetiva testar o que o examinando sabe sobre o assunto. Por essas razões, muitos professores de línguas desconfiam de testagens (HUGHES, 1997, p. 4). Testes podem não ser o melhor tipo de avaliação para propósitos de ensino; entretanto, eles são necessários em muitas situações,

4 90 como por exemplo no contexto acadêmico. De acordo com Hughes (1997, p. 4), informações sobre a habilidade linguística das pessoas são frequentemente muito úteis e algumas vezes necessárias. O autor (1997, p. 4) explica que esse tipo de informação é necessário para as universidades aceitarem alunos intercambistas, e para o conhecimento dos próprios alunos sobre o que eles alcançaram em uma segunda língua ou língua estrangeira. Exemplos de testes usados para propósitos acadêmicos são o Test of English as a Foreign Language (TOEFL) e o International English Language Testing System (IELTS). Da mesma forma, a UFSM oferece um teste institucional para indicar se um aluno de pós-graduação está apto a ler textos acadêmicos em uma língua adicional; nomeado Teste de Suficiência em Leitura em Língua Estrangeira (TESLLE). Estudos que analisaram o TESLLE são apresentados na próxima subseção. TESLLE Pelo menos outros três estudos analisaram o TESLLE da UFSM. Wielewicki (1997) analisou o teste de proficiência ofertado pela UFSM no primeiro semestre de 1996, com o objetivo de interpretar os altos índices de erros dos examinandos nos testes (WIELEWICKI, 1997, p. 9). Para tanto, Wielewicki (1997, p. 9) estabeleceu uma conexão entre a percepção que os examinandos tinham do seu nível de leitura acadêmica em língua adicional e o nível que eles alcançaram no teste. Wielewicki (1997, p. 104) também explicou a estrutura do TESLLE da UFSM. O teste adotou o formato de múltipla-escolha em abril de 1996 (WIELEWICKI, 1997, p. 104). De acordo com Wielewicki (1997, p. 104), essa escolha foi feita para padronizar o sistema de correção e para garantir que o TESLLE enfocaria somente a habilidade de leitura, considerando que havia questões que enfocavam outras habilidades até o fim de 1995, tais como traduzir partes do texto para o português e escrever sínteses de partes do texto. Em 1996 o teste era composto de 15 questões relacionadas à leitura de um texto, e era dividido em cinco seções (WIELEWICKI, 1997, p ). Depois disso, o teste adotou os formatos discursivo e objetivo em diferentes

5 91 edições, até 2014, quando foi padronizado para o formato múltipla-escolha novamente, de acordo com informações fornecidas pela comissão de organização do TESLLE. Em outra perspectiva de análise, Becker (2003) analisou a conexão entre as áreas dos examinandos e seus índices de erros por tipos de questão. A autora (2003, p. 12) identificou 10 diferentes tipos de questão em duas edições de 2009 e 2011: acordo/desacordo; referência; conectores lógicos; organização retórica (IMRD); extração de informação do texto; resumo; identificação da formação textual; fato/opinião; transcrição de definição e modalidade. Nesse estudo, Becker (2013, p. 17) concluiu que questões sobre referência, conectores lógicos e modalidade estão relacionadas com os maiores índices de erros pelos examinandos. Da mesma forma, Cunha (2015) analisou a estrutura, os enfoques das questões e as competências exploradas em duas edições do TESLLE: a edição do 2º semestre de 2013 e outra edição do 1º semestre de De acordo com a autora, essas duas edições diferem em relação ao número de questões: a edição de 2013 apresentou 10 questões objetivas, enquanto que a edição de 2014 apresentou 16 questões objetivas (CUNHA, 2015, p. 9). A partir da edição de 2014, o teste foi padronizado, conforme mencionado anteriormente. Baseada em Becker (2013), a autora encontrou 11 diferentes tipos de questão nessas edições (CUNHA, 2015, p ). É importante mencionar aqui que a autora não difere tipos e enfoques de questão. Ela usa os dois termos para se referir a mesma categoria de análise. Os tipos de questão que foram identificados nas questões por Cunha (2015, p ) são relações oracionais; gênero; identificação de informação no texto; inferência; rotulação; metáfora; modalidade; multimodalidade; referência; resumo e tradução. É possível observar algumas diferenças entre os resultados de Becker e Cunha: há cinco tipos de questão identificados somente no estudo de Becker, e cinco tipos de questão identificados em ambos estudos, dos quais dois são nomeados diferentemente pelas autoras. Essa divergência entre os tipos de questão pode ser explicada devido a distância no tempo da oferta dos testes: as

6 92 edições analisadas por Becker foram ofertadas antes da padronização do TESLLE, bem como a edição do 2º semestre de 2013 analisada por Cunha. Cunha (2015) também analisou as competências exploradas nas questões, e ela descobriu que as questões abordam as competências linguística, discursiva e pragmática. A autora (2015, p. 7) considerou as definições das competências de Celce-Murcia et al. (1995) e Littlewood (2004). De acordo com os autores, a competência linguística refere-se aos padrões e tipos oracionais, a estrutura constituinte, as inflexões morfológicas, e os recursos léxicos, bem como os sistemas ortográficos necessários para realizar a comunicação como fala ou escrita (CELCE-MURCIA et al., 1995, citado em CUNHA, 2015, p. 7). Além disso, ela refere-se ao conhecimento de vocabulário, gramática, semântica e fonologia (LITTLEWOOD, 2004, citado em CUNHA, 2015, p. 7). A competência discursiva refere-se a seleção, sequenciamento e arranjo de palavras, estruturas, orações e enunciados para alcançar um texto unificado falado ou escrito (CELCE-MURCIA et al., 1995, citado em CUNHA, 2015, p. 7) e engaja-se no discurso contínuo ao conectar ideias em textos orais/escritos maiores, mantendo turnos da fala maiores, participando da interação e abrindo e fechando conversas (LITTLEWOOD, 2004, citado em CUNHA, 2015, p. 7). Finalmente, a competência pragmática refere-se ao conhecimento das estratégias de comunicação e de como utilizá-las (CELCE-MURCIA et al., 1995, citado em CUNHA, 2015, p. 7) e a usar a competência linguística para interpretar o sentido criado pelo contexto em textos orais e escritos e também comunicar sentidos para ele (LITTLEWOOD, 2004, citado em CUNHA, 2015, p. 7). Com o objetivo de continuar esses estudos sobre o TESLLE de inglês, o presente estudo tem como categorias de análise os tipos e enfoques de questão, e a estratificação da linguagem, cujos referenciais teóricos são apresentados nas próximas três subseções.

7 93 Tipos de Questão Diferentemente de Becker (2013) e Cunha (2015), na análise apresentada no presente artigo diferenciamos tipos e enfoques de questão. Ao analisar as questões de provas objetivas, Medeiros (1997) classifica-as em cinco tipos: completamento; certo-ou-errado; escolha múltipla; associação e ordenação. Nas questões de completamento, de acordo com Medeiros (1977, p. 37), o examinando deve completar segmentos que estão incompletos, e normalmente há somente uma resposta possível para esse tipo de questão. Nas questões de certo-ou-errado, o examinando deve considerar se as afirmações apresentadas estão certas ou erradas (MEDEIROS, 1977, p. 45). As questões de escolha múltipla fornecem possíveis respostas para a pergunta apresentada, e o examinando deve identificar a correta (MEDEIROS, 1977, p. 53). Medeiros (1977, p. 79) também explica as questões de associação, que apresentam dois grupos de informações que devem ser associados. Por último, Medeiros (1977, p. 87) mostra exemplos de questões de ordenação, que pedem para que o examinado coloque elementos de um grupo em ordem. Os enfoques de questão que fundamentam esse estudo são apresentados na próxima subseção. Enfoques das Questões Os enfoques de questão que fundamentam esse estudo foram discutidos na revisão dos estudos de Becker (2013) e Cunha (2015). Contudo, explicamos aqui cada enfoque identificado pela autora. Os enfoques das questões que fundamentam esse estudo são apresentados no Quadro 1. Quadro 1 Descrição dos enfoques das questões (continua) Enfoque de questão Relações oracionais Gênero Descrição Assinale a alternativa que apresenta ideia de causaconsequência Considere os seguintes propósitos comunicativos de editoriais. Quais desses propósitos estão presentes no editorial of publics and science?

8 94 Quadro 1 Descrição dos enfoques das questões (continuação) Identificação de informação no texto Inferência Rotulação Metáfora Considere as afirmações a seguir relacionadas ao primeiro e ao segundo parágrafos do texto. Quais das afirmações anteriores estão em acordo com o texto? Com base no segmento (...) pode-se inferir Associe as colunas de forma a indicar o que cada segmento está fazendo: (sugerindo, questionando ou exemplificando) Considere os seguintes segmentos do texto. São exemplos de linguagem metafórica, ou seja, linguagem figurada, para se referir à progressão dos pesquisadores na carreira científica Multimodalidade O segmento que melhor resume a imagem do texto é Referência Resumo Tradução Os referentes de it (linha 6) e de they (linha 13) são, respectivamente Com base nos três últimos parágrafos do texto, assinale a alternativa que sintetiza as duas dimensões que, segundo a editora, demandam maior atenção pelos pesquisadores da área. O segmento ( ) pode ser traduzido para o português, sem alteração de sentido, como Fonte: (CUNHA, 2015, p ). Já que Cunha (2015) embasou sua análise dos enfoques de questão nos enfoques apresentados por Becker (2013), nós utilizamos os enfoques apresentados por Cunha (2015) como referência para essa análise. A autora (2015, p. 12) explica que a análise foi conduzida considerando os expoentes linguísticos que davam pistas do que as questões estavam demandando ; entretanto, não há explicação sobre cada enfoque. O Quadro 1 apresenta a análise Cunha (2015, p ) acerca dos enfoques de questão. Os aspectos da linguagem que fundamentam esse estudo são apresentados na próxima subseção. Estratificação da Linguagem Halliday (1978) introduziu uma descrição da gramática diferente da tradicional: a linguística sistêmico-funcional, que propõe a análise da linguagem

9 95 que enfoca nos elementos linguísticos e retóricos do texto (...) em combinação com (...) os elementos ideológicos do contexto (MOTTA-ROTH, 2008, p. 370). Dessa forma, de acordo com a autora (2008, p. 370), a análise linguística é detalhada, pois explica e localiza os elementos linguísticos no tempo e no espaço, e ao mesmo tempo problematizadora, pois desnaturaliza os valores que são apresentados. Para analisar esses diferentes elementos no mesmo texto, Martin (1992) propôs a estratificação da linguagem, adaptada por Hendges (2005) e Motta- Roth (2008). A Figura 1 foi retirada de Motta-Roth (2008, p. 352). Figura 1 A estratificação da linguagem Fonte: (MOTTA-ROTH, 2008, p. 352) Nascimento (2017) explica os conceitos por trás de cada estrato. De acordo com Nascimento (2017, p. 129), o estrato do Discurso 2 lida com a(s) 2 De acordo com Nascimento (2017), o uso das letras maiúsculas em Discurso, Gênero, Registro, Semântica e Pragmática, Lexicogramática, Fonologia e Grafologia é uma

10 96 ideologia(s), ou seja, as visões de como as coisas deveriam funcionar. O estrato do Gênero enfoca nos usos da linguagem em práticas discursivas relativamente estáveis e reconhecidas em uma cultura (NASCIMENTO, 2017, p. 130). De acordo com Halliday (1978) e Martin (1992), citados em Nascimento (2017, p. 130), no estrato do Registro, nós observamos como o contexto de situação fornece características específicas aos gêneros, fornecendo detalhes sobre o contexto do texto, as relações sociais envolvidas e sua organização. O estrato da Semântica e Pragmática observa a configuração dos elementos linguísticos, respondendo às perguntas: Qual aspecto da experiência humana está sendo construído no texto? Como é negociada a relação entre o autor e a audiência? Quais são os valores atribuídos à informação de acordo com a sua distribuição no texto? (NASCIMENTO, 2017, p. 131). De acordo com Nascimento (2017, p. 131), para responder à essas perguntas, a análise do estrato da Léxico-gramática (na forma de grupos nominais, por exemplo) e da Fonologia e Grafologia é necessária. Dessa forma, a linguagem usa ferramentas de todos esses aspectos e todos eles devem ser considerados em uma análise linguística. Os cinco tópicos discutidos nas subseções da Revisão da Literatura (testagem, TESLLE, tipos e enfoques de questão e a estratificação da linguagem) são necessários para fundamentar a análise dos dados do presente estudo, bem como para interpretá-los. A próxima seção explica como a análise e interpretação dos dados foram conduzidas. Métodos Nós analisamos seis edições do TESLLE de inglês ofertadas entre o 1º semestre de 2014 e o 2º semestre de 2016 e seus índices de acertos e de erros. Cada edição é composta por 16 questões, totalizando um corpus de 96 questões. No primeiro momento, as questões foram classificadas de acordo com seus tipos e enfoques. A partir disso, analisamos qual tipo de relação é convenção da Linguística Sistêmico-Funcional (HALLIDAY, 1978; MARTIN, 1992) quando eles referem-se a categorias de análise linguística.

11 97 estabelecida entre esses dados e o índice de acertos e de erros. Finalmente, classificamos as questões de acordo com a estratificação da linguagem. As amostras do TESLLE foram solicitadas junto à comissão responsável pelo TESLLE na instituição. Medeiros (1997) fundamentou a análise acerca da classificação dos tipos das questões, e Becker (2003) e Cunha (2015), a análise dos enfoques das questões. Os índices de acertos e de erros obtidos pelos examinandos foi disponibilizado pela Comissão Permanente do Vestibular (COPERVES), responsável pela leitura dos cartões-resposta dos examinandos do TESLLE. Halliday (1978), Halliday e Hasan (1989) e Nascimento (2017) fundamentaram a análise dos aspectos da linguagem nos termos da estratificação que cada questão exige que o examinando reconheça. Foi realizada uma análise qualitativa e quantitativa dos dados. A abordagem quantitativa foi utilizada para quantificar quantas questões abordam cada tipo e enfoque e cada estrato da linguagem; e a abordagem qualitativa foi utilizada para classificar as questões nos seus tipos, enfoques, estratificação, e relacionar os dados com os índices de acertos e de erros. A próxima seção apresenta os resultados obtidos por meio desses procedimentos e suas interpretações. Resultados e Discussão As edições analisadas neste estudo e o programa do TESLLE demonstram que o teste é composto de 16 questões de múltipla-escolha relacionadas a um texto acadêmico. O tema do texto não é específico a nenhuma área, já que se refere ao conhecimento comum no contexto acadêmico. Nas 96 questões analisadas, identificamos três tipos de questão: 1) pergunta e resposta; 2) acordo ou desacordo; e 3) associação. As Figuras 2, 3 e 4 exemplificam cada tipo de questão.

12 98 Figura 2 Pergunta e Figura 3 Acordo ou Figura 4 - Associação resposta desacordo Todas as questões do corpus apresentam um enunciado e cinco alternativas de respostas. O tipo mais comum de questão no TESLLE é o tipo pergunta e resposta (Figura 2), que apresenta uma pergunta (com um ponto de interrogação no final) e cinco opções de respostas, e o examinando deve escolher a resposta correta. Essa definição de questão é muito similar a definição de Medeiros (1997) para as questões de múltipla-escolha; entretanto, nós a nomeamos de pergunta e resposta porque a análise mostrou que todas as questões são de múltipla-escolha. Medeiros (1977, p. 45) também define as questões de certo-ou-errado como as que exigem que o examinando identifique as alternativas que estão certas e erradas. Estas foram classificadas como acordo ou desacordo (Figura 3), considerando que elas esperam que o examinando identifique se os excertos estão concordando ou discordando com a informação presente no texto. Então o examinando precisa escolher a alternativa correta de resposta. As questões de associação (Figura 4) foram definidas por Medeiros (1997, p. 79) como as que fornecem dois grupos de informação que precisam ser associados. Neste estudo, adotamos o mesmo nome e definição para esse tipo

13 99 de questão. Para responder essas questões, o examinando também precisa escolher a alternativa correta de resposta. Os resultados apontam que 74% das questões são do tipo pergunta e resposta, seguido de 15% do tipo acordo ou desacordo e 11% do tipo associação. Todas as edições do corpus apresentam esses três tipos de questão. Além dos tipos, encontramos 12 diferentes enfoques no corpus, baseados no estudo prévio sobre o TESLLE de Cunha (2015). O Quadro 2 mostra todos os enfoques, a ocorrência desses enfoques por edição e um excerto do enunciado das questões de cada enfoque. As edições são nomeadas de acordo com os anos em que elas foram ofertadas (14 refere-se a 2014; 15 a 2015; e 16 a 2016). 1- Evidência textual Quadro 2 Enfoques das questões (continua) Enfoque Número de questões Excerto Total % Em relação à lei de Lotka, considere as afirmações a seguir (...) Está(ão) correta(s) Q#11 2- Modalidade Assinale a alternativa cuja afirmação revela alto grau de certeza dos autores em relação ao que dizem Q#12 3- Relação oracional Assinale o segmento que inclui uma relação lógica de CAUSA- CONSEQUÊNCIA entre as ideias Q#07 4- Referência Os segmentos destacados em (...) referem-se, respectivamente, a Q#09

14 100 Quadro 2 Enfoques das questões (continuação) (continua) 5- Tradução O segmento (...) pode ser traduzido para o português, sem alteração de sentido, como Q#04 6- Gênero O texto está organizado, em termos de conteúdo, em diferentes partes, as quais são Q#13 7- Inferência Com base no segmento (...), podese inferir: Q#05 8- Funções de partes do texto Associe as colunas de modo a indicar o que cada segmento está fazendo (...) A sequência correta é Q#12 9- Multimodalidade O segmento que melhor resume a imagem do texto é Q# Figura de linguagem 11- Tempos e vozes verbais Considere os seguintes segmentos do texto: (...) É(São) exemplo(s) de linguagem metafórica, ou seja, linguagem figurada, para se referir à progressão dos pesquisadores na carreira científica Q# Os segmentos sublinhados em (...) ( 9) estão, respectivamente, nos seguintes tempos e vozes verbais: Q#07

15 101 Quadro 2 Enfoques das questões (continuação) 12- Advérbios Considere os trechos a seguir ( ) Os segmentos sublinhados em I e II apresentam ideia de, respectivamente Q#08 A análise feita no presente estudo e a análise de Cunha (2015) têm algumas diferenças: Cunha (2015) encontrou 11 diferentes tipos de questão, que nós consideramos enfoques, nas duas edições que foram analisadas: relações oracionais; gênero; identificação de informação no texto; inferência; rotulação; metáfora; modalidade; multimodalidade; referência; resumo e tradução. O único enfoque de questão que não foi identificado nesse corpus é o resumo. Além disso, nós identificamos alguns enfoques que não foram discutidos por Cunha (2015): tempos e vozes verbais e advérbios. As edições do TESLLE de 2014 a 2016 enfocam em: 1) Evidência textual o mesmo que identificação de informação no texto por Cunha (2015, p. 12) nessas questões, é principalmente esperado que o examinando identifique evidências textuais para responder o que está sendo perguntado; 2) Modalidade é esperado que o examinando identifique os diferentes níveis de modalidade em partes específicas do texto; 3) Relações oracionais é esperado que o examinando identifique o tipo de relação entre as orações; 4) Referência é esperado que o examinando identifique os referentes exofóricos, anafóricos e catafóricos de pronomes específicos, grupos nominais e pronomes, tais como it, we, you, this, the last of these, etc; 5) Tradução é esperado que o examinando traduza uma frase do inglês para o português; 6) Gênero é esperado que o examinando identifique funções de diferentes partes do texto e o propósito comunicativo do gênero; 7) Inferência é esperado que o examinando infira e avalie o significado de frases específicas; 8) Funções de partes do texto rotulação por Cunha (2015, p. 12) é esperado que o examinando rotule alguns segmentos, considerando se eles estão sugerindo,

16 102 questionando ou exemplificando; 9) Multimodalidade é esperado que o examinando identifique a relação da informação nas imagens com a informação no texto escrito; 10) Figura de linguagem metáfora por Cunha (2015, p. 12) é esperado que o examinando identifique a linguagem metafórica, ou seja, quando os autores usam uma palavra, expressão ou oração para se referir a outra coisa; 11) Tempos e vozes verbais é esperado qye o examinando identifique diferentes tempos e vozes verbais em inglês em frases específicas; e 12) Advérbios é esperado que o examinando identifique diferentes advérbios de tempo, maneira e espaço. No corpus, duas questões envolvem dois enfoques. Uma mistura evidência textual e modalidade e a outra, evidência textual e multimodalidade. Esses 12 enfoques diferenciam em o que eles exigem do examinando. A maioria deles exigem que o examinando identifique a resposta no texto (enfoques 1, 2, 3, 4, 6, 9, 10, 11 e 12), enquanto que os outros exigem que o examinando faça algo, por exemplo, traduza, infira, avalie, rotule (enfoques 5, 7 e 8), para responder à questão. É interessante observar que a estrutura do TESLLE pode estar mudando das primeiras edições analisadas até as últimas. Como é apresentado no Quadro 2, alguns enfoques de questão somente foram identificados na primeira edição analisada: inferência, funções de partes do texto, multimodalidade e figura de linguagem. Da mesma forma, há dois enfoques que somente foram identificados na edição : tempos e vozes verbais e advérbios. O Quadro 3 apresenta os tipos e enfoques de questão associados com os índices de acertos e de erros pelos examinandos em cada edição. A porcentagem junto com o código da questão representa quantos examinandos acertaram e erraram cada questão.

17 103 Quadro 3 Tipos e enfoques de questão e índices de acertos e de erros Edição MAIORES ÍNDICES DE ACEROS MAIORES ÍNDICES DE ERROS Q#12 (91%) Q#05 (82%) Tipo: Associação Enfoque: Funções de partes do texto Tipo: Pergunta e resposta Enfoque: Inferência Q#13 (95%) Q#11 (88%) Tipo: Pergunta e resposta Enfoque: Gênero Tipo: Pergunta e resposta Enfoque: Evidência textual + modalidade Q#12 (100%) Q#9 (84%) Tipo: Pergunta e resposta Enfoque: Tradução Tipo: Acordo ou desacordo Enfoque: Evidência textual Tipo: Associação Tipo: Associação Tipo: Pergunta e resposta Q#4 (97%) Q#11 (76%) Enfoque: Tipo: Pergunta Enfoque: Relações Evidência textual e resposta oracionais Q#3 (98%) Q#11 (79%) Enfoque: Tipo: Pergunta Enfoque: Relações Evidência textual e resposta oracionais Q#7 (100%) Q#3 (74%) Enfoque: Relações Tipo: Pergunta Enfoque: oracionais e resposta Referência Os tipos e enfoques de questão mais recorrentes (pergunta e resposta/evidência textual) foram ambos identificados nas questões com os maiores índices de acertos e de erros pelos examinandos, o que era esperado, considerando que representam a maioria das questões (71% do tipo pergunta e resposta e 51% do enfoque evidência textual). Em 100% das questões do tipo associação os examinandos acertaram mais do que erraram. Da mesma forma, os enfoques de questão funções de partes do texto, gênero e tradução ocorrem somente em questões com altos índices de acertos, e o enfoque inferência aparece somente em questões com altos índices de erros. O enfoque referência é identificado em algumas edições nas questões com altos índices de acertos e em outras edições, nas questões com altos índices de erros. Entretanto, podemos observar que nos altos índices de erros, a questão que enfoca a referência não é identificada nas maiores porcentagens de erros pelos examinandos (está entre as três questões que tiveram as menores porcentagens de erros). Similarmente, o enfoque relações oracionais teve 100% de acertos em uma edição, e em duas outras está entre

18 104 as questões que tiveram as maiores porcentagens de erros pelos examinandos. A questão com a maior porcentagem de erros pelos examinandos enfoca a modalidade. Em relação aos enfoques que aparecem somente na edição , a questão que enfocou a inferência teve um grande número de erros (82% dos examinandos errou essa questão). Da mesma forma, as questões que enfocaram a multimodalidade e figura de linguagem foram as que registraram o maior índice de erros (57% dos examinandos erraram a questão de multimodalidade e 67% a questão de figura de linguagem). Por outro lado, a questão que enfocou as funções de partes do texto teve um grande número de acertos (91% dos examinandos acertaram essa questão). Já que Becker (2013) analisou os índices de erros pelos examinandos em quatro edições do teste, é possível estabelecer uma comparação: seus resultados mostraram que referência, conectores lógicos (relações oracionais) e modalidade foram os enfoques relacionados aos altos índices de erros. Similarmente, nossos resultados apontam para a mesma direção: todos esses três enfoques são encontrados entre os altos índices de erros apresentados no Quadro 3. Os tipos e enfoques de questão não são os únicos aspectos a serem analisados em questões de um teste de leitura em língua adicional. Nossa análise mostrou que o nível de linguagem que as questões exigem dos examinandos também poderia explicar os índices de acertos e erros. Entendemos que pode não haver uma identificação clara dos estratos da linguagem nas questões, isto é, a linguagem é o conjunto de todos os níveis juntos, dessa forma, para entender um texto, o examinando ativaria o conhecimento de todos eles. Entretanto, consideramos qual estrato da linguagem é mais destacado em cada questão. Nas seis edições analisadas neste estudo, as questões exigem do examinando o conhecimento dos estratos da Lexicogramática, da Semântica e Pragmática, do Gênero e da Ideologia. As Figuras 5, 6, 7 e 8 são exemplos de cada estrato nas questões.

19 105 Figura 5 Lexicogramática Figura 6 Semântica e Pragmática Figura 7 Gênero Figura 8 - Ideologia Para chegar nesse resultado, consideramos quais aspectos da linguagem foram requisitados pelas questões, isto é, quais aspectos da linguagem os examinandos deveriam reconhecer. Nós consideramos que as questões que abordam o estrato da Lexicogramática (Figura 5) são as que se referem às orações e complexos oracionais, e a aspectos gramaticais como advérbios e tempos e vozes verbais. As questões dentro do estrato da Semântica e Pragmática (Figura 6) referem-se ao significado, portanto, elas abordam

20 106 evidência textual, referência, inferência, figura de linguagem, funções de partes do texto, tradução e multimodalidade. As questões que abordam aspectos de gênero foram classificadas dentro do estrato de Gênero (Figura 7). No estrato da Ideologia (Figura 8), consideramos as questões que abordam os níveis de comprometimento do autor em relação a que ele/ela está afirmando. Continuando essas considerações, os resultados apontam que 71% das questões abordam o estrato da Semântica e Pragmática. O estrato da Ideologia representa 13% das questões. Doze por cento das questões abordam o estrato da Lexicogramática e 4% das questões abordam o estrato do Gênero. Portanto, pode-se perceber que o TESLLE apresenta a Semântica e Pragmática como o aspecto da linguagem mais usado no processo da leitura, seguido da Ideologia, Lexicogramática e Gênero. Conforme observado na análise dos enfoques das questões, a primeira edição que analisamos (2014-1) aborda alguns enfoques que não aparecem nas outras edições (inferência, funções de partes do texto, multimodalidade e figura de linguagem). Nas outras edições esses enfoques foram substituídos pelo enfoque evidência textual. Nesse caso, o enfoque das questões foi alterado, mas o estrato da linguagem abordado continua o mesmo: Semântica e Pragmática. É interessante observar que, em quatro edições, o estrato da Semântica e Pragmática envolve o mesmo número de questões, e somente nas edições de e há uma questão a mais que aborda esse estrato. Em quatro edições, ele representa 68% das questões, e nas edições e , 75%. Considerando essa maioria das questões abordando o estrato da Semântica e Pragmática, podemos confirmar que o TESLLE realmente testa se o examinando entende o sentido do texto que precisa ser lido, e se ele/ela é competente na habilidade de leitura em uma língua adicional. Comparando as competências exploradas no TESLLE identificadas por Cunha (2015), e a estratificação da linguagem, o estrato da Lexicogramática pode ser relacionado com a competência linguística discutida por Cunha (2015, p. 7), e o estrato da Semântica e Pragmática pode ser relacionado com a competência pragmática. Os estratos do Gênero e Ideologia podem ser relacionados com a competência discursiva discutida pela autora (2015, p. 7). O

21 107 Quando 4 relaciona as competências encontradas por Cunha (2015) e a estratificação da linguagem e os enfoques encontrados nesse estudo. Quadro 4 Relação entre as competências, estratificação da linguagem e enfoques das questões Competência Estratificação Enfoques das questões Linguística Lexicogramática Relações oracionais Tempos e vozes verbais Advérbios Discurso Gênero Gênero Ideologia Modalidade Pragmática Semântica e Pragmática Evidência textual Referência Inferência Figura de linguagem Funções de partes do texto Multimodalidade Tradução Entre as questões com os maiores índices de acertos e de erros (Quadro 3), duas das três questões que abordam o estrato da Lexicogramática tiveram os maiores índices de erros pelos examinandos. Uma delas não foi respondida corretamente por 76% dos examinandos, e a outra, 79%. Entretanto, a outra questão que aborda esse estrato e está entre os maiores índices de acertos e de erros foi respondida corretamente por todos os examinandos, na edição Entre os maiores índices de acertos e de erros, a questão que aborda o estrato do Gênero foi respondida corretamente por 95% dos examinandos. Com relação a esses índices, outro resultado interessante pode ser destacado: a questão da edição que teve o maior índice de erros foi a questão mais errada entre todas (88% dos examinandos não acertou essa questão). Ela mistura dos enfoques, como é apresentado no Quadro 3. Além disso, nessa questão o examinando precisa lidar com dois estratos da linguagem: Semântica e Pragmática e Ideologia, o que pode explicar o alto índice de erros. Os examinandos tiveram mais acertos em quatro questões e mais erros em três questões entre as questões que abordam o estrato da Semântica e Pragmátoca e estão entre as questões com os maiores índices de acertos e de erros.

22 108 Portanto, não podemos conectar diretamente os altos índices de acertos e de erros com os estratos da linguagem. A conexão que é possível estabelecer é com os tipos de questão: quando combinado com o estrato da Semântica e Pragmática, o tipo de questão associação está relacionado com os altos índices de acertos e o tipo de questão acordo ou desacordo está relacionada com os altos índices de erros. Conclusões Da primeira para a última edição analisadas neste artigo ( até ), os examinandos estão alcançando melhores resultados nos seus desempenhos no TESLLE. Na edição , nove das 16 questões tiveram mais índices de erros do que de acertos pelos examinandos. Na edição há uma mudança considerável: somente duas das 16 questões tiveram maiores índices de erros do que de acertos. Esse número mudou gradualmente dentre as edições. Pode ser que os examinandos estejam mais informados sobre o teste, estão estudando mais, estão tendo mais contato com a língua inglesa, ou o teste está mais acessível. O sucesso dos examinandos pode estar conectado com mais questões enfocando as relações oracionais e a tradução, dos estratos da Semântica e Pragmática e Lexicogramática, que são questões que tiveram 100% de acertos nessas edições. Os examinandos deveriam entender o texto como um todo e estar aptos a claramente identificar seu significado, alcançando assim um melhor resultado nas questões que enfocam a evidência textual e lidam com aspectos da linguagem relacionados à Semântica e Pragmática, considerando que são a maioria das questões. Consequentemente, eles podem melhorar suas pontuações no teste, e portanto, a habilidade de leitura acadêmica em uma língua adicional. Além disso, considerando as questões que tiveram aproximadamente 80% de erros nas seis edições, os examinandos deveriam estar aptos a reconhecer os níveis de modalidade que o autor traz para o texto, relacionados ao estrato da Ideologia.

23 109 Os altos índices de acertos no teste e a análise mostraram que o TESLLE é um teste de leitura em língua adicional confiável, que testa a habilidade de leitura de um texto acadêmico e o entendimento dos seus significados. Ele é de extrema importância no contexto acadêmico, no qual alunos de pós-graduação precisam ler em língua inglesa, e comprovar que estão aptos a fazer isso, já que muitas pesquisas acadêmicas são publicadas nessa língua. Referências BECKER, L. W. EFL Reading patterns: a study based on Teste de Suficiência at the Federal University of Santa Maria p. Trabalho Final de graduação (Curso de Graduação em Letras Português-Inglês) Universidade Federal de Santa Maria, Santa Maria, RS, CELCE-MURCIA et al. Communicative competence: a pedagogically motivated model with content specifications. Issues in Applied Linguistics, v. 6, n. 2, p. 5-35, CUNHA, A. C. S. The reading perspective of TESLLE: the English Reading proficiency test of UFSM p. Trabalho Final de Graduação (Curso de Graduação em Letras Inglês) Universidade Federal de Santa Maria, Santa Maria, RS, HALLIDAY, M. A. K. Language as social semiotic: the social interpretation of language and meaning. London: Edward Arnold, HALLIDAY, M. A. K.; HASAN, R. Language, context, and text: Aspects of language in a social-semiotic perspective. Oxford: Oxford University Press, HENDGES, G. R. A genre and register analysis of electronic research articles from a systemic functional perspective: new medium, new meanings. PHD project. Florianópolis: PPGI/UFSC, HUGHES, A. Teaching and testing. In: HUGHES, A. Testing for language teachers. Cambridge: Cambridge University Press, LITTLEWOOD, W. Second language learning. In: DAVIES, A; ELDER, C. (Eds.). The handbook of applied linguistics. United Kingdom: Blackwell, p MARCHEZAN, M. T. N. Perfil de provas elaboradas por professores de inglês na escola pública fundamental f. Tese (Doutorado em Letras) - Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, MARCUZZO, P. Uma análise do teste de Suficiência em Leitura em Língua Inglesa da UFSM. Santa Maria: Universidade Federal de Santa Maria, 2016 (Projeto de Pesquisa). MARTIN, J. R. English text: system and structure. Philadelphia/Amsterdam: John Benjamins, MEDEIROS, E. B. Provas objetivas: técnicas de construção. Rio de Janeiro, FGV

24 110 MOTTA-ROTH, D. Análise Crítica de Gêneros: contribuições para o ensino de linguagem. D. E. L. T. A., São Paulo, v. 24, n. 2, p , NASCIMENTO, R. G. Análise crítica de gênero, planejamento de material didático e letramentos do professor de inglês como língua estrangeira/adicional. In: TOMITCH, L. M. B.; HEBERLE, V. M. (Org.). Perspectivas atuais de aprendizagem e ensino de línguas. 1ed. Florianópolis: LLE/PPGI/UFSC, v. 1, p , UNIVERSIDADE FEDERAL DE SANTA MARIA. Resolução nº 003/10. Available at: Accessed on: June 25 th, WIELEWICKI, H. G. Testagem de proficiência em leitura em inglês: examinandos e teste como fontes de entendimento sobre esse processo f. Dissertação (Curso de Pós-Graduação em Letras) - Universidade Federal de Santa Maria, Santa Maria, WIGGINGS, G. P. Introduction: assessment and the morality of testing. In: WIGGINGS, G. P. Assessing student performance: exploring the purpose and limits of testing. San Francisco: Jossey-Bass Publishers, 1993.