O PROCESSO DE CORREÇÃO DO Celpe-Bras. Jerônimo Coura SOBRINHO (Cefet/MG)

Transcrição

1 O PROCESSO DE CORREÇÃO DO Celpe-Bras Jerônimo Coura SOBRINHO (Cefet/MG) Resumo: Este artigo tem como objetivo apresentar o estágio atual do processo de correção do exame Celpe- Bras. Refletindo a estrutura do exame, composto de duas partes uma individual e outra coletiva, apresento primeiramente os aspectos logísticos da correção de cada parte. A seguir, são abordadas as tarefas que compõem as fases da correção. Para finalizar, apresento as relações entre a pontuação e os níveis de certificação do exame Celpe-Bras. Palavras-chave: exame, correção, nível de certificação O. Introdução Os processos de elaboração e de correção do exame Celpe-Bras têm passado por alterações, ao longo dos 7 anos em que vem sendo aplicado, em função não apenas da experiência acumulada no período, mas também em função de pesquisas realizadas em universidades brasileiras, por professores envolvidos no ensino de Português como Língua Estrangeira. Soma-se a isso, o aumento considerável pela procura do exame, que em sua primeira aplicação contou com 141 candidatos e que para Outubro de 2004 conta com 1796 candidatos, conforme dados fornecidos pela Divisão de Assuntos Internacionais (DAI) da Secretaria de Educação Superior do MEC (SeSU). O aumento do interesse pela certificação em Português como Língua Estrangeira (PLE) passou a exigir um número cada vez maior de aplicadores e de corretores. A participação de pesquisadores na elaboração e na correção do exame Celpe-Bras confere-lhe, ao mesmo tempo, um caráter dinâmico e avançado; dinâmico em função dos ajustes realizados a partir do resultado de pesquisas, e avançado, em termos de concepção e de fundamentação teórica. Uma análise superficial dos exames internacionais de proficiência em línguas permite perceber que a visão de língua subjacente à sua concepção difere da visão pragmática e discursiva a que se propõe o exame Celpe-Bras, que procura avaliar a capacidade de uso do português em situações reais do dia-a-dia. É claro que as duas partes do exame Celpe-Bras, a coletiva na qual se avaliam as habilidades de produção escrita, a partir de inputs diversificados- áudio, vídeo e texto escrito, e a Parte Individual (conversa de 20 minutos) simulam situações reais de comunicação. Trata-se de uma mise-en-scène que se vale de documentos autênticos (textos orais e escritos) para provocar a produção de outros textos, de outros gêneros que, em última análise, permitem a avaliação da proficiência do candidato.

2 1. As partes do exame Conforme exposto no Manual do Candidato (2002) e no Manual do Aplicador (2003), o Módulo 1 do exame, ou a Parte Coletiva, é composto de quatro tarefas de produção textual, a partir de inputs diversificados, conforme indicado na Tabela 1. Tabela 1 Parte Coletiva do exame Celpe-Bras Tarefas Formas de input Duração I Vídeo 25 minutos II Áudio 25 minutos III IV Documento escrito 1 hora e 40 minutos 2 horas e 30 minutos O módulo 2, ou Parte Individual, consiste em uma conversa (gravada em fita cassete), dividida em 2 momentos, conforme Tabela 2. Tabela 2 Parte Individual do exame Celpe-Bras Momentos Duração Entrevista (questionário) 5 minutos Conversa (3 temas) 15 minutos 20 minutos A entrevista é feita a partir dos conteúdos de uma ficha e de um questionário preenchidos por cada candidato, no ato da inscrição. A ficha de inscrição é a mesma para todos os candidatos. Os questionários são de dois tipos: um para candidatos que fazem o exame no Brasil e outro para aqueles que o fazem no exterior. No primeiro momento da entrevista (cinco minutos), o candidato é estimulado a falar sobre si, sobre seus hábitos, seus interesses, e sobre de sua relação com a língua e com a cultura do Brasil, de forma tão espontânea quanto possível, levando-o a valer-se de todos os recursos lingüísticos que conhece. No segundo momento, com duração de quinze minutos, são sugeridos temas, a partir de pequenos textos, tomados como elementos provocadores da interação, de modo a levar o candidato a produzir um discurso revelador de seu nível de domínio do Português. 2. Os níveis de certificação Atualmente, são os seguintes os níveis de certificação do exame Celpe-Bras:

3 Tabela 3 Níveis de Certificação do exame Celpe-Bras AVANÇADO Superior AVANÇADO INTERMEDIÁRIO Superior INTERMEDIÁRIO Para receber certificação de proficiência em Português como Língua Estrangeira, o candidato deve alcançar nas duas partes do exame, pelo menos o nível Intermediário. Caso seu desempenho seja diferenciado nas duas partes, prevalece o menor resultado. Exemplificando, se um candidato alcança o Nível AVANÇADO Superior na entrevista, e o nível INTERMEDIÁRIO Superior na produção textual, ele obterá o certificado de nível INTERMEDIÁRIO Superior. 3. Os aplicadores do exame Celpe-Bras O exame Celpe-Bras é aplicado em instituições credenciadas pelo Ministério de Educação do Brasil. Até 2003, havia 18 instituições credenciadas no Brasil e 25 no exterior (cf. Manual do Aplicador). Em 2004, outros credenciamentos foram efetivos, a exemplo de duas instituições na Inglaterra, uma nos Estados Unidos, e mais uma na Espanha. Encontram-se em andamento, processos credenciamento de uma instituição na Áustria e outra na Coréia. No Brasil, o exame Celpe-Bras é aplicado em universidades e, no exterior, nos Centros de Estudos Brasileiros (CEBs), em Institutos Culturais, em algumas embaixadas e universidades. Para serem credenciadas, as instituições devem se dirigir ao MEC, através da DAI/SeSU. A seguir, é feita uma visita à instituição, normalmente por um membro da Comissão Técnica, para avaliação das condições físicas e humanas para a aplicação. Uma vez conduzido o credenciamento, o responsável local pela aplicação do Celpe-Bras, juntamente com a equipe envolvida no processo, recebem o treinamento necessário ao desenvolvimento do trabalho de aplicação. Normalmente, a primeira aplicação do exame é acompanhada por um membro da CT. É desejável que tanto os responsáveis pela aplicação quanto os aplicadores do exame Celpe-Bras tenham experiência no ensino do PLE e conheçam toda as fases do exame, desde sua elaboração até a divulgação dos resultados.

4 4. Os corretores do exame 4.1 Corretores da Parte Individual Os aplicadores da Parte Individual avaliam o candidato imediatamente após a conversa com o mesmo. Durante os vinte minutos da conversa, enquanto um aplicador interage verbalmente com o candidato, o outro observa seu desempenho e faz anotações em uma ficha de avaliação. Imediatamente depois da conversa, cada aplicador atribui ao candidato uma nota de 0 (Zero) a 5 (Cinco), levando em conta os descritores de cada nível de certificação. Cada aplicador atribui uma nota à produção oral do candidato (Anexos 3 e 4). Os parâmetros levados em conta na avaliação da produção oral do candidato são: Competência Interacional Fluência Pronúncia Adequação Gramatical Adequação Lexical Compreensão As duas notas atribuídas ao candidato pelo seu desempenho oral entram na composição da Nota Final do candidato (item 8). 4.2 Corretores da Parte Coletiva Diferentemente da Parte Individual do exame, a Parte Coletiva não é corrigida imediatamente após sua aplicação. As instituições credenciadas enviam as provas dos candidatos para o MEC, em Brasília, onde são corrigidas por uma equipe coordenada pela CT. Juntamente com as provas são enviadas as fitas contendo as gravações em áudio, correspondentes à Parte Individual, acompanhadas de suas respectivas avaliações. Para correção da Parte Coletiva, são formadas quatro equipes de corretores, profissionais atuantes no ensino de PLE, de diversas regiões geográficas do Brasil, normalmente vinculados a instituições credenciadas para aplicar o exame. O número de corretores é calculado em função da quantidade de provas e do tempo disponível para realização de todo o trabalho (uma semana).

5 5. Correção da Parte Coletiva do exame Duas semanas após a aplicação do exame, inicia-se em Brasília, o processo de correção da parte coletiva, em duas fases ª. Fase Preparação Esta fase, que se inicia com a chegada das provas em Brasília, conta com a participação de: uma equipe de APOIO, constituída por funcionários da DAI; a Comissão Técnica; 4 Corretores da Parte Coletiva (um por tarefa) Ao receber as provas, a equipe de APOIO Coloca as provas em ordem numérica (pelo número de inscrição); desfaz todas as provas, agrupando-as por tarefas; distribui as provas em pacotes numerados, contendo 15 provas cada (EMPACOTAMENTO). Na fase de preparação, são realizadas as seguintes tarefas: Tabela 4 Tarefas da 1ª. Fase de Correção do exame Celpe-Bras TAREFAS Empacotamento das provas Elaboração de uma Grade de correção para cada Tarefa. Constituição de uma amostra de textos de cada Tarefa. Correção da amostra. Refinamento da Grade. Seleção de textos típicos. Constituição de Quatro Equipes de corretores. Definição da seqüência de trabalho de cada corretor. RESPONSABILIDADE APOIO CT APOIO / CT CT / CORRETORES CT / CORRETORES CT / CORRETORES CT / APOIO CT A Comissão Técnica e os CORRETORES permanecem em Brasília por 3 dias, na fase de preparação que se inicia 15 dias após a aplicação ª. Fase - Correção Esta fase tem a duração de uma semana, quando CT, CORRETORES e APOIO realizam as seguintes tarefas, em Brasília:

6 Tabela 5 Tarefas da 2ª. Fase de Correção do exame Celpe-Bras TAREFAS RESPONSABILIDADE Treinamento dos corretores. CT / CORRETORES Ajustes na grade. CT / CORRETORES Correção individual dos textos (Anexo 1). CORRETORES Lançamento das notas em sistema informatizado. APOIO Emissão de mapas de discrepâncias (Anexo 2). APOIO Conferência dos lançamentos. CT / CORRETORES / APOIO 5.3 Parâmetros de correção da Parte Coletiva Para avaliar o nível de proficiência do candidato Celpe-Bras, na correção da Parte Coletiva do exame, consideram-se os parâmetros da Tabela 6. Tabela 6 Grade de correção da Parte Coletiva do exame Celpe-Bras Parâmetros Escala de desempenho Gênero xx xx xx xx xx xx Interlocutor xx xx xx xx xx xx Propósito xx xx xx xx xx xx Clareza e coesão xx xx xx xx xx xx Adequação lexical e gramatical xx xx xx xx xx xx Os descritores do nível de desempenho do candidato (representados por xx, na Tabela 5) dependem de cada tarefa e são definidos na 1ª. fase da correção da Parte Coletiva (item 5.1). Cada corretor atribui uma única nota que varia de 0 a 5 à produção textual do candidato, em função dos parâmetros e dos descritores previamente estabelecidos (Anexo 1). Isto significa que cada candidato recebe oito notas pela sua produção textual (Parte Coletiva). 6. Discrepâncias De uma maneira geral, o exame de um único candidato passa pelas mãos de 10 corretores, dois para a Parte Individual (entrevista) e oito para a Parte Coletiva (produção textual). É natural a ocorrência de diferenças entre as notas de corretores para uma mesma tarefa ou para a entrevista. Com base em análises estatísticas, admite-se uma diferença máxima de 2 pontos (em uma escala de 0 a 5), entre as notas de dois corretores, prevalecendo a média das duas. Considera-se como discrepância, quando a diferença entre as notas ultrapassa 2 pontos.

7 6.1 Discrepância em uma das partes do exame Caso ocorram discrepâncias nas notas da Parte Coletiva ou na avaliação da Parte Individual, uma nova correção feita. Estas diferenças são detectadas pelo software desenvolvido especialmente para este fim. A revisão da correção da Parte Individual é feita por uma dupla de corretores que, após a escuta da gravação da entrevista, analisa o desempenho do candidato e atribui uma nota de consenso que prevalece sobre as notas anteriormente atribuídas. A revisão da correção da Parte Coletiva é feita pela equipe de corretores da respectiva tarefa, com a supervisão da CT. A nota atribuída na revisão prevalece sobre as anteriores (Anexo 2). Nestes casos, são verificadas as possíveis causas da discrepância (interpretação da grade por parte de um dos corretores; um elemento inesperado no texto do candidato e não contemplado pela grade). Esse é um momento muito rico da correção por promover uma discussão sobre os parâmetros de correção; sobre os descritores de cada nível de proficiência; sobre o mapeamento das características lingüísticas e discursivas da produção do candidato (grade de correção Tabela 6). 6.2 Discrepância entre o desempenho na Parte Individual e o desempenho na Parte Coletiva. Em havendo discrepância nas notas das duas partes do exame, procede-se a uma verificação da avaliação da Parte Individual. Vale lembrar que a correção da Parte Individual é feita por dois avaliadores, nos postos aplicadores credenciados, enquanto que a correção da Parte Coletiva é feita por oito corretores diferentes (dois para cada tarefa). A verificação da avaliação da Parte Individual (entrevista) só pode ser é feita após o lançamento de todas as notas no sistema, o que ocorre normalmente no último dia da correção, diferentemente da verificação das discrepâncias na correção da produção textual, que é feita ao longo da semana da correção, a partir da emissão dos formulários de consenso pelo sistema informatizado. 7. Amostragem da Parte Individual A qualidade da correção do exame Celpe-Bras tem sido preocupação constante da CT. O atual modelo de correção da Parte Coletiva envolve diversas equipes (uma equipe para cada tarefa, uma equipe de apoio, uma equipe para escuta das fitas, além da CT). Para garantir o mesmo nível de qualidade à correção das Partes do Exame, durante a correção da Parte Coletiva, em Brasília, alocase uma equipe, também sob orientação de um membro da CT, para se proceder a uma verificação da qualidade da entrevistas feitas tanto no Brasil quanto no exterior. Esta análise permite verificar, ao

8 mesmo tempo, a atuação dos entrevistadores bem como a avaliação que fazem dos candidatos. Para compor a amostra, seleciona-se pelo menos uma fita de cada posto aplicador. A quantidade de fitas (de cada posto aplicador) é proporcional ao número de candidatos locais. Nesta amostra, procura-se também abarcar um maior número de aplicadores. 8. Atribuição da nota final do candidato Para se chegar à nota representativa do desempenho do candidato, calcula-se, primeiramente a média de cada parte do exame. O desempenho final do candidato corresponde ao menor nível alcançado nas duas partes do exame. A Tabela 7 simula o desempenho de um candidato. Tabela 7 Cálculo Simulado da nota final do candidato ao Celpe-Bras Parte Individual (entrevista) Parte Coletiva (produção textual) Corretor(es) Notas Tarefas Corretor(es) Notas Individuais Média Individuais Média Entrevistador 3 3,5 I A1 1 2 Observador 4 B1 3 II A2 2 2,5 B2 3 III A3 3 2,5 B3 2 IV A4 0 1 B4 2 MÉDIA Geral 2 Um candidato que tenha obtido as notas da Tabela 7 tem uma qualidade de produção escrita (média 2) menor que a produção oral (média 3,5). As faixas para se chegar ao desempenho final são as apresentadas no diagrama abaixo, considerando-se seus extremos como ZERO e CINCO, respectivamente.? BÁSICO INTERMEDIÁRIO INTERMEDIÁRIO AVANÇADO AVANÇADO SEM SUPERIOR SUPERIOR CERTIFICAÇÃO

9 O nível INTERMEDIÁRIO corresponde à faixa de 1,67 a 2,49. O INTERMEDIÁRIO Superior vai de 2,50 a 3,33; o AVANÇADO de 3,34 a 4,16 e o AVANÇADO Superior, de 4,17 a 5,0. Tendo obtido a nota 3,5 na Parte Individual, o candidato enquadra-se no nível avançado (3,34 a 4,16). Porém, com a média 2 na Parte Coletiva, ele se encaixa no nível INTERMEDIÁRIO (1,67 a 2,5). Assim, como resultado final receberá o Certificado de Nível INTERMEDIÁRIO. 9. Considerações Finais Diante do exposto, pode-se dizer que a consistência do processo de correção do exame Celpe-Bras só tem sido possível graças ao contínuo diálogo entre a estatística e a lingüística aplicada. Esse diálogo tem permito uma revisão continuada de todo o processo, culminando com refinamentos que se implementam a cada ano. Acredita-se que o processo contínuo de pequenas reformulações na elaboração e na correção do exame Celpe-Bras contribua para consolidar seu caráter inovador e, assim, ampliar ainda mais o seu prestígio internacional.

10 ANEXO 1 Formulário de Correção Aplicação Tarefa Turno Envelope Data Matutino Corretor Vespertino Inscrição ranco Inscrição Inscrição ranco Inscrição ANEXO 2 Formulário de Consenso Aplicação Tarefa Turno Envelope Data Matutino Vespertino Inscrição ranco Inscrição Inscrição ranco Inscrição

11 ANEXO 3 FICHA DE AVALIAÇÃO DA INTERAÇÃO FACE A FACE ENTREVISTADOR IDENTIFICAÇÃO DO CANDIDATO (Inserir etiqueta) Campo 1: Elementos provocadores utilizados nº: nº: nº: Campo 2: Avaliação do Entrevistador Com base na interação desenvolvida, assinale a descrição que melhor caracteriza o candidato. ( ) 5 - Demostra autonomia e desenvoltura, contribuindo muito para o desenvolvimento da interação. Sua produção apresenta fluência e uma variedade ampla de vocabulário e de estruturas, com raras inadequações. Sua pronúncia é adequada e demonstra compreensão do fluxo natural da conversa. ( ) 4 - Demostra autonomia e desenvoltura, contribuindo para o desenvolvimento da interação. Sua produção apresenta fluência e uma variedade ampla de vocabulário e de estruturas, com inadequações ocasionais na comunicação. Sua pronúncia é adequada e demonstra compreensão do fluxo natural da conversa. ( ) 3 - Contribui para o desenvolvimento da interação, apresentando inadequações ocasionais aos tópicos propostos. Sua produção apresenta fluência, mas algumas inadequações de vocabulário, estruturas e/ou pronúncia. Demonstra compreensão do fluxo natural da conversa. ( ) 2 - Contribui pouco para o desenvolvimento da interação, apresentando algumas inadequações aos tópicos propostos. Sua produção apresenta pausas e hesitações com algumas interrupções no fluxo da conversa. Apresenta inadequações de vocabulário, estruturas e/ou pronúncia. Demonstra alguns problemas de compreensão do fluxo natural da conversa. ( ) 1 - Contribui muito pouco para o desenvolvimento da interação, apresentando várias inadequações aos tópicos propostos. Sua produção apresenta muitas pausas e hesitações, ocasionando interrupções no fluxo da conversa. Apresenta muitas limitações e/ou inadequações de vocabulário, estruturas e/ou pronúncia. Demonstra vários problemas de compreensão do fluxo natural da conversa. ( ) 0 - Raramente contribui para o desenvolvimento da interação, apresentando várias inadequações aos tópicos propostos. Sua produção apresenta pausas e hesitações muito freqüentes, interrompendo o fluxo da conversa. Apresenta muitas limitações e/ou inadequações de vocabulário, estruturas e/ou pronúncia, que comprometem a comunicação. Demonstra problemas de compreensão de fala simplificada e pausada. Entrevistador: Rubrica: Instituição: Data:

12 ANEXO 4 GRADE DE AVALIAÇÃO DA INTERAÇÃO FACE A FACE OBSERVADOR IDENTIFICAÇÃO DO CANDIDATO Campo 1: Aspectos a serem avaliados Com base nas descrições apresentadas na grade de avaliação, assinale o nível que melhor descreve cada aspecto do desempenho do candidato na interação face a face. (Inserir etiqueta) Parâmetros Competência Interacional Fluência Pronúncia Adequação Gramatical Adequação Lexical Compreensão Campo 2: Avaliação do Observador Com base nas anotações acima, assinale o nível que melhor caracteriza o desempenho do candidato. ( ) 5 ( ) 4 ( ) 3 ( ) 2 ( ) 1 ( ) 0 Entrevistador: Rubrica: Instituição: Data:

13 Bibliografia BRASIL. Manual do Candidato ao Exame Celpe-Bras. Secretaria de Educação Superior (SeSU). Brasília, MEC, BRASIL. Manual do Aplicador do Exame Celpe-Bras. Secretaria de Educação Superior (SeSU). Brasília, MEC, p. 32p.