Adaptação para a língua portuguesa e validação cultural de questionários de contexto para a avaliação de sistemas educativos: Projeto MAVACO/Portugal Jesus Jornet (Uni. Valência/Espanha); X Encontro de Educação Identidade & Património Instituto Piaget - Almada 12 de Abril de 2014 Dora Pereira; Conceição Costa; Paula Pina; Clementina Nogueira (Instituto Piaget)
Sistemas Educativos Incidência múltiplas variáveis Avaliações Complexidade Utilidade e impacto comprometidos Enquadramento
Avaliam bem Resultados Rendimento Produto Avaliação de SE Avaliam mal Outras variáveis Entrada Contexto Enquadramento Processo
Questionários de contexto: questionários a alunos, famílias e agentes dos centros educativos (professores, diretores escolares, ), cuja finalidade é obter informação acerca de variáveis de entrada, processo e contexto. Enquadramento
Validação, em Portugal, de um modelo de avaliação de sistemas educativos baseado na análise de variáveis de contexto, com base no modelo desenvolvido no contexto Espanhol. MAVACO - PT
a)validação de Questionários de Contexto de grupos de agentes educativos portugueses e dos sujeitos da sua intervenção; b)validação do Modelo de Análise de Variáveis de Contexto para a Avaliação de Sistemas Educativos em Portugal (M- AVACO); c)análise da capacidade explicativa do modelo para responder às questões exigidas neste tipo de avaliação; Objetivos Específicos
d) Adaptação de modelos de relatórios informativos que maximizem a utilidade da informação recolhida, analisando os elementos de comunicação de resultados necessários para que cheguem aos agentes implicados, contribuindo para a determinação de medidas de melhoria qualitativa; Objetivos Específicos
e) Criação de uma base de dados conjunta (partilhada pelo Instituto Piaget e pela Universidade de Valência), para realizar uma análise global comparativa dos dados obtidos em Espanha e em Portugal. Objetivos Específicos
1: Preparação da estrutura e organização da rede MAVACO -PT 3: Aplicação dos Questionários 4: Introdução de dados (leitura óptica e verificação) 5: Análise estatística de dados 6: Análise comparativa de resultados: Portugal vs Espanha Etapas Projeto MAVACO PT
6 Questionários: a) 1 Questionário dirigido aos diretores; b) 1 Questionário dirigido aos professores; c) 1 Questionário dirigido às famílias; d) 1 Questionário dirigido aos inspetores escolares; e) 2 Questionários dirigidos aos alunos: um para os alunos de 4.º ano do 1.º ciclo do Ensino Básico, outro para os alunos de 6.º ano do 2.º ciclo do Ensino Básico. Instrumentos
Alunos Professores Diretores Tipo de variável/indi cador Indicadores Fontes de informação Entrada Dados de identificação dos Alunos Dados de identificação dos Professores Dados de identificação das Direções das Escolas Dados de identificação das Escolas Infraestruturas escolares X X X Nível Socioeconómico X X História Escolar do aluno X X X X X
Alunos Professores Diretores Tipo de variável/indicador Indicadores Fontes de Informação Processo Expectativas de sucesso escolar Autoconceito escolar Atividades Extracurriculares Clima social de aula Clima de aprendizagem na aula Metodologia docente Seguimento da aprendizagem por parte da família Relações Família/Escola Gestão da diversidade Clima organizacional e institucional da Escola Violência Escolar X X X X X X X X X X X X X X X X X X X X X X X
Alunos Professores Diretores Tipo de variável/indicador Indicadores Fontes de Informação Produto Satisfação com os resultados escolares Satisfação com os professores Satisfação com a Escola Rendimento Académico X X X X X X X X X X X X
1. Traduzir e adaptar os questionários de contexto e os relatórios informativos para português; 2. Análise linguística dos questionários por especialistas da área. Tradução e adaptação dos instrumentos para a língua, a identidade e a realidade sociológica e cultural portuguesas
A natureza bilingue dos questionários exige a determinação de um conjunto de regras e procedimentos no sentido de garantir a equivalência das duas versões linguísticas utilizadas em Espanha e em Portugal Adaptação e Tradução
A qualidade da Tradução e Adaptação de um questionário verifica-se na contemplação de 3 equivalências: 1. Semântica 2. Concetual 3. Normativa Critérios para tradução e adaptação
1. Equivalência Semântica - Entre a língua fonte (língua em que foi efetuado) e a língua alvo (língua para a qual se traduziu). - Refere-se à estrutura de frases e palavras no texto traduzido, que expõem o mesmo significado que a língua original. Critérios para tradução e adaptação
2. Equivalência Concetual entre as culturas - Avalia se o conceito a ser medido é o mesmo em todos os grupos, no entanto, a semântica que o descreve poderá ser diferente. Critérios para tradução e adaptação
3. Equivalência Normativa ao questionário inicial - Descreve a habilidade que o instrumento traduzido possui de abordar normas sociais que poderão diferir entre culturas. Critérios para tradução e adaptação
1. Tradução 2. Retro tradução 3. Pré-teste ou validação final Validação Linguística:3 Passos
Língua Fonte (ES) Língua Alvo (PT) 2 tradutores Tradução conceptualmente equivalente ao questionário original Linguagem utilizada de fácil compreensão. Validação Linguística: Tradução
Permite fazer alterações respeitantes à língua fonte, a qual contêm expressões ou palavras sem tradução exata, com significados específicos numa língua que se tornam semanticamente diferentes ou possuem um significado secundário noutra língua. Validação Linguística: Tradução
Língua Alvo (PT) Língua Fonte (ES) Tradutor sem acesso à versão original do questionário Original Retro tradução Validação Linguística: Retro Tradução
Aplicar Questionário 100 Alunos 10 Professores 3 Diretores Identificação de Problemas (49) Revisão da Tradução Equivalência Conceptual Rectificação Questionários Finais Validação Linguística: Pré-teste
Questão Inicial - Língua Fonte La casa donde vives Qué tipo de casa es? Chalet adosado Piso Casa de campo Chalet individual Questão Traduzida Língua Alvo Dúplex Casa de pueblo A casa onde vives (marca com um X) Que tipo de casa é? Moradia geminada/em banda Apartamento Habitação social Vivenda Dúplex Casa de férias Identificação de Problemas: Exemplos Questionário Aluno
Questão Inicial - Língua Fonte Qué lenguas se hablan habitualmente en casa? En casa hablamos habitualmente en: Castellano Valenciano Inglés En otra lengua distinta de las anteriores. Cuál? Questão Traduzida Língua Alvo Que língua (s) falas habitualmente em casa? (responde por extenso) Identificação de Problemas: Exemplos Questionário Aluno
Questão Inicial - Língua Fonte Qué horario de clases cree Ud. que sería más adecuado?: De 9.00h a 12.00h y de 3.00h a 5.00h De 8.00h a 2.00h de la tarde Questão Traduzida Língua Alvo Na sua opinião qual seria o horário mais adequado? Das 8.00h às 13.00h Das 9.00h às 12.00h e das 13h.15m às 15h.15m Das 13h.15m às 18h.15m Identificação de Problemas: Exemplos Questionários Professores e Diretores
Estudo Descritivo que favorece a depuração do instrumento que cumpra com a validade mínima esperada para uma aplicação definitiva. Jornet (1989): a) Validade de Constructo e Conteúdo: Qualidade da tradução; Estudo Factorial. b) Funcionamento dos itens. c) Fiabilidade Revisão Empírica
Obrigada