PROADE RELATÓRIO DAS CARACTERÍSTICAS DA AVALIAÇÃO

Transcrição

1 ISSN PROADE RELATÓRIO DAS CARACTERÍSTICAS DA AVALIAÇÃO 2011

2

3 ISSN PROADE2011 Programa de Avaliação de Desempenho dos Estudantes relatório das características da avaliação

4

5 CONFEDERAÇÃO NACIONAL DA INDÚSTRIA CNI Presidente Robson Braga de Andrade DIRETORIA DE EDUCAÇÃO E TECNOLOGIA DIRET Diretor de Educação e Tecnologia Rafael Esmeraldo Lucchesi Ramacciotti SERVIÇO NACIONAL DE APRENDIZAGEM INDUSTRIAL SENAI Conselho Nacional Presidente Robson Braga de Andrade SENAI Departamento Nacional Diretor Geral Rafael Esmeraldo Lucchesi Ramacciotti Diretor de Operações Gustavo Leal Sales Filho

6 8 A DIVULGAÇÃO DOS RESULTADOS DO PROADE 11 O DIREITO A UMA EDUCAÇÃO DE QUALIDADE 12 O Sistema de Avaliação da Educação Profissional e Tecnológica 14 O PROGRAMA DE AVALIAÇÃO DE DESEMPENHO DOS ESTUDANTES (PROADE) Estrutura do PROADE Trajetória do PROADE Conhecendo os participantes do PROADE Os estudantes Os professores 35 MATRIZES DE REFERÊNCIA PARA A AVALIAÇÃO Matriz de referência em Eletrotécnica Estruturas da matriz de competência Construindo a matriz 41 METODOLOGIA E ANÁLISE DOS TESTES Composição dos cadernos Análise dos testes O propósito da avaliação Padrões de desempenho 47 O TRABALHO CONTINUA

7

8 RELATÓRIO DAS CARACTERÍSTICAS DA AVALIAÇÃO 8 RElatório das características da avaliação Os relatórios de divulgação do Programa de Avaliação de Desempenho dos Estudantes (PROADE), uma das ações do Sistema de Avaliação da Educação Profissional e Tecnológica (SAEP), trazem os resultados da avaliação do Curso Técnico de Nível Médio em Eletrotécnica ofertado pelo Serviço Nacional de Aprendizagem Industrial (SENAI). De posse desse diagnóstico, é possível uma dupla orientação: referenciar a elaboração de estratégias pedagógicas e de gestão para todo o sistema educacional e orientar a elaboração de seu planejamento. PROADE ISSN Apresenta os objetivos, alcances e metodologias da avaliação. A publicação traz informações sobre a matriz de referência, a composição dos testes e as técnicas de análise adotadas, além dos resultados gerais da avaliação. A DIVULGAÇÃO DOS RESULTADOS DO PROADE Para o cumprimento das metas de melhoria da educação, propostas para a formação profissional do SENAI, as ações de monitoramento precisam contar com instrumentos de divulgação que informem, da melhor maneira possível, os resultados alcançados. É preciso assegurar que esses resultados sejam apropriados pelos gestores, professores e estudantes como indicativos da qualidade educacional. A apropriação, de forma crítica e autônoma, permite a esses agentes a utilização dos resultados para aperfeiçoar o próprio sistema. Com esse propósito, o SENAI, em parceria com o Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF), apresenta uma ampla política de divulgação e apropriação dos resultados do PROADE. Os produtos da divulgação foram elaborados sob três importantes princípios: o de informar os resultados do PROADE, o de subsidiar as ações de intervenção pedagógica e o de fornecer indicadores para a elaboração de ações estratégicas a nível gerencial. Com essa ação, o SENAI presta contas à sociedade acerca da qualidade dos serviços educacionais desenvolvidos em sua rede de ensino.

9 9 RElatório geral Esse relatório oferece informações gerais sobre a participação dos estudantes na avaliação e os resultados alcançados por cada DR. Apresenta, de modo sintético, os padrões de desempenho estudantil definidos pelo SENAI, além de discussões sobre a educação profissional no Brasil. RElatório DA UNIDADE OPERACIONAL O terceiro relatório da coleção apresenta os resultados por etapa e área do conhecimento, para cada escola, com foco na análise pedagógica dos resultados. Destaca-se a interpretação da Escala de Proficiência, que traz as competências desenvolvidas pelos estudantes situados em cada um dos padrões de desempenho. SUMÁRIO EXECUTIVO O Sumário Executivo apresenta um compilado dos dados relativos à avaliação do Curso Técnico de Nível Médio em Eletrotécnica realizada em PORTAL DA AVALIAÇÃO Aliado aos materiais de divulgação de resultados, o Portal da Avaliação é o espaço interativo para a discussão e divulgação de informações e dados. Pelo link é possível ter acesso à coleção PROADE 2011, às matrizes de referência e a outras informações sobre avaliação.

10 10

11 11 O DIREITO A UMA EDUCAÇÃO DE QUALIDADE Os debates sobre o acesso e permanência do aluno na escola e a qualidade do ensino vêm ganhando cada vez mais destaque no âmbito da União, dos estados e dos municípios. Isso porque são esses entes que devem garantir a educação formal com a qualidade exigida pelo avanço social, econômico, cultural e tecnológico da sociedade. A Constituição Federal, a Lei de Diretrizes e Bases da Educação Nacional (LDB) e o Plano Nacional de Educação (PNE) são algumas das referências que obrigam o poder público a cumprir esse dever. Entretanto, se, até o final do século passado, a ênfase era no acesso, atualmente são as questões relacionadas à permanência e à qualidade que mais preocupam, visto que são prerrogativas fundamentais de uma educação que prepare o aluno, de forma plena, para a vida em sociedade. Educação de qualidade e no tempo certo é, portanto, um direito de todos. Em busca de aferir o quanto os sistemas educacionais se aproximam ou se distanciam do cumprimento desse direito, o Governo Federal implantou, a partir a década de 1990, a avaliação da Educação Básica, por meio do Sistema de Avaliação da Educação Básica (Saeb). No âmbito da educação profissional, foram observadas, mais recentemente, diversas ações que procuram analisar a qualidade da educação oferecida aos alunos. O SENAI é um dos pioneiros dessas ações. Diversos DRs vêm, ao longo dos últimos 15 anos, empreendendo esforços no sentido de verificar a qualidade do ensino ministrado nas suas unidades escolares. No caso da educação profissional, a verificação da qualidade do ensino passa por diversas questões, que vão além da verificação do desempenho dos alunos. Por se tratar de um segmento da educação que se destaca como um fator estratégico de competitividade e desenvolvimento humano na nova ordem econômica, a educação profissional enfrenta desafios relacionados aos avanços tecnológicos e às novas expectativas das organizações que, agora, enfrentam mercados globalizados extremamente competitivos. Por isso, a avaliação da eficácia do sistema de ensino também deve levar em conta a melhoria na qualidade de vida dos alunos, o acesso de jovens e adultos ao mercado de trabalho, a satisfação dos clientes e até mesmo a visibilidade institucional. A avaliação externa é uma ferramenta útil, pois tem como propósito o monitoramento do sistema educacional, objetivando detectar os efeitos positivos ou negativos de políticas adotadas a médio prazo e as prováveis decisões políticas que poderão ser tomadas pela escola e pelo Departamento Regional diante dos resultados apresentados.

12 12 O SISTEMA DE AVALIAÇÃO DA EDUCAÇÃO PROFISSIONAL E TECNOLÓGICA Alinhado com as políticas públicas e exigências do setor industrial e considerando a importância da avaliação para alimentar os processos educacionais, o SENAI implantou o Sistema de Avaliação da Educação Profissional e Tecnológica (SAEP), com a finalidade de verificar a eficácia e a efetividade dos serviços educacionais, a qualidade dos cursos e os benefícios para os participantes dos programas, para o setor industrial e a sociedade. As diretrizes da educação profissional e tecnológica do SENAI apontam que a avaliação deverá se constituir nos níveis institucional, curricular, do ensino e da aprendizagem, cabendo ao Departamento Nacional, com a participação e a colaboração dos Departamentos Regionais, definir e divulgar metodologias de avaliação institucional interna e externa, assim como organizar e manter sistemas de avaliação da educação profissional. Dessa forma, o sistema de avaliação dispõe de metodologias próprias para que as unidades operacionais possam avaliar a concepção dos projetos e planos de cursos, sua implantação e desenvolvimento quanto à atuação do corpo docente, à infraestrutura e à gestão escolar. O SAEP contempla, ainda, a avaliação do desempenho de estudantes concluintes com a finalidade de aferir as competências para o exercício da ocupação, previstas no perfil profissional nacional, itinerário e desenho curricular. Fica evidente que a avaliação para o SENAI não é uma prática isolada, fragmentada, concentrada em medidas e dados quantitativos. Ela envolve todos os níveis e se caracteriza como elemento articulador, dinâmico, construtivo, no qual todos são mobilizados e tomam conhecimento das suas responsabilidades, possibilidades, limitações e avanços em busca da qualidade da educação profissional.

13 13 Algumas ações de avaliação do SENAI: Avaliação de Projetos de Cursos consiste em uma metodologia com orientações e instrumentos de avaliação para que os Departamentos Regionais possam planejar um curso. Contribui para a tomada de decisão sobre a implantação de um curso e possibilita maior clareza na detecção e solução dos problemas. Avaliação do Desenvolvimento de Cursos visa verificar se as ofertas formativas estão sendo implantadas e realizadas de acordo com seus projetos. É realizada pelas equipes escolares por meio de sistema informatizado, o qual gera diversos relatórios sobre a eficácia dos processos de ensino e de aprendizagem, permitindo a definição de planos de melhorias. Os processos são avaliados antes do início do curso, durante e ao final. Avaliação de Desempenho de Estudantes avaliação educacional em larga escala, com o objetivo de avaliar o desempenho dos estudantes concluintes com vistas à melhoria dos processos educacionais, tendo como referência o perfil profissional nacional do curso, o desenho curricular e os itinerários. Avaliação de egressos tem por objetivo estabelecer e monitorar indicadores de desempenho dos egressos no mercado de trabalho com foco na Educação Profissional. Esta avaliação é realizada pelos DRs em três fases de pesquisa de campo. As três fases permitem integrar indicadores objetivos, factuais, com percepções, opiniões e expectativas dos clientes (concluintes, egressos e empresas) sobre missão, imagem e desempenho institucional. Olimpíada do Conhecimento essa avaliação está baseada em provas que contemplam, de forma global, integrada e contínua, as etapas de planejamento, de processo de execução e de produto, incluindo a avaliação das qualidades pessoais (habilidades intelectuais e atitudes). Permite ao aluno competidor a interpretação de uma situação problema, semelhante a uma situação real de trabalho enfrentada por um profissional de sua ocupação, que exige a realização de um planejamento, a operacionalização de processos de execução e permite a obtenção de produtos (bens ou serviços) como resultado. É um evento que proporciona o intercâmbio e a troca de experiências entre alunos, docentes, técnicos, gestores, empresas e comunidade.

14 14 O PROGRAMA DE AVALIAÇÃO DE DESEMPENHO DOS ESTUDANTES (PROADE) O PROADE, uma das ações do Sistema de Avaliação da Educação Profissional e Tecnológica (SAEP), é um programa que foi planejado para avaliar, em âmbito nacional, os cursos de educação profissional oferecidos pelo SENAI. O programa é o primeiro a avaliar, em âmbito nacional, a educação profissional. Ele avalia o desempenho de alunos concluintes, com o objetivo de aferir as competências necessárias ao desempenho da ocupação. Além disso, o PROADE deve também subsidiar a manutenção ou o redirecionamento de ações pedagógico-institucionais adequadas aos seus contextos locais, contribuir para mudanças no processo de ensino-aprendizagem e de gestão educacional necessárias ao contínuo avanço da educação profissional, proporcionar maior transparência à educação profissional e tecnológica do SENAI e contribuir para o levantamento de indicadores de qualidade educacional. O programa prevê a construção de uma série histórica das avaliações, visando a um diagnóstico do perfil de saída do aluno, permitindo uma análise da efetividade do processo de ensino-aprendizagem e de suas relações com fatores externos. A análise dos resultados possibilitará a identificação das necessidades, demandas e problemas do processo formativo, considerando- -se as exigências de competitividade da indústria, assim como os princípios expressos nas políticas do Ministério da Educação e nas diretrizes do SENAI para a educação profissional. OBJETIVOS Como objetivo geral, tem-se a avaliação em larga escala do desempenho dos estudantes concluintes dos cursos do SENAI, tendo como referência o perfil profissional nacional e o desenho curricular com os respectivos itinerários formativos. Assim, especificamente, o PROADE pretende: contribuir para o levantamento de indicadores de qualidade educacional. contribuir para mudanças no processo de ensino-aprendizagem e de gestão educacional necessárias ao contínuo avanço da educação profissional. proporcionar maior transparência à educação profissional e tecnológica do SENAI. subsidiar a manutenção ou o redirecionamento de ações pedagógico-institucionais adequadas aos seus contextos locais. produzir referenciais de qualidade de desempenho. promover a cultura da avaliação e criar uma rede de boas práticas. ESTRUTURA DO PROADE O PROADE é executado em larga escala, utiliza a Teoria de Resposta ao Item (TRI), que assegura uma análise fidedigna, comparável e precisa, e a Teoria Clássica dos Testes (TCT). Em 2011, participaram da avaliação os alunos concluintes do Curso Técnico de Nível Médio em Eletrotécnica.

15 15 trajetória do PROADE Edição 2010 Experiência piloto A avaliação teve como suporte a Matriz de Referência elaborada a partir do Perfil Profissional Nacional da Mecânica, desenho curricular e itinerário formativo. Foram inscritos na avaliação do Curso Técnico em Mecânica alunos de 53 escolas dos DRs do AM, BA, ES, GO, MA, MS, MG, PR, RS, RN, SC e SP, mas, devido à participação não obrigatória dos alunos, compareceram para responder a prova de conhecimentos específicos 1709 estudantes. Foram também aplicados questionários aos alunos e docentes com o intuito de conhecer o perfil dos participantes e a sua percepção em relação aos diversos aspectos da escola e do curso (infraestrutura, recursos humanos e materiais, metodologia de ensino, atuação docente etc). Após a geração do banco de dados e informações, os especialistas realizaram análises pedagógicas e psicométricas, e construíram uma escala de proficiência dos alunos, classificando os níveis em abaixo do básico, básico, adequado e avançado, de acordo com as capacidades requeridas para um profissional técnico em Mecânica. Os resultados foram organizados em relatórios específicos por desempenho dos alunos, das escolas, dos DRs e desempenho nacional. Categorização e níveis da escala Desempenho dos Alunos Desempenho das Escolas Desempenho dos DRs Quant. % Quant. % Quant. % Abaixo do básico 150 a 250 pontos 14 0,82% 0 0,00% 0 0,00% Básico 300 a 450 pontos ,98% 10 18,87% 2 16,67% Adequado 500 a 700 pontos ,74% 43 81,13% 10 83,33% Avançado 750 a 900 pontos 25 1,47 0 0,05 0 0,00% TOTAL % % %

16 16 CONHECENDO OS PARTICIPANTES DO PROADE O perfil de estudantes do curso Técnico em Eletrotécnica do SENAI, no ano de 2011, quanto a idade, sexo, escolaridade dos pais, posse de bens de consumo cultural, experiência de trabalho, acesso e domínio em informática e dedicação aos estudos são apresentados a seguir. Para os professores, são trazidos o tempo de formação, nível de escolaridade, participação em capacitação, sexo, experiência docente, carga horária de trabalho, renda familiar, satisfação com o ambiente e condições de trabalho. OS ESTUDANTES Características Gerais dos Estudantes Ao todo, 1345 estudantes responderam ao questionário socioeconômico 2. O perfil médio do estudante do Técnico em Eletrotécnica descreve um indivíduo do sexo masculino, branco, que já concluiu o Ensino Médio e que, antes de ingressar no SENAI, estudou somente em escola pública. 2 Esse número pode variar ao longo do texto devido ao aproveitamento de respostas válidas de acordo com as questões: nem todas as questões têm exatamente essa quantidade de respostas válidas.

17 17 Gráfico 1 Distribuição dos estudantes segundo sexo Como podemos ver no Gráfico 1, apenas 9% dos estudantes é do sexo feminino. A idade média desses alunos é de aproximadamente 24 anos. Cerca de 10% se auto declararam pretos. Pouco mais de 1/4 ainda não concluiu o Ensino Médio; e apenas cerca de 10% estudou exclusivamente em escola particular. Nos histogramas apresentados em seguida, ilustramos os resultados apresentados aqui (Figura 1, Gráficos 2, 3 e 4). Figura 1 Histograma da idade dos estudantes

18 18 Gráfico 2 Distribuição dos Estudantes segundo Cor/Raça Gráfico 3 Estudante já concluiu o Ensino Médio? Gráfico 4 - Antes de ingressar no SENAI, em que tipo de escola você estudou?

19 19 Os estudantes do curso técnico de eletrotécnica do SENAI se distribuem de maneira distinta no país. A tabela a seguir descreve o total de alunos previstos a serem avaliados e compara com os efetivamente avaliados segundo o estado a que pertencem. Tabela 1 Número de Alunos Previstos, Efetivos e Percentual de Participação na Avaliação Estado Alunos Previstos Alunos Efetivos Percentual de Participação Rondônia ,68 Bahia ,43 Ceará ,67 Pernambuco ,25 Rio Grande do Norte ,65 Sergipe ,00 Distrito Federal ,18 Goiás ,48 Espírito Santo ,82 Minas Gerais ,09 Rio de Janeiro ,04 São Paulo ,02 Paraná ,19 Santa Catarina ,37 A fim de simplificar a análise segundo a distribuição regional e obter uma soma mais razoável para os percentuais dos indicadores sintéticos, que serão apresentados mais à frente, agregamos os estudantes dos estados acima em grandes regiões. A distribuição geral está descrita na tabela a seguir. Tabela 2 - Número e Percentual dos Alunos Efetivos segundo Grandes Regiões Grandes Percentual Frequência Percentual Regiões Acumulado Norte (RO) 36 2,68 2,68 Nordeste (BA, CE, PE, RN, SE) ,59 21,26 Sudeste (ES, MG, RJ, SP) ,09 45,35 Centro-Oeste (DF, GO) ,19 57,55 Sul (PR, SC) , Total

20 20 Ambiente Domiciliar e Origem Socioeconômica Para obtermos uma noção sobre o ambiente domiciliar e a origem socioeconômica dos estudantes do SENAI, observamos a escolaridade dos pais e a posse de bens de consumo cultural. Gráfico 5 - Até que série sua mãe ou a responsável por você estudou? Com relação à escolaridade da mãe ou responsável, apenas cerca de 2% dos estudantes declararam que sua mãe nunca estudou; a moda da distribuição refere-se a categoria Entre a 1ª e a 3ª série do Ensino Médio, com aproximadamente 33%; o grupo de estudantes cujas mães estudaram até o ensino superior soma 13,5% desse total de alunos e apenas 3% não sabem a escolaridade de sua mãe ou responsável. Observe em seguida o gráfico dessa distribuição com todos os dados agrupados em classes. Gráfico 6 - Até que série seu pai ou o responsável por você estudou? O resultado encontrado com relação à escolaridade do pai ou responsável não apresenta grande discrepância do resultado encontrado sobre a escolaridade da mãe ou responsável. Pouco mais que 3% dos estudantes declararam que seu pai nunca estudou; a moda da distribuição corresponde à mesma observada para a escolaridade da mãe 32% entre a 1ª e a 3ª série do Ensino Médio; estudantes com pais ou responsáveis com ensino superior somam 9% do total. Aproximadamente 6% dos estudantes não sabem a escolaridade de seus pais, o dobro em relação à mesma categoria da escolaridade da mãe. De certo modo, esse resultado é plausível, uma vez que muitos estudantes não têm registro de paternidade, fenômeno cada vez mais comum, conhecido na literatura como famílias monoparentais.

21 21 A questão sobre presença ou ausência de livros (com exceção de livros escolares, jornais e revistas) no domicílio revela que a grande maioria (63%) possui o bastante para encher uma prateleira (entre 1 e 20 livros); pouco mais que 23% possuem mais que essa quantidade de livros. Cabe ressaltar que uma quantia representativa de alunos, 14%, menciona não possuir livros em casa, podendo representar a falta de hábito de estudo devido a ausência de recursos e de situações que possibilitem manter o interesse do estudante para a construção do conhecimento. Gráfico 7 - Sem considerar livros escolares, jornais e revistas, quantos livros há em sua casa? Em resumo, podemos perceber que os estudantes do SENAI possuem poucos recursos culturais em sua casa. Este resultado pode ser dado pela escolaridade dos pais que se encontram, em grande maioria, nos níveis entre a 5ª série do Ensino Fundamental e a 3ª série do Ensino Médio, representados na maioria das pesquisas, pelo perfil educacional semelhante ao de grupos desprivilegiados socioeconomicamente no Brasil.

22 22 Contato com o Mercado de Trabalho e Renda Pessoal Consideramos que, de acordo com o resultado encontrado, temos um grupo considerável de estudantes que nunca trabalhou, cerca de 20% dos respondentes. Acreditamos que esse resultado está fortemente relacionado aos estudantes que procuram, com essa formação, uma possibilidade de inserção no mercado de trabalho. Encontramos que aproximadamente 9% dos estudantes não trabalham atualmente, embora relatem experiências de trabalho anteriormente. Quase a maioria absoluta relata estar trabalhando atualmente em atividade relacionada ao curso (45%), mostrando que a inserção no curso pode estar relacionada a busca de qualificação profissional para atuação em seu ambiente de trabalho. Temos ainda que cerca de 26% trabalham em atividade não relacionada ao domínio de seus curso. Gráfico 8 - Distribuição dos Estudantes segundo Situação de Trabalho Esse perfil de trabalho e contato com o mercado de trabalho tem outra expressão: quase 70% dos alunos estão cursando disciplinas no turno da noite. Apenas 13% dos estudantes cursam o SENAI durante a manhã e cerca de 18% estão no turno da tarde.

23 23 Quanto à renda pessoal obtida pelos estudantes, cerca de 60% têm como renda mensal 2 salários mínimos ou menos e apenas 1,19% ganham mais de 7 salários mínimos mensais. Cabe observar que os resultados se referem ao total de 1010 respostas válidas sendo que aproximadamente 25% dos estudantes apresentaram respostas nulas para essa questão. Gráfico 9 - Distribuição segundo Renda Mensal Atual dos Estudantes Tabela 3 Número e Percentual dos Alunos Efetivos segundo Turno de Estudos Turno Frequência Percentual Percentual Acumulado Manhã ,79 12,79 Tarde ,59 31,38 Noite , Total Como podemos perceber, de modo geral, os estudantes apresentam alguma experiência com trabalho (aproximadamente 80%). Uma quantidade considerável dos estudantes trabalha atualmente (cerca de 70%) e, grande parte deles, em atividades relacionadas à sua formação profissional no SENAI (quase 45%). Essa relação com o trabalho tem ligação com o turno em que a grande maioria está matriculado. No entanto, essa experiência com o mercado de trabalho não se traduz em um grande percentual de estudantes com renda pessoal expressiva. O que podemos observar, de fato, é que aproximadamente 60% dos alunos ganham dois salários míninos ou menos.

24 24 Acesso a e Domínio em Informática A maioria absoluta 2 dos estudantes informa ter acesso, com mais frequência nos últimos três meses, à internet por meio de computador em casa (70,8%). Consideradas simultaneamente, as formas de acesso em casa, no trabalho ou na escola somam cerca de 90% do total das respostas dos estudantes à questão de acesso a internet. Apenas 1,43% afirmam não ter acesso à internet. 2 Utilizamos a terminologia maioria absoluta, maioria relativa, e maioria simples em seus significados conceituais na área de ciência política: a primeira designa uma proporção igual ou superior a dois terços do total; a segunda expressa uma proporção de 50% mais uma unidade; e a terceira corresponde à maior minoria, a maior proporção de um grupo em relação a todas as demais proporções dos grupos em consideração. Tabela 4 - Equipamento e local que utilizou, com mais frequência, para acessar a internet nos últimos três meses: Frequência % % Válido % Acumulado Computador em casa ,11 70,80 70,80 Computador no trabalho ,48 8,56 79,35 Computador na escola ,74 9,83 89,19 Computador na casa de outra pessoa. 44 3,27 3,30 92,49 Computador em centro público de acesso gratuito. 10 0,74 0,75 93,24 Computador em centro público de acesso pago. 41 3,05 3,08 96,32 Celular ou smartphone. 17 1,26 1,28 97,60 Outros. 13 0,97 0,98 98,57 Não acessou a internet nos últimos três meses. 19 1,41 1, Parcial , Nulas. 13 0,97 Total A maioria absoluta dos estudantes, cerca de 82%, considera seu nível de conhecimento em informática regular ou bom, e 11% consideram-se muito bons em domínio de informática. Somados, aqueles cuja autoavaliação encontra-se em ruim ou muito ruim agrupam aproximadamente 7% dos estudantes, conforme podemos observar no gráfico ao lado. Gráfico 10 - Como você classifica o seu conhecimento em Informática?

25 25 Dedicação aos Estudos e Valores Escolares Aproximadamente 56% dos estudantes do curso Técnico em Eletrotécnica do SENAI dedicam, em média, menos de três horas semanais para estudos fora da sala de aula, e 34% deles dedicam entre três e seis horas semanais para a mesma atividade. Esses dois grupos correspondem a um percentual de 90% dos respondentes à questão. Com essas informações podemos aferir que cerca de 10% dos estudantes dedicam-se, em média, a mais de sete horas semanais de estudo. Recordando que aproximadamente 70% dos estudantes trabalham atualmente (gráfico 8), podemos considerar baixo o número médio de horas dedicados aos estudos por semana, sobretudo porque o grupo citado acima excede em cerca 10% do total de alunos que se dedicam mais de sete horas semanais para estudos relacionados ao curso. Segundo o Grafico 11, podemos perceber que o número de alunos que se dedicam aos estudos de acordo com o número de horas estudadas tem relação inversamente proporcional. Gráfico 11 - Quantas horas por semana, em média, você dedica aos estudos fora de sala de aula? Gráfico 12 - Com relação à responsabilidade com os seus estudos, você se considera um aluno... Entretanto, apesar desses hábitos, 72% dos estudantes se consideram responsáveis em seu papel de aluno, e 13% atestam serem muito responsáveis. Podemos notar que a percepção sobre desempenho escolar, por parte dos estudantes, é considerado bom ou excelente para mais de 66% dos estudantes, como mostram os Gráficos 12 e 13. Desse modo, podemos concluir que as práticas escolares não acompanham coerentemente a percepção dos estudantes sobre seu desempenho e seus valores associados ao estudo escolar. Gráfico 13 - Como você percebe o seu desempenho escolar?

26 26 Motivações e Dificuldades associados ao Curso do SENAI No questionário dos alunos foi apresentada uma lista de questões associadas às principais motivações e dificuldades dos estudantes no curso Técnico em Eletrotécnica no SENAI. Dentre as motivações, foram apresentadas: A área de atuação tem boas oportunidades no mercado de trabalho; Capacitar-me para um trabalho que já realizava; Capacitar-me para um novo trabalho; Necessidade de aumentar a renda; Exigência da empresa em que trabalho; Possibilidade de realizar um curso gratuito; A qualidade do ensino do SENAI; Obtenção de um certificado de conclusão de curso e/ou de um diploma; e Outro(s) motivo(s) não especificado(s). A cada uma dessas questões foi permitido aos estudantes responder sim ou não. Ou seja, um estudante poderia marcar mais de um motivo para sua escolha, sem hierarquias entre as motivações. Como resultado, podemos perceber que 56% dos estudantes escolhem o curso do SENAI como uma orientação para o mercado de trabalho, pois temos que 44,5% deles reportam a perspectiva de boas oportunidades no mercado de trabalho através dessa área de atuação e 11,65% atestam a capacitação para um trabalho que já realizava. A necessidade de se capacitar para um novo trabalho aparece como principal motivo para 17% dos estudantes e aproximadamente 10% citaram a qualidade do ensino do SENAI como motivo para optar pelo curso. Demais motivos, os quais consideramos serem mais específicos, estão figurados com menores proporções. Gráfico 14 - Principais motivos para fazer o curso

27 27 Quando questionados sobre as principais dificuldades para fazer o curso do SENAI, foram mencionadas as seguintes: Falta de tempo para estudar; Falta de conhecimentos básicos para acompanhar o curso; Problemas de relacionamento com docentes/instrutores; Incompatibilidade entre horário de trabalho e de aulas; Distância entre local de residência/escola/trabalho; Dificuldades financeiras para me manter no curso; Falta de transporte; Outra(s) dificuldade(s) não especificadas; Não tive dificuldades. Gráfico 15 - Principais dificuldades para fazer o curso SENAI A falta de tempo para estudar aparece em primeiro lugar, com 35% dos estudantes; 14% responderam ser devido às distâncias entre o local de residência/ escola/trabalho; 1,43% citam problemas de relacionamentos com docentes/instrutores; e 7%, dificuldades financeiras para se manter no curso. Aproximadamente 20% não tiveram dificuldades para cursar o SENAI, e cerca de 7% tiveram outras dificuldades não especificadas.

28 28 OS PROFESSORES Características Gerais dos Docentes e Trajetória Anterior ao SENAI Um total de 370 indivíduos respondeu ao questionário socioeconômico da pesquisa 2. A grande maioria dos professores do curso Técnico em Eletrotécnica é do sexo masculino, e sua idade média é de 37,1 anos; apenas 25% do total de professores têm mais de 44 anos de idade. Cerca de 36% concluíram uma graduação, outros 36% possuem algum tipo de especialização (360 horas) e cerca de 7% têm um título de mestre. Quase 51% dos professores são ex-alunos do SENAI. Em poucas palavras, o corpo docente do curso Técnico em Eletrotécnica do SENAI é jovem, com grande maioria graduada ou especializada, e já estudou no SENAI anteriormente. Tabela 5 Descrição Geral da Idade dos Professores Idade Mínimo 19 Máximo 76 Média 37,10 Desvio-Padrão 10,43 Percentil 25% 29 50% 35 75% 44 Casos Válidos Por isso, sugerimos atenção na interpretação dos percentuais. Gráfico 16 - Distribuição dos Professores segundo Sexo

29 29 Gráfico 17 - Nível de Escolaridade dos Professores Gráfico 18 Professor é ex-aluno do SENAI?

30 30 Podemos observar, nos gráficos 19 e 20, o tempo decorrido desde a graduação e a experiência docente. Aproximadamente 9% dos professores têm menos de dois anos, menos de 5% têm mais de 20 anos desde a conclusão de sua graduação; a maioria tem entre dois e nove anos desde a conclusão. Cerca de 19% não fizeram ou não concluíram a graduação. Com relação à atividade de lecionar, um grande percentual dos professores possui entre um e cinco anos de experiência 45%. Do total, 26% têm entre seis e 10 anos de experiência, quase 10% têm entre 11 e 15 anos, e apenas 6% têm entre 16 e 20 anos de experiência. Lecionam há menos de um ano cerca de 6,5%, e há mais de 21 anos outros 6%. Gráfico 19 - Tempo decorrido desde a graduação Gráfico 20 - Experiência do Professor na atividade de lecionar

31 31 Considerando a declaração dos docentes a respeito de sua renda familiar bruta, somados todos os rendimentos, dois grupos se destacam claramente: uma maioria absoluta de professores (quase 85%) que recebe R$2.551,00 ou acima disso; e uma minoria com salários abaixo desse valor. Gráfico 21 - Renda familiar bruta, somando todos os rendimentos

32 32 Trajetória do Docente em Relação ao SENAI Especificamente sobre a experiência do professor em lecionar no SENAI, 54% dos docentes têm entre um e cinco anos nessa atividade. E do total de professores, 43,5% trabalham em uma carga horária semanal no SENAI de 31 a 40 horas. Além disso, quase 80% deles já participaram de algum curso de capacitação e/ou formação pedagógica oferecido pelo SENAI, e mais de 60% deles consideram-se muito satisfeitos ou totalmente satisfeitos com as condições de trabalho oferecidas para o desenvolvimento do curso de Eletrotécnica. Gráfico 22 - Experiência do Professor na atividade de lecionar no SENAI Gráfico 23 - Carga horária de trabalho semanal no SENAI

33 33 Gráfico 24 - Participou de algum curso de capacitação e/ou de formação pedagógica oferecido pelo SENAI Gráfico 25 - Satisfação com as condições de trabalho oferecidas para o desenvolvimento do curso que está sendo avaliado

34 34

35 35 MATRIZES DE REFERÊNCIA PARA A AVALIAÇÃO Nas avaliações em larga escala, as matrizes de referência apresentam o objeto dos testes. A proposta adotada pelo SENAI, com a implantação do PROADE, é de uma avaliação com foco no desenvolvimento de competências, em conformidade com os perfis profissionais de conclusão dos cursos avaliados. A matriz sistematiza e orienta o processo de construção de itens e serve de referência para a análise dos resultados de desempenho nas provas aplicadas. É o cerne orientador de toda a concepção dos itens de prova em avaliação, sendo formadas por um conjunto de competências imprescindíveis ao desempenho da profissão. Em geral, a matriz articula, em duas ou três dimensões, a investigação concomitante das possibilidades de interação das competências esperadas para o desempenho das funções (ou dos perfis profissionais desejados) com as capacidades imprescindíveis para o desenvolvimento dessas competências e com os objetos de conhecimento por meio dos quais as habilidades são desenvolvidas. As matrizes orientam a a elaboração dos itens que irão compor os instrumentos de avaliação daquela formação, reunindo os conteúdos curriculares a serem avaliados (objetos de conhecimento) e as competências e habilidades que se espera que os alunos tenham desenvolvido. Sua finalidade é balizar a criação de itens dos testes, o que as distingue das propostas curriculares, estratégias de ensino e diretrizes pedagógicas.

36 36 MATRIZ DE REFERÊNCIA EM ELETROTÉCNICA Competência Geral Projetar, instalar, manter e operar sistemas elétricos prediais, industriais e de potência, de acordo com os limites legais aplicáveis, cumprindo as normas técnicas, de qualidade, de segurança e saúde e de preservação ambiental. Unidades de Competência Elementos de competências Básicas C1 C2 C3 C4 C5 C6 Interpretar documentos Interpretar o funcionamento de circuitos eletroeletrônicos Planejar instalações e/ou atividades Aplicar legislações e normas técnicas SENAI - DEPARTAMENTO PROGRAMA DE AVALIAÇÃO DE DESEMPENHO D MATRIZ DE REFERÊNCIA - ELETRO Habilitação Profissional: Técnico em Eixo Tecnológico: Controle e Process Área Tecnológica: Eletroelet Nível de Educação Profissional: Técnic Elaborar memorial descritivo Aplicar soluções tecnológicas Ana diag elé Unidade de Competência 1: Elaborar projetos de sistemas elétricos, cumprindo as normas técnicas, de qualidade, de segurança e saúde e de preservação ambiental. 1.1 Elaborar projetos de sistemas elétricos prediais e industriais 1.2. Elaborar projetos de sistemas elétricos de redes 1, 2, 3, 7, 8, 9, 10, 14, 15, 16, 17, 18 1, 2, 3, 7, 8, 9, 10, 14, 15, 16, 17, 18, 29, 30 2, 3, 4, 6, 8, 9, 21, 28 2, 3, 4, 6, 8, 9, 21, 29, 30 3, 6, 12, 13, 14, 15, 16, 17, 18, 20 a 26 3, 6, 12, 13, 14, 15, 16, 17, 18, 20 a 25 14, 15, 16 14, 15, 16 1, 9, 17, 18, 19 1, 9, 17, 18, 19 19, 14, 15, 16 19, 14, 15, 16 Unidade de Competência 2: Executar ações de operação e controle em sistemas elétricos prediais, cumprindo as normas técnicas, de qualidade, de segurança e saúde e de preservação ambiental Instalar sistemas elétricos prediais 2.2. Manter sistemas elétricos prediais 2.3. Controlar sistemas elétricos prediais 1, 2, 3, 6, 7, 8, 9, 10, 14, 15, 16, 21 a 26 1, 2, 3, 6, 7, 9, 10, 14, 15, 16, 18, 28 2, 3, 4, 6, 7, 9, 21 a 26, 28 2, 3, 4, 6, 7, 9, 21 a 26, 28 3, 6, 10 a 18, 20 a 26, 28 3, 6, 15 a 18, 20 a 26, 28 14, 15, 16 1, 11, 14 a 18 2, 3 1, , 2 Unidade de Competência 3: Executar ações de operação e controle em sistemas elétricos industriais, cumprindo as normas técnicas, de qualidade, de segurança e saúde e de preservação ambiental. 3.1 Instalar sistemas elétricos industriais 3.2 Manter sistemas elétricos industriais 3.3 Controlar sistemas elétricos industriais 1, 2, 3, 6, 7, 8, 9, 10, 14, 15, 16, 21 a 26 1, 2, 3, 6, 7, 9, 10, 14, 15, 16, 18, 28 2, 3, 4, 6, 7, 9, 21 a 26, 28 2, 3, 4, 6, 7, 9, 21 a 26, 28 3, 6, 10 a 18, 20 a 26, 28 3, 6, 15 a 18, 20 a 26, 28 14, 15, 16 1, 11, 14 a 18 2, 3 1, , 2 Unidade de Competência 4: Executar ações de operação e controle em sistemas elétricos de potência (SEP), cumprindo as normas técnicas, de qualidade, de segurança e saúde e de preservação ambiental Instalar sistemas elétricos de potência 4.2. Manter sistemas elétricos de potência 4.3. Controlar sistemas elétricos de potência - SEP 1, 2, 3, 6, 7, 8, 9, 10, 14, 15, 16, 21 a 25 1, 2, 3, 6, 7, 9, 10, 14, 15, 16, 18, 28, 29, 30 2, 3, 4, 6, 7, 9, 21 a 25, 28, 29, 30 2, 3, 4, 6, 7, 9, 21 a 25, 28, 29, 30 3, 6, 10 a 18, 20 a 25, 28, 29, 30 3, 6, 15 a 18, 20 a 25, 28, 29, 30 14, 15, 16 1, 11, 14 a 18 2, 3 1, , 2 15, 1 Relatório técnico 12 Relatório Grandezas técnico elétricas (CA e CC) 23 Grandezas Circuitos elétricos elétricas (CA e CC) 34 Circuitos Leis e teoremas elétricos (CA e CC) 45 Leis Eletromagnetismo e teoremas 56 Eletromagnetismo Medidas elétricas e instrumentos 67 Medidas elétricas lineares e instrumentos de área 78 Medidas Escalaslineares e de área 89 Escalas Simbologias e diagramas elétricos (NBR 5444) 9 Simbologias Plantas baixas, e diagramas leiautes, elétricos perspectivas, (NBR projeções, 5444) vistas e 10 Plantas cortes baixas, leiautes, perspectivas, projeções, vistas e 10 cortes 11 Ferramentas de qualidade 11 Ferramentas de qualidade 12 Acidentes e doenças do trabalho 12 Acidentes e doenças do 13 trabalho Meio ambiente 13 Meio ambiente Normas regulamentadoras - objetiv 14 Normas regulamentadoras cação - objetivos (5, 6, 17, e campos 18, 21, de 26 aplicação (5, 6, 17, 18, 21, e Normas 33) técnicas (5410, 14039, 1568 e 33) Normas técnicas (5410, , Segurança 15688, em 5460) eletricidade - NR Segurança em eletricidade 17 Recursos - NR 10 humanos e financeiros 17 Recursos humanos e 18 financeiros Cronograma 18 Cronograma 19 Memória de cálculo 19 Memória de cálculo 20 Ferramentas elétricas e manuais 20 Ferramentas elétricas e manuais

37 37 MENTO NACIONAL MPENHO DE ESTUDANTES - PROADE - ELETROTÉCNICA 2011 Técnico em Eletrotécnica le e Processos Industriais : Eletroeletrônica nal: Técnica de Nível Médio CAPACIDADES Técnicas C7 C8 C9 C10 C11 C12 C13 C14 C15 Analisar diagramas elétricos Analisar parâmetros elétricos Aplicar documentos de controle e de riscos Instalar componentes e/ou equipamentos dos sistemas elétricos Aplicar técnicas de manutenção Verificar o funcionamento dos componentes /sistemas elétricos Ter visão espacial Gestão Ter raciocínio lógico Coordenar equipes de trabalho 7, 8, 10, 23 17, 18, 19 7, 8, 10, 23 17, 18, 19 2, 3, 6, 9, 10 12, 13, a 26, 28 6, 20 a 26, 28 7, 8, 10, 23 12, 13, 16, 17, 18 1, 2, 3, 9, 10, 15 1, 2, 3, 9, 15 1, 2, 3, 4, 6, 9, 11, 21, 24, 25, 28 1, 2, 3, 6, 9, 11, 21, 24, 25, 28 12, 13, 16 6, 11, 20, 27 1, 2, 3, 6, 16 2, 3, 4, 9, a 18, 27 2, 3, 6, 9, 10 12, 13, a 26, 28 6, 20 a 26, 28 7, 8, 10, 23 12, 13, 16, 17, 18 1, 2, 3, 9, 10, 15 1, 2, 3, 9, 15 1, 2, 3, 4, 6, 9, 11, 21, 24, 25, 28 1, 2, 3, 6, 9, 11, 21, 24, 25, 28 12, 13, 16 6, 11, 20, 27 1, 2, 3, 6, 16 2, 3, 4, 9, a 18, 27 2, 3, 6, 9, 10 12, 13, 16 5, 20 a 25, 28, 29, 30 5, 6, 20 a 25, 28, 29, 30 7, 8, 10, 23, 29, 30 12, 13, 16, 17, 18 1, 2, 3, 9, 10, 15 1, 2, 3, 4, 6, 9, 11, 21, 24, 25, 28, 29, 30 12, 13, 16 6, 11, 20, 27, 29, 30 1, 2, 3, 5, 6, 16, 29, 30 2, 3, 4, 9, a 18, 27 1, 2, 3, 9, 15, 29, 30 1, 2, 3, 6, 9, 11, 21, 24, 25, 28, 29, 30 balho Equipamentos e dispositivos de manobra, controle, proteção 21 e sinalização Equipamentos e dispositivos de manobra, controle, proteção 21 e sinalização 22 Condutores s - objetivos 22 e Condutores campos de apli- 23 Infraestrutura para sistemas elétricos 33) 23 Infraestrutura para sistemas elétricos 24 Aterramento 039, 15688, ) Aterramento 25 Sistemas de proteção contra descargas atmosféricas (SPDA) - NR 1025 Sistemas de proteção contra descargas atmosféricas 26 Luminotécnica (SPDA) ceiros 26 Luminotécnica 27 Gestão da manutenção 27 Gestão da manutenção 28 Acionamentos elétricos e eletrônicos 28 Acionamentos elétricos e eletrônicos 29 Fundamentos de geração, transmissão e distribuição anuais 29 Fundamentos de geração, transmissão e distribuição 30 Fundamentos de subestação 30 Fundamentos de subestação

38 38 estrutura da matriz de competências A matriz é organizada em unidades de competência. Segundo Le Boterf (2003) e Zarifian (2003), competência é a capacidade de o sujeito agir diante de situações- -problema inusitadas, a partir da mobilização dos recursos (cognitivos, sociais e afetivos) necessários à sua resolução. A competência não reside nos recursos a mobilizar, mas na sua mobilização e articulação para que seja possível tomar decisões e fazer encaminhamentos adequados e úteis ao enfrentamento de situações, como a resolução de um problema ou a tomada de uma decisão. Em síntese, a competência pertence à ordem do saber mobilizar. Assim, o desenvolvimento de competências pressupõe que o indivíduo não somente adquira recursos como conhecimentos, habilidades, atitudes e valores, mas construa, a partir deles, combinações apropriadas à ação. Desse modo, conhecimentos, habilidades, valores e atitudes são elementos constitutivos das competências, mas não se confundem com elas. Assume-se que o desenvolvimento de competências é um processo contínuo e, assim, não faz sentido dizer que um indivíduo tem ou não determinada competência, mas sim, estabelecer o grau de desenvolvimento daquela competência no momento em que for feita a avaliação. Nesse sentido, a construção de uma escala de proficiência com níveis de desenvolvimento torna-se bastante adequada ao propósito de uma avaliação de competências. É nesse ponto que a utilização das teorias de medida, em especial a teoria de resposta ao item (TRI), tem muito a contribuir para que sejam feitas as inferências adequadas acerca do desempenho dos participantes no processo de avaliação. Isso é feito, após a aplicação dos instrumentos, também com o auxílio da matriz de referência, que subsidiará a interpretação dos resultados. Essa abordagem conceitual de competência impõe que os itens elaborados devem privilegiar contextos vivenciados pelos alunos durante sua formação profissional, pois são as situações dessa natureza que mais se aproximam do modo como as competências são desenvolvidas. Dessa forma, o foco da avaliação deve ser a análise de situação-problema, para a qual o aluno deve mobilizar saberes teórico-conceituais, práticos e éticos para a sua resolução. A aprendizagem é, portanto, destacada com referência à autonomia intelectual do sujeito ao final da educação profissional, mediada pelos princípios da cidadania e do trabalho. A construção dos itens foi embasada em unidades menores denominadas Unidades de Competências (UC), Elementos de Competências (EC) e Capacidades (C). Cada capacidade representa uma habilidade específica e, a partir das respostas dos alunos, verifica-se o que eles sabem e conseguem fazer. Para avaliar a comunicação oral e escrita, foi desenvolvida a Capacidade Transversal 2, para a qual também foram gerados resultados. Em geral, a matriz de referência apresenta as descrições de forma bastante sucinta, o que acaba por estabelecer a necessidade de uma orientação para torná-las claras e compreensivas para os usuários da matriz, principalmente os elaboradores de itens, a fim de não deixar margem de erro no momento de interpretação. Essa orientação inclui a definição constitutiva de cada construto ou traço latente e a definição operacional. Na primeira, faz-se uma descrição conceitual detalhada e precisa do significado do construto a ser medido e, na segunda, elencam- -se as diferentes formas de manifestação do construto, isto é, como ele pode ser avaliado. Isso será uma orientação fundamental no momento de criação dos itens, pois a ausência de uma definição clara pode causar confusão e sobreposição no uso dos termos estabelecidos. 2 A Capacidade Transversal avalia as competências relacionadas à comunicação oral e escrita, não está relacionada a uma unidade de competências específica.

39 39 construindo a matriz Resumidamente, o passo a passo de elaboração de uma matriz de referência de competências, para avaliação de larga escala dos cursos do SENAI, pode ser assim esquematizado: Leitura e análise detalhada do desenho curricular; Escolha das unidades de competência e de seus respectivos elementos de competência que serão objeto de avaliação; Escolha dos padrões de desempenho que se relacionam com cada elemento de competência, considerando o tipo de instrumento de avaliação que será utilizado; Inserção das unidades de competência, dos elementos de competência e dos padrões de desempenho nas primeiras colunas da matriz; Listagem das capacidades básicas, técnicas e de gestão que compõem cada elemento de competência, que devem listadas na linha superior da matriz; Escolha das capacidades fundamentais a serem avaliadas, considerando também o tipo de instrumento que será utilizado; Análise acurada das capacidades, eliminando aqueles que já estão inseridas na avaliação de outras listadas; Preenchimento do X da célula, em duas etapas: primeiro, analisando-se cada elemento de competência e escolhendo quais as capacidades necessárias à avaliação desse elemento; segundo, analisando-se a matriz por coluna, ou seja, a transversalidade de cada capacidade em relação a todos os elementos de competência listados; Escolha dos objetos de conhecimento a partir do desenho curricular, devendo ser listados e numerados na ordem em que se julgar mais conveniente; Substituição de cada X da matriz pelos números dos objetos de conhecimento que serão utilizados como meio para avaliação do desenvolvimento da respectiva capacidade para se atingir o elemento de competência a ela relacionado; Redação da definição constitutiva de cada construto a ser avaliado; Redação da definição operacional de cada construto a ser avaliado; Validação semântica da matriz; Revisão e reestruturação da matriz, se necessário.

40 40

41 41 METODOLOGIA E ANÁLISE DOS TESTES Avaliar os conhecimentos e capacidades dos alunos por meio de uma prova objetiva requer clareza de que se está avaliando algo abstrato e que não é passível de ser medido de forma direta. Para conhecer os objetos de caráter abstrato, traço latente, a Psicometria usa símbolos que apresentam parâmetros de avaliação. Esses parâmetros necessitam alcançar uma definição substantiva, não sendo suficiente seu entendimento em termos puramente estatísticos. Em Psicometria, duas vertentes apresentam contribuições no estudo de instrumentos de avaliação: a Teoria Clássica dos Testes (TCT), em que os parâmetros envolvidos são comportamentos e refletem as ações dos indivíduos; e a Teoria de Resposta ao Item (TRI) uma teoria mais moderna, cujos parâmetros referem-se também aos traços latentes. TCT Na avaliação interna, realizada em sala de aula, o professor, com base no planejamento pedagógico, pode utilizar vários instrumentos para avaliar o processo de aprendizagem dos alunos. Em geral, a nota atribuída a cada aluno resulta dos acertos e erros às questões propostas. Esse procedimento é próprio do que se denomina Teoria Clássica dos Testes (TCT). A TCT é uma representação simbólica dos fatores que influenciam as respostas dos indivíduos aos instrumentos de avaliação. Na TCT, há parâmetros que descrevem a distribuição das respostas dos indivíduos por meio de dois indicadores: dificuldade e discriminação.

42 42 composição dos cadernos i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i 171 cadernos, divididos em 19 blocos, com 15 itens cada, totalizando 285 itens. = 1 item No PROADE, diferentemente da avaliação interna, os testes são aplicados a um grande número de alunos e os resultados levam em consideração cada uma das capacidades presentes nas matrizes de referência para a avaliação. Outra diferença marcante são as unidades básicas componentes dos testes, os itens. Em sala de aula, cada questão de uma prova pode mobilizar diversas habilidades em sua resolução. Em um teste de proficiência, no entanto, cada item tem o objetivo de avaliar uma única habilidade. Os itens que compõem o teste do PROADE são elaborados dentro de critérios técnicos e pré- -testados, ou seja, previamente aplicados a amostras de alunos. Somente os itens que apresentaram boa qualidade pedagógica e estatística constituem a prova. A definição do número de itens é um ponto importante na composição dos testes do PROADE. Os instrumentos cognitivos devem conter tantos itens quantos forem necessários para que se produza uma medida abrangente de habilidades essenciais ao período de escolaridade avaliado. Os testes não podem ser excessivamente longos, pois isso inviabilizaria sua resolução pelo aluno. Para solucionar essa dificuldade, tem-se utilizado um tipo de planejamento de testes denominado Blocos Incompletos Balanceados (BIB).