CRITÉRIOS PARA ATRIBUIÇÃO DE CONCEITOS AOS CURSOS:

Transcrição

1 CRITÉRIOS PARA ATRIBUIÇÃO DE CONCEITOS AOS CURSOS: UM ESTUDO EUGÊNIA MARIA REGINATO CHARNET Ph.D. em Estatística Aplicada pela Universidade da Califórnia Brasília, dezembro de 2000 Texto elaborado com a colaboração da equipe técnica da Diretoria de Avaliação do Ensino Superior INEP/MEC. 1

2 Assessor especial Jocimar Archangelo Coordenadores-gerais Orlando Pilati Sheyla Carvalho Lira Equipe técnica Adriana dos Santos Oliveira Ana Maria de Gois Rodrigues Andréa Oliveira de Souza Silva Cláudio Medeiros Leopoldino Giovanni Silva Paiva José Ailton Alencar Andrade Lúcia Helena Pulcherio de Medeiros Margareth das Graças Reis Dantas Maria das Graças Moreira Costa Maria Terezinha Filgueira Galvão Neyara Kelna Bezerra de Aguiar Equipe de apoio César Ramos Pimentel Marlene Salgado de Souza Vera Lúcia Maria da Silva Consultores Antônio César Perri de Carvalho Eugênia Maria Reginato Charnet Luiz José de Macêdo Maria Mitsuko Okuda 2

3 INTRODUÇÃO O ENC, implantado gradualmente desde 1996, ao atingir em 2001 a quase maioria dos graduandos e vinte áreas, já se encontra consolidado. Dentro de uma política de avaliação dos cursos de graduação do País, o ENC tem se constituído um instrumento de extrema importância para o diagnóstico das condições dos graduandos. Dentro da concepção em que foi criado, além de fornecer subsídios para diversas análises específicas a cada curso, através do desempenho dos graduandos, o ENC busca discriminar os cursos de diferentes níveis de desempenho em cada ano de sua aplicação. O critério adotado para a classificação dos cursos nos conceitos tem sido questionado em eventos variados e nos Seminários Para melhorar, não basta avaliar, já efetivados em oito áreas. Nestas oportunidades, algumas IES têm encaminhado propostas sobre a revisão dos critérios adotados. O propósito deste estudo é apresentar simulações com base em novos critérios para atribuição dos conceitos aos cursos no Exame. 3

4 4

5 ATRIBUIÇÃO DOS CONCEITOS Desde o primeiro Exame, uma grande preocupação, que tem sido constante, diz respeito à utilização dos resultados e às interpretações que podem ser feitas a partir destes. A idéia de simplesmente apresentar os resultados dos desempenhos de cada um dos cursos foi evitada para que não fossem estimuladas as comparações individuais, mas sim evidenciada a diferença entre grupos de instituições. Desta forma, a opção por atribuição de conceitos pareceu, em princípio, a mais adequada, separando os cursos em grupos distintos segundo seus desempenhos. Para alcançar o objetivo de identificar grupos distintos quanto ao desempenho, estes grupos foram constituídos abrangendo, respectivamente, os 30% de melhor desempenho, os 40% de desempenho médio e os 30% de desempenho mais fraco. Essa distribuição tomou como base o princípio, já bastante conhecido na análise de itens, que, no estudo da discriminação de um item, considera o desempenho dos grupos superior e inferior usualmente os 27% com melhores desempenhos e os 27% com desempenhos mais fracos, respectivamente. A partir deste princípio, com os desempenhos das instituições já ordenados, foram constituídos três grandes grupos, determinados pelos percentis 30 e 70. Dada a heterogeneidade ainda encontrada nos dois grupos extremos, foram estabelecidas, então, cinco faixas para atribuição dos conceitos, dividindo-se cada um dos grupos extremos em dois. A atribuição dos conceitos no ENC ficou estabelecida a partir dos grupos determinados pelos percentis 12, 30, 70 e 88. Desta forma, aos 12% das instituições com desempenhos mais fracos atribui-se o conceito E, aos 18% seguintes, o conceito D, aos 40% com desempenho médio, o conceito C, e os conceitos B e A são atribuídos aos 18% e 12% com desempenhos mais altos, respectivamente. Este critério, embora tenha se mostrado instrumento adequado para a discriminação de diferentes cursos, tem sido apontado recorrentemente, por setores da Comunidade Acadêmica, nos diversos seminários promovidos pelo Inep/MEC, como insatisfatório para detectar a desejável evolução da qualidade do Sistema, uma vez que estabelece percentis fixos para a atribuição dos conceitos; deveria ser ele, então, aplicado durante um certo período, para que, a partir de constantes estudos, pudesse ser estabelecida alguma forma alternativa que se mostrasse mais apropriada. 5

6 6

7 ANÁLISE DO CRITÉRIO ATUAL PARA ATRIBUIÇÃO DE CONCEITOS Visando ao aperfeiçoamento do Sistema, a equipe de Estatística do Inep vem examinando as diversas sugestões apresentadas por diferentes interessados no processo e analisando o impacto de diferentes critérios na atribuição dos conceitos. Na maioria das vezes, as mudanças eram praticamente inexistentes para alguns critérios e, em alguns casos, as alterações provocavam mudanças absolutamente inadequadas, como um percentual muito alto de conceito C e percentuais muito baixos (quase nulos) de conceito E ou A invalidando, assim, a idéia de discriminar os diferentes desempenhos das instituições. Neste ponto, faz-se necessária uma análise mais detalhada de como ocorre a atribuição dos conceitos segundo o comportamento do desempenho dos cursos em cada Exame, ou seja, a partir das distribuições das notas obtidas pelas IES. O desempenho do curso é expresso pela média das notas de seus alunos. E, portanto, os percentis desta distribuição determinam os grupos que deverão receber os conceitos de A a E. Para melhor compreensão das implicações dos diferentes critérios, é necessário analisar as diferentes formas desta distribuição e as implicações do critério de atribuição dos conceitos, dependendo da forma desta distribuição. a) Distribuições em forma de sino aproximadamente normais As análises das distribuições das notas dos cursos ao longo destes anos têm demonstrado que um grande número delas apresenta forma de sino, ou seja, podem ser consideradas como distribuições aproximadamente normais. Essa forma de distribuição é bastante conhecida (também chamada de Gaussiana ou curva de Gauss) e apresenta certas características e propriedades, como a própria forma (de sino), a simetria em torno da média onde ocorre o pico da distribuição, uma maior proporção de observações concentradas em torno da média e proporções menores e iguais de observações muito abaixo ou muito acima da média, como mostra a Figura 1. 7

8 Figura 1: Distribuição Normal A curva (ou função densidade de probabilidade), como é mostrada acima, possibilita determinar probabilidades de a variável com tal distribuição assumir valores em intervalos de interesse. Por exemplo, nessa ilustração, a área entre os pontos a e b representa a probabilidade P[a < X < b]. Usualmente, o histograma correspondente a um conjunto de observações a partir das freqüências, ou freqüências relativas das observações, dá uma idéia aproximada da forma da distribuição, sendo a área do histograma igual a 1, ou seja, representando 100% das observações. Nos casos em que a distribuição das notas dos cursos (médias dos graduandos) tem aproximadamente esta forma, o critério atual, fixando percentis, é equivalente ao critério que fixa os intervalos a partir da média e do desvio-padrão da distribuição como podemos observar no Quadro 1 as áreas sob a curva normal nos intervalos correspondentes. Quadro 1: Áreas sob a curva Normal para alguns intervalos INTERVALO ÁREA (< (µ 1,17499σ) ) (p12) 0,12 (12%) ( µ 1,17499σ ; µ 0,52440σ ) (p30) 0,18 (18%) ( µ 0,52440σ ; µ + 0,5244σ ) (p70) 0,40 (40%) ( µ + 0,5244σ ; µ + 1,17499σ ) 0,18 (18%) ( > µ + 1,17499σ ) (p88) 0,12 (12%) Conforme se verifica no quadro acima, fixar os percentis 12, 30, 70 e 88, nesta situação, é equivalente a determinar as faixas de conceitos a partir de intervalos em torno da média e de um certo número de desvios-padrão. Ou seja, o percentil 12 8

9 corresponde, em uma distribuição Normal, ao ponto -1,17499 ; o percentil 30, ao ponto -0,52440 ; o percentil 70, ao ponto +0,52440 ; e, finalmente, o percentil 88 corresponde ao ponto +1, O Quadro 2 apresenta outros valores para diferentes intervalos da curva Normal. Quadro 2: Áreas sob a curva Normal para intervalos ( µ ± kσ ), para diferentes valores de k INTERVALO Probabilidade INTERVALO Probabilidade ( µ ± 1,0σ ) 0, (- ; µ - 1,0 σ ) ou (µ +1,0 σ ; + ) 0,15866 ( µ ± 1,5σ ) 0, (- ; µ - 1,5 σ ) ou (µ +1,5 σ ; + ) 0,06681 ( µ ± 1,64σ ) 0,90003 (- ; µ - 1,64 σ ) ou (µ +1,64 σ ; + ) 0,04998 ( µ ± 1,96σ ) 0, (- ; µ 1,96 σ ) ou (µ +1,96 σ ; + ) 0,025 ( µ ± 2,0σ ) 0, (- ; µ - 2,0 σ ) ou (µ +2,0 σ ; + ) 0,02275 ( µ ± 2,5σ ) 0, (- ; µ - 2,5 σ ) ou (µ +2,5 σ ; + ) 0,00621 ( µ ± 3,0σ ) 0,9973 (- ; µ - 3,0 σ ) ou (µ +3,0 σ ; + ) 0,00135 ( µ ± 3,0σ ) 0,99954 (- ; µ - 3,5 σ ) ou (µ + 3,5 σ ; + ) 0,00023 Outro resultado importante, válido para distribuições aproximadamente normais ou em forma de sino, estabelece o seguinte: Quadro 3: Lei Empírica Lei Empírica Intervalo Aproximadamente ( µ ± 1,0σ ) 68% ( µ ± 2,0σ ) 95% ( µ ± 3,0σ ) 99% Ou seja: espera-se que, nas distribuições em forma de sino, aproximadamente 68% das observações se encontrem no intervalo entre 1 desvio-padrão (d.p.) abaixo e acima da média, 95% delas, em torno de 2 d.p. da média e, praticamente, todas as observações se encontrem no intervalo de 3 d.p. da média. Assim, verifica-se que, no caso de distribuições aproximadamente normais, a atribuição dos conceitos, da forma como é feita, é equivalente à determinação dos intervalos a partir dos d.p. em torno da média, e que os percentuais são perfeitamente razoáveis, uma vez que, pela simetria com proporções aproximadamente iguais nas caudas, é adequado atribuir-se a mesma proporção de conceitos para as faixas 9

10 extremas e menor do que a proporção de conceitos na faixa central, ou seja, 40%. Por esta razão, o critério que fixa as faixas a partir da média e do d.p. da distribuição, quando comparado com o critério atual, não modifica significantemente a distribuição dos conceitos. b) Distribuições assimétricas Vimos que, quando a distribuição das notas dos cursos é aproximadamente normal ou pelo menos em forma de sino e com as características já mencionadas, podemos modificar o critério atual, fixando-se os intervalos a partir da média e do d.p da distribuição, e os resultados são praticamente os mesmos. Ou seja, podemos propor o seguinte critério alternativo: calcular a média e o desvio-padrão da distribuição dos desempenhos dos cursos e, a partir destes valores, atribuir o conceito E aos cursos com desempenhos abaixo de 1 desvio-padrão da média; atribuir o conceito D aos cursos cujos desempenhos estiverem no intervalo entre 1 e 0,5 desvio-padrão abaixo da média; atribuir o conceito C aos cursos que tiverem seus desempenhos no intervalo de 0,5 desvio-padrão em torno da média; aos cursos com desempenhos entre 0,5 e 1 desvio-padrão acima da média, atribuir o conceito B; finalmente, aos cursos com desempenhos acima de 1 desvio-padrão da média, atribuir o conceito A. O Quadro 4, a seguir, resume esta proposta. Quadro 4: Proposta para atribuição dos conceitos INTERVALO ÁREA CONCEITO ( µ 1,0σ) 0, (15,87%) E (µ 1,0 σ ; µ 0,5σ] 0, (15%) D (µ 0,5 σ ; µ + 0,5σ) 0, (38%) C [µ + 0,5 σ ; µ + 1,0σ) 0, (15%) B ( µ + 1,0σ) 0, (15,87%) A 10

11 CONSIDERAÇÕES SOBRE TIPOS DE DISTRIBUIÇÕES No caso de distribuições assimétricas, as proporções de observações nas caudas não são iguais, como no caso da distribuição Normal, e, portanto, não é perfeitamente adequado que se atribua o mesmo número de conceitos para os grupos extremos. Embora esta situação não seja a mais comum nestes anos de realização do ENC, entendemos que o momento parece apropriado para esta revisão, uma vez que se espera, com a consolidação do Exame, o aumento da proporção de cursos com desempenhos melhores, ou, em outras palavras, espera-se que a distribuição das notas dos cursos seja assimétrica à esquerda. Neste caso, a expectativa é ver este fato refletido na proporção de conceitos mais baixos menor do que a proporção de conceitos mais altos. Por outro lado (na situação indesejável, porém possível para alguns cursos), pode ocorrer uma proporção menor de cursos com desempenho melhor do que aqueles com desempenhos mais fracos. Neste caso também gostaríamos de ver esta situação refletida na atribuição de conceitos, tendo um número de conceitos baixos superior ao de conceitos altos. Este novo critério contempla estas situações e, portanto, ao ser utilizado pelo ENC, espera-se que algumas alterações nos cursos que já realizaram o ENC pelo menos três vezes estejam refletidas nos resultados do Exame. Para ilustrar algumas das situações mencionadas e comparar a atribuição dos conceitos a partir do critério atual e do critério proposto, são apresentadas algumas situações possíveis em que praticamente não há mudanças nos conceitos atribuídos e outras em que o critério proposto se mostra mais adequado. 11

12 12

13 METODOLOGIA Considere-se, em um determinado ano, um conjunto de N graduandos de um mesmo curso, provenientes de k instituições, identificadas pelo seu código, onde k N =, sendo n i o número de graduandos da instituição i, i = 1, 2,..., k. i= 1 n i No caso do ENC, como o interesse está em discriminar os cursos de melhor desempenho daqueles de desempenho mais fraco, a referência é o curso da Instituição e, portanto, a distribuição em estudo é a distribuição das k notas (médias) através da qual pode-se determinar a posição do curso da instituição, relativa aos outros cursos participantes do ENC em determinado ano, e, a partir desta distribuição, fazer a atribuição dos conceitos. Quando se trata de avaliação, pode-se trabalhar com as notas brutas ou com notas obtidas a partir de diferentes transformações nas notas originais. Uma das transformações mais utilizadas é a linear, que torna a distribuição original em uma distribuição com média 500 e desvio-padrão 100, de maneira que a forma da distribuição original não seja alterada. Esta transformação é dada por: X µ Y = ; onde X: é a nota original, σο µ: é a média da distribuição das notas originais e σ: é o desvio-padrão da distribuição das notas originais. Transformações deste tipo implicam que a nota transformada, Y, corresponde à distância da média, medida em d.p. Por exemplo, uma nota padronizada como no modelo acima, em que Y = 650, significa que esta nota está situada a 1,5 d.p. acima da média da distribuição (com média = 500 e d.p. = 100). Uma nota Y = 400 está situada a 1 d.p. abaixo da média da distribuição. E assim por diante. 13

14 14

15 EXEMPLOS DE ALGUMAS SITUAÇÕES POSSÍVEIS ATRIBUIÇÃO DOS CONCEITOS O presente estudo compara o critério atual, que fixa percentis para determinar as faixas para atribuição dos conceitos, com um outro que determina as faixas a partir da média e do d.p. da distribuição das notas das instituições (segundo estudo). O critério proposto leva em conta a média e o d.p. da distribuição, da seguinte forma: Instituições com Notas abaixo de µ 1,0σ (inclusive) => E Instituições com Notas entre µ 1,0σ até µ 0,5σ (inclusive) => D Instituições com Notas entre µ 0,5σ até µ + 0,5σ => C Instituições com Notas entre µ + 0,5σ (inclusive) até µ + 1,0σ => B Instituições com Notas acima de µ + 1,0σ (inclusive) => A O critério atual, fixando os percentis, atribui o mesmo percentual de conceitos para as faixas extremas, ou seja, as duas faixas das caudas que correspondem a 30% e depois são subdivididas. Quando a distribuição é aproximadamente simétrica, este critério é adequado, porém, quando ocorre assimetria, há uma certa distorção nesta atribuição para algumas faixas. O critério proposto, utilizando a média e o d.p. da distribuição, atribui percentuais diferentes, conforme a assimetria da distribuição. Consideremos alguns exemplos de conjuntos de cursos com diferentes perfis. Exemplo 1: Suponhamos 60 cursos com um total de graduandos. Portanto, N = e k = 60. O estudo de interesse refere-se aos cursos, objeto principal do ENC. Assim, interessa o desempenho de cada um dos 60 cursos. Para tanto, após identificados os 15

16 graduandos do curso i, a média dos n i graduandos deste curso é calculada e passa a ser, então, a referência do desempenho daquele curso. Suponha-se que os resultados, considerando-se as notas brutas dos graduandos (pode-se igualmente trabalhar com as notas já padronizadas), expressem as médias dos cursos conforme o quadro abaixo: Quadro 5: Médias dos 60 Cursos Curso (i) Média Curso (i) Média 1 34, ,9 2 27, ,7 3 31, ,7 4 37, ,1 5 44, ,9 6 27,3 36 8,3 7 9, ,4 8 17, ,1 9 39, , , , , , , , , , , , , , ,8 46 4, ,6 47 9, ,6 48 7, ,6 49 9,8 20 9, , ,0 51 8, , , , , , ,7 25 9, , , ,7 27 6, , , , , , ,9 60 8,2 16

17 Esses dados são utilizados na comparação dos desempenhos dos 60 cursos. A distribuição das notas (médias) dos cursos é que vai permitir a atribuição dos conceitos a cada um deles. Neste exemplo, a distribuição é a seguinte: Figura 2: Análise do desempenho dos 60 cursos Neste exemplo, o histograma revela uma assimetria à direita, ou seja, nota-se uma grande concentração de notas mais baixas em proporção maior do que de notas nas faixas mais altas. Dada essa assimetria, não parece adequado atribuir-se a mesma proporção de conceitos A e B e conceitos D e E. Aplicando-se o critério atual e o critério proposto, a comparação dos conceitos atribuídos está no Quadro 6. As alterações aparecem em negrito: Quadro 6: Comparação dos dois critérios Curso (i) Média % (acumulado) Conceito Atual Conceito Proposto 46 4,1 1,67 E E 27 6,3 3,33 E E 48 7,6 5,00 E E 51 8,0 6,67 E E 60 8,2 8,33 E E 36 8,3 10,00 E E 25 9,1 11,67 E E 7 9,2 13,33 D E 47 9,3 15,00 D E 17

18 20 9,8 16,67 D E 20 9,8 18,33 D E 17 10,6 20,00 D E 22 16,7 21,67 D D 30 16,9 23,33 D D 52 17,5 25,00 D D 8 17,6 26,67 D D 10 17,7 28,33 D D 38 18,1 30,00 C D 35 20,9 31,67 C D 23 21,7 33,33 C D 39 22,4 35,00 C C 55 22,9 36,67 C C 29 23,5 38,33 C C 34 24,1 40,00 C C 42 24,2 41,67 C C 2 27,3 43,33 C C 2 27,3 45,00 C C 18 27,6 46,67 C C 40 29,1 48,33 C C 26 29,8 50,00 C C 3 31,3 51,67 C C 32 31,7 53,33 C C 32 31,7 55,00 C C 13 32,2 56,67 C C 28 32,5 58,33 C C 24 33,3 60,00 C C 59 33,4 61,67 C C 33 34,7 63,33 C C 1 34,9 65,00 C C 4 37,9 66,67 C C 9 39,2 68,33 C C 12 40,5 70,00 B C 56 42,7 71,67 B B 45 43,4 73,33 B B 5 44,2 75,00 B B 58 44,6 76,67 B B 16 44,8 78,33 B B 44 44,9 80,00 B B 11 45,1 81,67 B B 18

19 31 47,9 83,33 B B 21 49,0 85,00 B B 54 49,7 86,67 B B 15 51,5 88,33 A B 37 52,4 90,00 A A 43 57,7 91,67 A A 19 63,6 93,33 A A 57 69,0 95,00 A A 41 80,5 96,67 A A 53 80,8 98,33 A A 14 88,9 100,00 A A Verifica-se que cinco cursos passam de conceito D para E, três cursos passam de conceito C para D e um curso passa de B para A, refletindo melhor o desempenho desses grupos de cursos. O diagrama de pontos ilustrando a distribuição de notas (Figura 3) permite uma comparação da adequação da atribuição dos conceitos pelos dois critérios. Figura 3: Diagrama de pontos das médias Exemplo 1 19

20 Em resumo, a comparação dos dois critérios (atual e proposto) encontra-se no Quadro 7. Quadro 7: Comparação entre os dois critérios (atual e proposto) CRITÉRIO ATUAL CONCEITOS TOTAL A B C D E (%) A (13,33) B (18,33) C (40,00) D (16,67) E (11,67) TOTAL (%) (11,67) (18,33) (36,67) (13,33) (20,00) C R I T É R I O P R O P O S T O Conceito Atual Conceito Proposto 8 A 7 A 11 B 11 B 24 C 22 C 10 D 8 D 7 E 12 E N = 60 N = 60 Neste exemplo, as alterações foram maiores nas faixas da esquerda, por apresentarem uma maior concentração de notas. Esta situação exemplifica aqueles casos em que não parece ser adequada a ocorrência de proporções iguais de conceitos A e B e de conceitos D e E; além disso, a proporção de conceitos C parece estar mais condizente com o critério proposto do que com o critério atual. 20

21 Exemplo 2: Consideremos agora o mesmo número de cursos que no exemplo 1, apresentando o histograma como na Figura 4. Note-se que, pelo critério atual, o número de cursos com conceitos A, B, C, D e E será o mesmo que no exemplo anterior, embora as distribuições sejam bastante diferentes. Figura 4: Histograma das médias Exemplo 2 As notas dos cursos e a atribuição dos conceitos segundo os dois critérios encontram-se no Quadro 8. Quadro 8: Comparação entre os critérios Médias %acum. Atual Proposto 1,10 1,67 E E 9,17 3,33 E E 9,48 5,00 E E 21,01 6,67 E E 26,44 8,33 E E 32,30 10,00 E E 37,63 11,67 E E 38,50 13,33 D D 40,28 15,00 D D 41,00 16,67 D D 42,07 18,33 D D 44,92 20,00 D D 45,08 21,67 D D 45,24 23,33 D D 21

22 45,38 25,00 D D 45,84 26,67 D D 46,56 28,33 D D 47,30 30,00 C D 49,46 31,67 C C 50,78 33,33 C C 52,07 35,00 C C 55,07 36,67 C C 55,29 38,33 C C 56,58 40,00 C C 56,71 41,67 C C 57,49 43,33 C C 57,85 45,00 C C 58,29 46,67 C C 58,35 48,33 C C 58,70 50,00 C C 60,17 51,67 C C 60,87 53,33 C C 62,38 55,00 C C 62,68 56,67 C C 62,72 58,33 C C 65,83 60,00 C C 65,87 61,67 C C 66,53 63,33 C C 67,11 65,00 C C 67,62 66,67 C C 68,29 68,33 C B 69,07 70,00 B B 71,95 71,67 B B 72,28 73,33 B B 72,39 75,00 B B 72,52 76,67 B B 73,14 78,33 B B 73,32 80,00 B B 22

23 79,39 81,67 B A 80,22 83,33 B A 80,23 85,00 B A 80,66 86,67 B A 80,83 88,33 A A 80,91 90,00 A A 81,68 91,67 A A 81,77 93,33 A A 82,04 95,00 A A 82,41 96,67 A A 83,72 98,33 A A 85,94 100,00 A A Neste exemplo, as alterações ocorrem principalmente na atribuição dos conceitos aos cursos cujas médias encontram-se na cauda superior. Aqui também, como no primeiro caso, dada a forma da distribuição, não parece adequado o critério que atribui a mesma proporção de conceitos A e B e de conceitos D e E. Com a atribuição do critério proposto, um curso passa de C para D, outro, de C para B e quatro passam de B para A, refletindo melhor a distribuição de notas apresentada pelos cursos. A Figura 4 apresenta o diagrama de pontos das médias dos cursos, e no Quadro 9 encontra-se o resumo da comparação entre os dois critérios aplicados neste exemplo. 23

24 Figura 4: Diagrama de Pontos das médias Exemplo 2 Quadro 9: Comparação entre os dois critérios (atual e proposto) CRITÉRIO ATUAL CONCEITOS TOTAL A B C D E (%) A (20,00) B (13,33) C (36,67) D (18,33) E (11,67) TOTAL (%) (13,33) (18,33) (40,00) (16,67) (11,67) C R I T É R I O P R O P O S T O Conceito Atual Conceito Proposto 8 A 12 A 11 B 8 B 24 C 22 C 10 D 11 D 7 E 7 E N = 60 N = 60 24

25 Exemplo 3: Consideremos agora N = 250 cursos, com a distribuição e estatísticas, respectivamente, expressas na Figura 5 e no Quadro 10: Figura 5: Histograma das médias dos 250 cursos Exemplo 3 Quadro 10: Estatísticas das Médias dos 250 cursos Exemplo 3 N Média Mediana D.P. Mínimo Máximo Q1 Q ,6 77,6 12,5 29,1 97,3 68,5 85,5 Nota-se que, neste exemplo, a forma da distribuição das notas dos 250 cursos é como a do exemplo anterior, ou seja, é assimétrica à esquerda, com maior concentração de notas mais altas do que de notas baixas, com 50% das notas entre 68,5 e 85,5. Neste caso, também não parece adequado atribuir a mesma proporção de conceitos para desempenhos mais altos e para desempenhos mais baixos, uma vez que há uma proporção bem menor de médias baixas do que de médias altas. Considerando os dois critérios, a atribuição dos conceitos é a seguinte: Quadro 11: Atribuição dos Conceitos segundo os dois critérios (CONTINUA) MÉDIA ATUAL PROP MÉDIA ATUAL PROP MÉDIA ATUAL PROP 29,1 E E 55,6 E E 63,8 D D 40,5 E E 55,8 E E 64,1 D D 41,5 E E 55,8 E E 64,4 D D 42,2 E E 56,1 E E 64,6 D D 45,9 E E 56,2 E E 64,8 D D 46,1 E E 57,4 E E 64,8 D D 46,3 E E 58,1 E E 65,2 D D 25

26 (CONTINUAÇÃO) 47,0 E E 59,9 E E 65,2 D D 48,3 E E 59,9 E E 65,2 D D 48,9 E E 60,3 D E 65,2 D D 50,2 E E 60,4 D E 65,3 D D 50,6 E E 60,9 D E 65,8 D D 50,9 E E 60,9 D E 65,9 D D 52,6 E E 61,9 D E 66,4 D D 53,5 E E 62,0 D E 66,8 D D 54,1 E E 62,4 D E 66,9 D D 54,4 E E 62,5 D E 67,6 D D 54,7 E E 62,6 D E 67,8 D D 55,3 E E 63,1 D E 67,8 D D 55,5 E E 63,6 D D 68,0 D D 68,4 D D 74,2 C C 77,6 C C 68,5 D D 74,2 C C 77,9 C C 68,6 D D 74,5 C C 78,2 C C 69,1 D D 74,7 C C 78,2 C C 69,1 D D 75,0 C C 78,2 C C 69,3 D D 75,0 C C 78,3 C C 69,6 D C 75,1 C C 78,3 C C 69,8 D C 75,1 C C 78,3 C C 69,9 D C 75,3 C C 78,5 C C 70,1 D C 75,4 C C 78,5 C C 70,2 D C 75,5 C C 78,6 C C 70,3 D C 75,5 C C 78,8 C C 70,7 D C 75,5 C C 78,9 C C 71,0 C C 75,7 C C 79,1 C C 71,0 C C 75,7 C C 79,2 C C 71,1 C C 75,9 C C 79,3 C C 71,1 C C 76,0 C C 79,3 C C 71,2 C C 76,2 C C 79,4 C C 71,3 C C 76,2 C C 79,9 C C 71,3 C C 76,4 C C 79,9 C C 71,3 C C 76,5 C C 79,9 C C 71,7 C C 76,6 C C 80,0 C C 26

27 (CONTINUAÇÃO) 71,8 C C 76,8 C C 80,0 C C 71,9 C C 76,8 C C 80,0 C C 72,0 C C 76,9 C C 80,0 C C 72,0 C C 77,0 C C 80,1 C C 72,3 C C 77,2 C C 80,2 C C 72,4 C C 77,2 C C 80,3 C C 72,9 C C 77,3 C C 80,4 C C 73,1 C C 77,4 C C 80,5 C C 73,2 C C 77,4 C C 80,5 C C 73,5 C C 77,5 C C 80,5 C C 74,0 C C 77,6 C C 80,6 C C 80,7 C C 85,9 B B 89,6 A A 81,3 C C 85,9 B B 89,8 A A 81,4 C C 86,0 B B 90,0 A A 81,5 C C 86,2 B B 90,1 A A 81,6 C C 86,3 B B 90,3 A A 81,8 C C 86,4 B B 90,4 A A 82,0 C B 86,4 B B 90,4 A A 82,0 C B 86,6 B B 90,8 A A 82,1 C B 86,6 B B 91,0 A A 82,1 C B 86,9 B B 91,2 A A 82,2 C B 86,9 B B 91,3 A A 82,2 C B 87,0 B B 91,3 A A 82,4 C B 87,1 B B 91,5 A A 82,5 C B 87,2 B B 91,5 A A 82,7 C B 87,3 B B 92,3 A A 83,1 B B 87,4 B B 92,7 A A 83,3 B B 87,6 B B 92,7 A A 83,5 B B 87,7 B B 93,0 A A 83,5 B B 88,1 B A 93,2 A A 83,5 B B 88,1 B A 94,1 A A 27

28 (CONCLUSÃO) 83,7 B B 88,2 B A 94,2 A A 84,2 B B 88,2 B A 94,5 A A 84,3 B B 88,4 B A 95,7 A A 84,4 B B 88,4 B A 96,7 A A 84,5 B B 88,7 B A 97,0 A A 85,1 B B 88,8 B A 97,1 A A 85,4 B B 88,9 B A 97,3 A A 85,4 B B 89,0 B A 85,5 B B 89,1 A A 85,5 B B 89,4 A A 85,6 B B 89,5 A A 85,6 B B 89,6 A A Nota-se que a proporção de A aumenta de 12,40% para 16,40% e que a proporção de D diminui, aumentando a proporção de E, como o esperado. Resumindo, ocorrem as seguintes alterações: Quadro 12: Comparação entre os dois critérios (atual e proposto) CONCEITOS CRITÉRIO ATUAL A B C D E TOTAL (%) C A R (16,40) I B T É (17,60) R I C (39,60) O D P R O P O S T O (10,80) E (15,60) TOTAL (%) (12,40) (18,00) (40,40) (17,60) (11,60) 28

29 Conceito Atual Conceito Proposto 31 A 41 A 45 B 44 B 101 C 99 C 44 D 27 D 29 E 39 E N = 250 N = 250 O diagrama de pontos correspondente às médias desses cursos pode ser visto na Figura 6. Figura 6: Diagrama de Pontos das médias Exemplo 3 Exemplo 4: Consideremos como último exemplo o mesmo número de cursos, N = 250, com distribuição das médias assimétrica à direita, como mostra o histograma abaixo (Figura 7). Figura 7: Histograma das médias dos 250 cursos Exemplo 4 29

30 Quadro 13: Estatísticas das Médias dos 250 cursos Exemplo 4 N Média Mediana D.P. Mínimo Máximo Q1 Q ,9 12,4 11,8 0,0 60,9 5,5 21,5 Nota-se neste exemplo uma situação oposta à do exemplo anterior. A forma da distribuição das notas dos 250 cursos é assimétrica à direita, com maior concentração de notas mais baixas do que de notas altas. As notas variam de 0,0 a 60,9, com 50% delas entre 5,5 e 21,5. Neste caso, também não parece adequado atribuir a mesma proporção de conceitos para desempenhos mais altos e para desempenhos mais baixos, uma vez que há uma proporção bem menor de médias altas do que de médias baixas. A Figura 8 mostra o diagrama de pontos para as médias desses 250 cursos, e o Quadro 14 apresenta a comparação entre os dois critérios. Figura 8: Diagrama de Pontos das médias Exemplo 4 30

31 Quadro 14: Comparação entre os dois critérios (atual e proposto) CRITÉRIO ATUAL CONCEITOS TOTAL A B C D E (%) A (16,00) B (10,40) C (37,60) D (19,60) E (16,40) TOTAL (%) (12,40) (18,00) (40,00) (18,00) (11,60) C R I T É R I O P R O P O S T O Conceito Atual Conceito Proposto 31 A 40 A 45 B 26 B 100 C 94 C 45 D 49 D 29 E 41 E N = 250 N = 250 Neste exemplo, com a utilização do critério proposto, ocorreram as seguintes alterações: nove cursos passaram de B para A, dez cursos, de B para C, dezesseis, de C para D e doze, de D para E, refletindo melhor a distribuição das médias dos cursos. 31

32 32

33 CONCLUSÃO A partir dos exemplos apresentados, pode-se verificar que o critério proposto traz algumas vantagens com relação ao atual, especialmente nos casos de distribuições assimétricas. As simulações com os casos reais foram também realizadas para os cursos que participaram do ENC nos anos anteriores, e as conclusões são semelhantes às apresentadas aqui. 33

34 34

35 LEGENDA PARA OS GRÁFICOS Os gráficos apresentados fornecem o histograma dos dados comparado com uma curva Normal, com média e variância iguais às dos dados observados. Neste caso, os dados são as médias das instituições para cada curso no ano de Legenda para o gráfico Descriptive Statistics (estatísticas descritivas) Variable: nome dado à variável em estudo. Neste caso, definimos como Média_ano_x, representando a média das instituições no ano para o curso x. Por exemplo: Média_99_1 refere-se ao conjunto das médias das instituições no ano de 1999, do curso 1 (Administração) Anderson-Darling Normality Test: Teste de normalidade utilizado A-Squared: o valor da estatística do teste P-value: valor crítico, que indica se o valor encontrado é estatisticamente significante para o teste em questão. Mean: Média Aritmética StDev: Desvio-Padrão Variance: Variância (o quadrado do desvio-padrão) Skewness: Medida da assimetria de uma distribuição, ou a tendência de uma das caudas da distribuição ser mais pesada do que a outra. Um valor negativo indica assimetria à esquerda e um valor positivo indica uma assimetria à direita, embora um valor igual a zero não indique necessariamente simetria da distribuição. Kurtosis: Medida de quanto a distribuição difere da distribuição Normal. Um valor negativo tipicamente indica uma distribuição com caudas mais pesadas do que as caudas da distribuição Normal. Um valor positivo indica uma distribuição com caudas menos pesadas do que as caudas da Normal. N: Número total de observações. Minimum: Valor mínimo observado. 1st Quartile: Primeiro quartil, ou Q1; o 25 º percentil dos dados 25% das observações estão abaixo deste valor (Q1). 35

36 3rd Quartile: Terceiro quartil, ou Q3; o 75 º percentil dos dados 75% das observações estão abaixo deste valor. Median: Mediana; o 50 º percentil dos dados 50% das observações estão abaixo deste valor. Os demais dados referem-se aos intervalos de confiança para a média (µ), para o desvio-padrão (σ) e para a Mediana. Não são de interesse para este estudo. 36