UMA ABORDAGEM BAYESIANA PARA ANÁLISE DE DADOS INTERVALARES

UMA ABORDAGEM BAYESIANA PARA ANÁLISE DE DADOS INTERVALARES Ana Cláudia Oliveira de MELO Ronei Marcos de MORAES Marinho Gomes de ANDRADE FILHO RESUMO: Neste trabalho é abordado o problema de avaliação da qualidade de ensino, adotando como respostas dados intervalares. O objetivo do trabalho é fazer inferência bayesiana das médias intervalares considerando densidades a priori construídas com base nas incertezas refletidas nos intervalos fornecidos como respostas. Para isso adota-se um modelo potência exponencial para as médias intervalares e as inferências bayesianas dos parâmetros populacionais são calculadas usando algoritmos de simulação de Monte Carlo em Cadeia de Markov (MCMC). A metodologia proposta é aplicada a um conjunto de questionários respondido por alunos do curso de Psicologia da Universidade Federal da Paraíba (UFPB) visando avaliar o desempenho do professor de estatística da referida turma. PALAVRAS-CHAVE: Avaliação de ensino, dados intervalares, inferência bayesiana, simulação de Monte Carlo. Introdução Uma técnica eficiente de avaliação da qualidade de ensino de uma entidade (escola, faculdade ou universidade) é de grande interesse não só para as entidades como para os setores governamentais que fomentam a educação e a pesquisa no país. No entanto essas avaliações, quando feitas através de preenchimento de questionários, tornam-se di- Departamento de Estatística, Universidade Federal da Paraíba, CEP 5859-9, João Pessoa, PB, Brasil. E-mail: anaclaudia@de.ufpb.br/ronei@de.ufpb.br Departamento de Ciências de Computação e Estatística, Universidade de São Paulo (USP), CEP 356-97, São Carlos, SP, Brasil. E-mail: marinho@icmc.sc.usp.br Rev. Mat. Estat., São Paulo, (): 35-47, 3 35

fíceis devido às dificuldades de se expressar as respostas de forma explícita e objetiva. Até mesmo quando se solicita a um aluno que atribua uma nota ao nível de preocupação do professor com o aluno, esta nota pode não refletir por completo a opinião do aluno. Em avaliações da qualidade de ensino ministrado por questionários, várias abordagens foram tentadas visando a objetividade e qualidade dos dados a serem fornecidos pelos alunos em Moraes e Melo, (993a), uma análise gráfica é proposta e em Moraes e Melo (993b) vários índices avaliativos são revistos. Neste trabalho adota-se a proposta de Moraes (999) que utiliza uma escala definida sobre um segmento de reta, com comprimento fixo para todas as questões e com indicações sobre o significado das extremidades direita e esquerda, onde os valores próximos a extremidade esquerda, revelam atitudes bastante positivas do professor, e os valores próximos a extremidade direita indicam atitudes negativas. Como as distâncias são usualmente medidas da esquerda para a direita, quanto mais próximo do ideal (à esquerda), menor será a distância obtida. O uso destas escalas permitiu observar um índice de respostas válidas muito próximo a % (Moraes, 999), fato que pode ser atribuído a maior liberdade que o aluno teve para expressar suas respostas, por não apresentar níveis explícitos de reposta, mas apenas dois extremos que expressam sua positividade e negatividade. As escalas nãonuméricas eliminam também a dúvida sobre a quantificação dos níveis entre um intervalo e outro observado, por exemplo, nas escalas do tipo likert (Pasquali, 998). Neste trabalho utiliza-se um segmento de reta onde todos os valores à esquerda revelam muita preocupação e valores à direita indicam pouca preocupação do professor com o aluno. ( + preocupado) ( - preocupado) O aluno pode responder as questões da maneira que se sentir mais a vontade, colocando sobre a escala uma resposta pontual ou um intervalo. Assim, parte-se do princípio de que a nota que o aluno atribui a determinada questão está contida no intervalo por ele indicado e o intervalo é então considerado como uma informação sobre a incerteza do aluno sobre a nota que ele daria à questão e consideramos como uma amostra da nota atribuída pelo aluno, o ponto médio do intervalo. O objetivo deste trabalho é propor uma modelagem bayesiana para a 36 Rev. Mat. Estat., São Paulo, (): 35-47, 3

análise deste tipo de reposta. Isto é feito usando a faixa dos intervalos atribuídos pelos alunos como definição do domínio de uma densidade a priori triangular para a avaliação da nota atribuída ao professor e considerando um modelo potência exponencial (Box & Tiao, 973) para as médias intervalares. Na abordagem Bayesiana o uso do modelo potência exponencial com priori triangular leva a uma densidade a posteriori consideravelmente complexa, a qual sugere o uso dos algoritmos de simulação de Monte Carlo em Cadeia de Markov (MCMC) (Gilks, et al., 996) mais especificamente o algoritmo Metropolis-Hastings (Chib & Greenberg, 995). Neste trabalho as inferências bayesianas a posteriori são calculadas usando o algoritmo Metropolis-Hastings para gerar amostras da densidade a posteriori e todos os programas foram desenvolvidos em MATLAB 6.. A Modelagem dos dados Adotamos como modelo para as médias intervalares a densidade potência exponencial por ser essa uma densidade simétrica que contém um parâmetro que permite avaliar a curtose da densidade e tem como caso particular a distribuição normal. Com esse modelo inicia-se a modelagem bayesiana construindo a função de verossimilhança para as médias intervalares.. A função de verossimilhança Considerando { = ( y, y,, y ), < y < } y representando o vetor das médias dos intervalos, tendo função densidade potência exponencial, então a função de verossimilhança é definida como: n i n ( ) n n + β y θ L( y θ, σ, β ) = k σ exp ( ) σ i= onde :θ : é o parâmetro de locação da distribuição, < θ < ; σ : é o parâmetro escalar da distribuição, σ > ; β : é o parâmetro que indica a curtose da distribuição, < β e k + β = Γ+ + ( + β ) Rev. Mat. Estat., São Paulo, (): 35-47, 3 37

A vantagem do uso da densidade potência exponencial são as propriedades limites onde tem-se que: β : L( θ, σ, β y). Se β : L( θ, σ, β y). Se = β : L( θ, σ, β y). Se dist. Retangular (platicurtica); dist. Normal (mesocurtica); dist. T-student (leptocurtica). Neste trabalho assume-se que θ, σ e β são independentes. Essa consideração é feita porque θ representa o parâmetro de locação das médias enquanto σ e β são parâmetros de forma, sendo σ responsável pela variabilidade dos dados e β pela curtose da densidade.. As densidades a priori para θ, σ e β Considerou-se como priori para a média θ das respostas, uma densidade triangular simétrica com base nos extremos dos intervalos. f ( θ ) a + b αθ + β, a θ < = a + b α θ + β, θ b ( ) calculados de forma a garantir que ( ) onde : a seria o valor do menor limite inferior e b o valor do maior limite superior dentre todos os intervalos e os coeficientes são f θ seja uma densidade de probabilidade, assim temos: α = 4 /( b a ), α = α, β = α a e β = α b. A escolha dessa densidade a priori triangular é inspirada na metodologia fuzzy de tratamento desse tipo de problema (Klir & Yuan, 995). Para os parâmetros de forma do modelo, σ (variância) e β (curtose), adotou-se como priori uma densidade gama e uma betanegativa respectivamente: γ > ( ) σγ σ g σ σ e, onde : ( 3 ) γ, γ > c < β p β, onde : ( 4 ) c ( ) ( β ) 38 Rev. Mat. Estat., São Paulo, (): 35-47, 3

onde γ, e ( ) β γ e c são os hiperparâmetros das densidades a priori g ( σ ) p respectivamente. Fazendo γ, γ, tem-se densidades a priori não informativa para σ. O mesmo ocorre para β, fazendo c, teremos densidades a priori p ( β ) uniforme, não informativa..3 A densidade a posteriori para θ Com a hipótese de independência entre os parâmetros do modelo, a densidade a posteriori é obtida combinando-se a função de verossimilhança com as densidades a priori através do teorema de Bayes como segue: π ( θ σ, β y) L( θ, σ, β y) f ( θ ) g( σ ) p( β ), ( 5 ) uma amostra gerada da posteriori ( ) A inferência Bayesiana desses parâmetros considerando a função de perda quadrática consiste nos valores esperados dessa densidade a posteriori. Neste trabalho utiliza-se algoritmos de MCMC para gerar π θ, σ, β y a partir da qual calculamos as estimativas de Monte Carlo para esses parâmetros. A implementação do algoritmo Metropolis-Hastings considera um processo de Markov com espaço de estado igual ao espaço dos parâmetros e a densidade de equilíbrio do processo é suposta existir e ser igual a densidade a posteriori. Sob as condições de regularidade, uma trajetória do processo pode ser gerada considerando como núcleo de transição as densidades condicionais: ( θ σ, β,y) Ψ f ( θ ) π ( σ θ, β,y) Ψ p( β ) π ( β σ, θ,y) Ψg( σ ) ( 6 ) ( 7 ) π ( 8 ) onde: n n ( ) k + β y θ Ψ = exp σ σ i= e k + β = Γ + + ( + β ) Uma breve descrição do algoritmo Metropolis-Hastings é dada a seguir. Rev. Mat. Estat., São Paulo, (): 35-47, 3 39

3 O algoritmo de Metropolis-Hastings (M-H) Quando as distribuições condicionais a posteriori não são facilmente identificadas como tendo uma forma padrão (Normal, Gama, etc.), impossibilitando a geração direta de amostras a partir destas distribuições, usa-se o algoritmo de Metropolis-Hastings. A idéia básica é escrever a posteriori como o produto de duas funções: ( θ y) ψ ( θ ) Π ( θ ) p ( 9 ) onde Π ( θ ) será usada como núcleo de transição (probability of move) para gerar as amostras de θ, e em geral tem a forma de uma distribuição padrão. A função ψ ( θ ) é utilizada no teste de aceitação/rejeição do valor gerado. Passo : Defina o número de cadeias m, o número de iterações n em cada cadeia e uma função de transição Π ( θ ). Passo : Atribua m valores iniciais ao parâmetro e faça j =. j+ Passo 3: Obtenha os novos valores θ a partir da função de transição ( j j Π θ,θ ) +. Passo 4: Calcule a probabilidade de aceitação do novo valor j+ θ na iteração j ( ) j + ψ θ j ( j j + min ),, seψ ( ) ( θ ) > α θ, θ = j ψ θ, caso contrario Passo 5: Gere o valor u a partir de uma distribuição Uniforme[, ] e faça: j j j+ j+ θ,se u α( θ, θ ) θ = j+ θ, caso contrario j+ O valor gerado θ é aceito com probabilidade α ou rejeitado com probabilidade ( α ). Passo 6: Verifique se j k. Caso afirmativo, repita o Passo 3. Caso contrário, finalize as iterações. Passo 7: Verifique se a convergência ocorreu. Caso contrário, repita todo o processo a partir do Passo. 4 Rev. Mat. Estat., São Paulo, (): 35-47, 3

3. Verificação de convergência O diagnóstico (ou verificação) da convergência das cadeias de Markov é um tópico de grande importância. Existem diversas maneiras de proceder para realizar tal análise de convergência. Nesta trabalho, considerou-se um procedimento bastante simples de implementar, em que a convergência é avaliada por um valor escalar Rˆ (redução potencial da escala). Esse critério é conhecido como critério de Gelman e Rubin, e maiores detalhes são encontrados em Gelman e Rubin (99). Uma forma simples de verificar convergência é a utilização de várias cadeias em paralelo começando de diferentes pontos iniciais. Com isso, evita-se que as cadeias se concentrem em regiões em torno de modas locais (no caso de uma posteriori multimodal). A inspeção visual de similaridade entre as trajetórias das várias cadeias após um certo número de iterações é certamente um indício forte de convergência. Gelman e Rubin (99) formalizaram a idéia, de que as trajetórias das cadeias devem ser a mesma depois de convergirem, através do uso de técnicas de análise de variância. A idéia geral é testar se a dispersão dentre-cadeias é maior do que a dispersão entrecadeias. Isto equivale a dizer que: o histograma das cadeias como um todo deve ser similar aos histogramas das cadeias tomadas individualmente. Considerando m cadeias que evoluem em paralelo e uma função ( ) ( ) ( n ) real t(θ). Têm-se m trajetórias de tamanho n { ti,ti,,ti }, i =,..., m para t. Portanto, podemos obter a variância entre as cadeias (B) e a variância dentro das cadeias (W). As fórmulas correspondentes são dadas por: n B = m m ( t i t ) i= e W = m n ( ) m n ( j ) ( t i ti ) i= j= () onde t i é a média das observações da cadeia i, i =,..., m e t é a média dessas médias. Sob condição de convergência, todos os m.n valores serão gerados da posteriori e a variância de t pode ser estimada de forma não-viciada por: V = n n ( t( θ )) W + B () Rev. Mat. Estat., São Paulo, (): 35-47, 3 4

Se as cadeias ainda não estiverem convergido, então essa estimativa é maior que V(t(θ)), pois os valores iniciais ainda estão sendo influenciados pelos valores dos outros parâmetros da cadeia, de forma que a distribuição de equilíbrio ainda não foi atingida, indicando que eles foram escolhidos com dispersão maior que a da distribuição de equilíbrio. Por outro lado, W fornece estimativas menores que V(t(θ)), pois a cadeia não terá coberto toda a variabilidade de t(θ). Um indicador de convergência é dado pela chamada redução Rˆ = Vˆ t θ, que é sempre maior que potencial estimada da escala ( ( )) W. A medida que n cresce, ambos os estimadores acabarão convergindo para V(t(θ)) e Rˆ convergirá para. Assim, Rˆ pode ser usado como indicador de convergência pela avaliação de sua proximidade a. Gelman e Rubin (99), sugere aceitar como garantia de convergência valores de Rˆ,. 4 Uma aplicação A abordagem proposta foi aplicada a um conjunto de questionários respondido em duas fases, no início (fase f ) e no final (fase f ) do semestre, para uma amostra de 3 alunos do curso de psicologia da UFPB. Este levantamento visou avaliar o desempenho do professor de Estatística da referida turma. Para cada questão havia um segmento de reta de comprimento igual a 8 cm. O aluno indicou na reta um ponto ou um intervalo para expressar a sua resposta. Como exemplo foi verificada a seguinte questão: O Professor se preocupa com seu desempenho em sala de aula?. A média geral nas fases início (f ) e final (f ) do semestre são respectivamente,699 e,3 e os intervalos de 95% de confiança para essas médias, calculados segundo a teoria assintótica são respectivamente [.838,.346] e [.59,.434]. As médias dos intervalos para as referidas fases estão relacionadas na Tabela a seguir. Tabela Médias dos intervalos nas fases inicial (f ) e final (f ) f,35,8,45,63,35,5,35,5,3,95,55,5 3,8 f,5,88,83,55,,83,5,8,,,5,3,3 4 Rev. Mat. Estat., São Paulo, (): 35-47, 3

Na modelagem bayesiana deste exemplo utilizou-se dos seguinte valores a = valor mínimo do limite inferior, b = valor máximo do f θ e os valores atribuídos a limite superior calculados em ( ) γ = (( b a ) / ), γ =, 3) ( e c = 3. Esses valores de γ hiperparâmetros são escolhidos de forma a atribuir alguma informação a priori aos parâmetros e, mas assegurando uma considerável incerteza sobre os valores a priori, ou seja um coeficiente de variação maior que 3 para e. Na inferência bayesiana, quanto maior a informação a priori sobre os parâmetros do modelo melhor a qualidade das estimativas que se pode ter. Em situações extremas onde não se têm informações a priori, podem ser utilizadas as densidades a priori não informativas. Fazendo γ, γ, tem-se densidades a priori não informativa para σ. O mesmo ocorre para β, fazendo c, teremos densidades a priori p ( β ) uniforme, não informativa. Neste caso a utilização de algoritmos MCMC exige a elaboração de núcleos para balancear as probabilidades de movimentação na cadeia de Markov, tornando-a reversível (ver Chib e Greenberg, 995). Esse procedimento em nada altera os resultados obtidos, mas pode exigir um esforço computacional maior para que a convergência seja assegurada. Na simulação de Monte Carlo foram geradas 5 cadeias com 5 valores cada uma, dos quais os 5 valores iniciais ( burning ) de cada cadeia foram descartados. O processo de seleção da amostra foi feito retirando-se um elemento a cada dez dos 5 valores restantes, totalizando em 5 valores por cadeia. A convergência foi diagnosticada usando-se a análises gráficas e o critério de Gelman e Rubin calculados foram: Rˆ =,9987 para f e Rˆ =,47 para f. Considerando a uma única cadeia formada pelas amostras selecionadas das cinco cadeias geradas independentemente, foram calculadas as estimativas bayesiana dos parâmetros do modelo usando as estimativas de Monte Carlo. Os resultados são apresentados na Tabela a seguir: Verifica-se na Tabela que a média geral para θ nas fases f e f dos dados simulados está próxima de,699 e,3 que são as médias dos dados reais para as respectivas fases. Ressaltamos ainda que essa média em torno de implica em grande preocupação do professor para com o desempenho do aluno. A Figura mostra o histograma do parâmetro σ obtido a partir da cadeia única, o qual denota a variabilidade de θ para as duas fases f e f. Pode-se verificar que para f a variabilidade diminuiu o que pode significar mais certeza nas respostas dos alunos no final do semestre. Rev. Mat. Estat., São Paulo, (): 35-47, 3 43

Tabela Estatísticas a posteriori dos valores de θ, β e σ das amostras geradas Medidas Estatísticas Parâmetros θ β σ f f f f f f Média,686,996,36,4,4,66 Mediana,68,99,399,464,965,575 D.P.,33,9,33,33,33, Int.Cred (95%),9,344,6,46 -,39,85 -,48,866,478,768,38,3 4 3 3 Valores do Sigma (fase ) 5 4 3.5.5 Valores do Sigma (fase ) FIGURA Histograma do para cadeia única (fases e ). Verifica-se na Figura (abaixo), através do histograma do parâmetro β, o qual indica a curtose da curva, que a grande maioria dos valores gerados a partir de uma beta-negativa estão acima do (zero). 3 3 - -.5.5 Valores do Beta (fase ) - -.5.5 Valores do Beta (fase ) FIGURA Histograma de para cadeia única (fases e ). 44 Rev. Mat. Estat., São Paulo, (): 35-47, 3

O que implica dizer que β, como pode ser comprovado na Figura 3 através do gráfico da distribuição acumulada do parâmetro β, onde pode ser visto que P ( β > ) >, 8 para as duas fases..8.6.4. - -.5.5 Dist. Acumulada do Beta - fase.8.6.4. - -.5.5 Dist. Acumulada do Beta - fase FIGURA 3 Distribuição acumulada para cadeia única (fases e ). A análise da Figura 3 leva a conclusão de que a distribuição normal não seria indicada para este caso dado que, com a hipótese de normalidade estaríamos adotando a priori β =. Observa-se por fim, na Figura 4, o histograma de θ construído a partir da amostra gerada por MCMC. Verifica-se que a curva da distribuição deste parâmetro tem formato leptocúrtico como sugere o β. 5 4 3 3 4 Valores do Theta (fase ) 4 3.5.5 Valores do Theta (fase ) FIGURA 4 Histograma do para cadeia única (fases e ). Rev. Mat. Estat., São Paulo, (): 35-47, 3 45

5 Conclusão Conclui-se então que o modelo de potência exponencial ajusta-se razoavelmente ao tipo de variável resposta (em forma de intervalo) e que a abordagem bayesiana na solução deste tipo de problema é recomendada por incorporar as informações a priori atribuídas pelos alunos e permitir tratar pequenas amostras. Além disso a análise das densidades a posteriori de θ revela que as médias na fase diminuíram mostrando que a opinião dos alunos quanto a preocupação do professor foi mais positiva após o final do curso. A análise clássica neste caso, com base nos intervalos de confiança assintótico, só permite concluir que, com nível de confiança de 95%, não há diferença significativa entre as avaliações nas duas fases. MELO, A. C. de; MORAES, R. M. de; ANDRADE, M. G. de. A bayesian approach for interval data analysis. Rev. Mat. Estat. (São Paulo), v., n., p.35-47, 3. ABSTRACT: This work presents an approach for the problem of learning quality evaluation done by students where they use interval data to provide their answers. The goal is make bayesian inference of interval means by the use of a priori densities. These densities are constructed from uncertainty which are contained into intervals used as answers. To do that, it is adopted an exponential power model for interval means and the bayesian inference of population parameters are made using Markov Chain Monte Carlo simulations algorithms (MCMC). The proposed methodology is applied in a set of questionnaires answered by Psychology students of the Federal University of Paraiba to evaluate their teacher of Statistics. KEYWORDS: Learning Evaluation; Interval Data; Bayesian Inference; Markov Chain Monte Carlo simulation. Referências BOX, G. E. P.; TIAO, G. C. Bayesian Inference in Statistical Analysis. Reading: Addison-Wesly, 973. 588p. CHIB, S.; GREENBERG, E. Understanding the Metropolis-Hasting Algorithm. Am. Stat., v.49, n.4, p.37-335, 995. GELMAN, A. Inference and monitoring convergence. In: GILKS, W. R.; RICHARDSON, S.; SPIEGELHALTER, D. J. (Ed.). Markov chain Monte Carlo in pratice. New York: Chapman and Hall, 995. 486p. 46 Rev. Mat. Estat., São Paulo, (): 35-47, 3

GELMAN, A.; RUBIN, D. R. (). Inference from interactive simulation using multiple sequences. Stat. Sci., v.7, p.457-5, 99. GILKS, W. R.; RICHARDSON, S.; SPIEGELHALTER, D. J. Markov chain Monte Carlo in practice. London: Chapman & Hall, 996. 486p. KLIR, G. J.; YUAN, B. Fuzzy sets and fuzzy logic: theory and applications. New Jersey: Prentice Hall, 995. MORAES, R.M. Proposta de questionário e avaliação docente em disciplinas ª parte. Rev. Ed., v., p.45-66, 999. MORAES, R. M.; MELO, S. F. M. Avaliação docente e discente nas disciplinas do departamento de estatística: parte I - análise gráfica e tabelas. João Pessoa: UFPB, 993 a. p.. (Relatório Técnico UFPB n. DE-4/93). MORAES, R. M.; MELO, S. F. M. Avaliação docente e discente nas disciplinas do departamento de estatística: parte II - índices avaliativos. João Pessoa: UFPB, 993 b. p.. (Relatório Técnico UFPB n. DE-7/93). PASQUALI, L. Psicometria: teoria e aplicação. Brasília: Ed. UnB, 998. 457p. Recebido em 7.4.. Aprovado após revisão em 5.7.. Rev. Mat. Estat., São Paulo, (): 35-47, 3 47