Reflexões Acerca do Ajuste do Modelo de Resposta Gradual a um Banco de Dados Multidimensional Reflections About the Adjustment of the Graded Response Model to a Multidimensional Database Fernando de Jesus Moreira Junior Doutor em Engenharia de Produção, UFSC Professor do Departamento de Estatística, UFSM fmjunior777@yahoo.com.br José Renê de Oliveira Mestrando em Engenharia de Produção, UFSM renoli@terra.com.br Angela Pellegrin Ansuj Doutora em Engenharia de Produção, UFSM Professora do Departamento de Estatística, UFSM angelaansuj@yahoo.com Andreas Dittmar Weise Doutorado em Engenharia Civil, UFSC Professor do Departamento de Engenharia de Produção, UFSM andreasd.weise@gmail.com Resumo Esse trabalho apresenta uma reflexão acerca do ajuste do Modelo de Resposta Gradual (MRG) a um banco de dados multidimensional. Os resultados mostraram que, embora o construto seja multidimensional, ele pode ser representado por um único traço latente dominante. No entanto, o MRG não conseguiu ajustar todos os itens. Por outro lado, dividindo se o conjunto de itens em dois subconjuntos e ajustando se separadamente pelo MRG, observou se a existência de dois traços latentes independentes, ou seja, que ajustaram os itens que não eram adequados para o outro grupo. Palavras chave: Modelo de resposta gradual. Multidimensionalidade. Unidimensionalidade. Análise Fatorial. Satisfação. Abstract This paper presents a reflection about the adjustment of the Graded Response Model (GRM) to a multidimensional database. The results showed that although the construct is multidimensional, it can be represented by a single dominant latent trait. However, the GRM failed to set all the items. Moreover, dividing the set into two subsets of items and separately adjusting the MRG, it was observed the existence of two independent latent features, namely that set items that were not suitable for the other group. Keywords: Graded response model. Multidimensionality. Unidimensionality. Factor analysis, satisfaction.
Fernando de Jesus Moreira Junior, José Renê de Oliveira, Angela Pellegrin Ansuj e Andreas Dittmar Weise Introdução Os modelos unidimensionais da Teoria da Resposta ao Item (TRI) assumem o pressuposto de unidimensionalidade, ou seja, que apenas um traço latente está sendo examinado ou que existe ao menos um único fator dominante (Andrade et al., 2000). O objetivo desse estudo é verificar a dimensionalidade de um questionário de satisfação de clientes de um restaurante e ajustar os dados ao Modelo de Resposta Gradual da TRI. 1. Metodologia Os dados utilizados nesse estudo são referentes à satisfação de 805 clientes de um restaurante em relação a 28 itens relacionados com os ambientes interno e externo, a alimentação e o atendimento. A avaliação foi medida em uma escala likert de cinco pontos: Muito insatisfeito, Insatisfeito, Razoável, Satisfeito e Muito Satisfeito. Utilizou se o software SPSS para verificar a dimensionalidade do questionário por meio de uma Análise Fatorial Exploratória (AFE). Na sequência, foram feitos ajustes do um modelo unidimensional, o Modelo de Resposta Gradual (MRG) de Samejima (1969) por meio do pacote ltm (Rizopoulos, 2006) do Software R, o qual pressupõe a existência de um único traço latente ou a existência de um traço latente dominante. 2. Resultados e comentários Primeiramente foi feita uma Análise Fatorial Exploratória (AFE) a fim de verificar a dimensionalidade do instrumento de pesquisa. A dimensionalidade de questionários que utilizam escala likert usualmente é verificada por meio de uma AFE, por exemplo, Yoshida (2007) e Bazán et al. (2011). Para tentar identificar o número de dimensões existentes, vários critérios são utilizados. Yoshida (2007) sugere: a análise dos componentes principais da análise fatorial (fatores com autovalor maior que 1), os quais podem ser visualizados no gráfico Scree Plot apresentado na Figura 1; a importância do fator (porcentagem mínima de 3% de variância explicada pelo componente); e cargas fatoriais dos itens superiores a 0,30, segundo Pasquali (1999). Com base nisso, observado a Figura 1, pode se dizer que o construto parece ter 80
Reflexões Acerca do Ajuste do Modelo de Resposta Gradual a um Banco de Dados Multidimensional natureza multidimensional, contendo de quatro (71,9% da variância explicada) a seis quatro (81,2% da variância explicada) dimensões latentes (autovalores maiores que 1), que seria níveis de satisfação relacionados à fatores latentes, por exemplo, satisfação quanto ao ambiente externo, satisfação quanto ao atendimento, etc. Figura 1 Scree Plot Por outro lado, mesmo com evidências de multidimensionalidade, outros estudos têm utilizado modelos unidimensionais, por exemplo, Bortolotti et al. (2012), baseados no critério de Reckase (1979), o qual sugere que os resultados podem indicar um fator dominante quando o primeiro fator explica pelo menos a 20% da variância total. No nosso estudo, o primeiro fator, pelo método das Componentes Principais, explica 28,6% da variância total. Dessa forma, também pode se concluir que o construto é unidimensional, ou seja, que avalia um único traço latente dominante, por exemplo, o nível de satisfação geral. Considerando que o construto pode ser representado por um único fator (ou traço latente) dominante, foi ajustado o Modelo de Resposta Gradual da TRI. A Tabela 1 apresenta os parâmetros estimados pelo MRG e o Anexo A apresenta as Curvas Características das Categorias dos Itens (CCCI s). A Figura 2 apresenta as Funções de Informação dos Itens (FIT) e a Função de Informação do Teste (FIT) considerando todos os itens. 81
Fernando de Jesus Moreira Junior, José Renê de Oliveira, Angela Pellegrin Ansuj e Andreas Dittmar Weise Tabela 1 Parâmetros Estimados pelo MRG com todos os 28 itens Item Extrmt1 Extrmt2 Extrmt3 Extrmt4 Dscrmn s1 19,91 17,87 13,45 0,60 0,256 s2 5,19 4,69 2,52 1,34 1,026 s3 5,19 3,58 0,17 1,13 0,871 s4 4,16 1,80 0,09 0,71 1,129 s5 4,20 2,53 0,04 0,79 1,125 s6 1,93 0,09 0,35 1,19 0,934 s7 1,87 0,54 1,06 2,11 1,842 s8 2,88 2,19 0,47 1,85 1,463 s9 8,54 6,54 4,35 1,59 0,553 s10 37,39 31,93 25,32 10,16 0,139 s11 5,19 4,06 1,62 0,93 0,893 s12 29,45 19,91 6,98 4,79 0,166 s13 9,42 5,88 0,86 3,24 0,269 s14 10,66 8,32 5,09 1,46 0,480 s15 205,65 170,63 96,91 33,95 0,024 s16 13,26 10,06 3,71 1,71 0,373 s17 104,99 90,44 46,19 11,92 0,050 s18 3,95 3,57 1,81 1,34 1,419 s19 4,63 3,37 2,05 1,16 1,198 s20 2,80 2,46 1,96 0,64 1,985 s21 2,66 0,59 0,23 1,54 2,059 s22 5,20 3,82 2,97 0,20 0,872 s23 1,71 1,55 0,20 0,72 3,692 s24 1,95 1,89 0,02 0,69 3,129 s25 1,61 1,46 0,18 0,86 4,183 s26 1,49 1,27 0,30 0,83 4,235 s27 1,70 1,44 0,20 0,90 4,087 s28 1,48 1,09 0,45 0,96 3,874 Item Curves Test Function 0 1 2 3 4 5 1 2 3 4 5 6 7 8 23 20 21 18 11 19 22 9 10 1213 14 151617 24 25 2627 28 0 5 10 15 20 25 30 (a) FII b (FIT) Figura 2 FII e FIT para todos os 28 itens Observa se que há vários itens que não possuem um bom ajuste (discriminação próxima de zero e valores de posição das categorias muito afastados de zero). Dessa forma, foram removidos da análise os itens s1, s9, s10, s12, s13, s14, s15, s16 e s17, 82
Reflexões Acerca do Ajuste do Modelo de Resposta Gradual a um Banco de Dados Multidimensional que por sinal, apresentam baixa informação para o teste, conforme Figura 2a. A Tabela 2 apresenta os parâmetros estimados pelo MRG, com os 19 itens restantes, a qual mostra que o ajuste dos itens é adequado. O Anexo B apresenta as CCCI s. A Figura 3 apresenta as FII s (Figura 3a) e a FIT (Figura 3b) relacionadas. Tabela 2 Parâmetros Estimados pelo MRG com os 19 itens restantes Item Extrmt1 Extrmt2 Extrmt3 Extrmt4 Dscrmn s2 5,43 4,32 2,33 0,91 0,995 s3 4,46 3,79 0,36 0,56 0,986 s4 3,42 1,71 0,20 0,64 1,180 s5 8,61 5,04 0,15 0,39 0,969 s6 1,91 0,30 0,04 0,89 1,024 s7 1,65 0,68 0,85 1,92 2,106 s8 2,31 1,83 0,47 1,30 1,883 s11 5,72 3,54 1,95 1,08 0,813 s18 6,82 5,05 3,15 1,98 0,840 s19 5,08 3,85 2,47 0,95 1,012 s20 3,14 2,71 2,29 0,30 1,803 s21 2,01 0,95 0,58 1,19 2,057 s22 3,89 3,18 2,71 0,03 1,221 s23 2,08 1,88 0,29 0,81 2,959 s24 2,62 2,60 0,17 0,66 2,778 s25 1,33 1,25 0,28 0,60 4,222 s26 1,57 1,38 0,55 1,17 3,416 s27 1,30 1,22 0,40 0,60 4,349 s28 1,33 1,15 0,17 0,68 3,759 Item Curves Test Function 0 1 2 3 4 5 6 12 14 7 16 11 17 15 1 2 3 4 5 8 9 10 13 1819 0 5 10 15 20 25 (a) FII s b (FIT) Figura 3 FII e FIT para os 19 itens restantes Também foi feito um ajuste com o MRG utilizando os 9 itens excluídos dessa análise. O resultado mostrou que todos os itens ajustaram se adequadamente, como pode se observar nos parâmetros estimados na Tabela 3 e nas CCCI s do Anexo C. A Figura 4 apresenta as FII s (Figura 4a) e a FIT (Figura 4b) relacionadas. 83
Fernando de Jesus Moreira Junior, José Renê de Oliveira, Angela Pellegrin Ansuj e Andreas Dittmar Weise Tabela 3 Parâmetros Estimados pelo MRG com os 9 itens excluídos Item Extrmt1 Extrmt2 Extrmt3 Extrmt4 Dscrmn s1 5,19 4,74 3,57 0,49 1,079 s9 3,98 2,96 1,95 0,66 1,374 s10 3,13 2,93 2,32 1,07 2,155 s12 3,83 2,52 1,01 0,55 1,882 s13 2,55 1,70 0,04 0,73 1,253 s14 2,89 1,93 1,20 0,32 4,499 s15 3,22 2,71 1,62 0,63 2,227 s16 3,06 2,42 1,04 0,30 2,691 s17 3,58 3,26 1,83 0,52 1,713 Item Curves Test Function 0 1 2 3 4 5 1 2 3 4 5 6 7 8 9 0 2 4 6 8 10 12 (a) FII s b (FIT) Figura 4 FII e FIT para os 9 itens excluídos Um fato curioso observado nas três análises do MRG foi que o software interpretou as categorias inversamente do que se pretendia analisar, ou seja, a categoria mais alta (muito satisfeito) foi identificada como Extrmt1 e posicionada à esquerda nas CCCI s. Não se encontrou nenhum argumento na função que ajusta o MRG do pacote ltm para inverter essa interpretação. Foi feita uma inversão nos códigos das categorias dos itens numa tentativa de que o software interpretasse de forma inversa. No entanto, o software interpretou os códigos da mesma forma, ou seja, a categoria mais foi identificada como Extrmt1 e posicionada à esquerda nas CCCI s. Dessa forma, os construtos não estão medindo a satisfação, mas a insatisfação dos clientes. 84
Reflexões Acerca do Ajuste do Modelo de Resposta Gradual a um Banco de Dados Multidimensional Conclusões Embora os critérios utilizados na análise da dimensionalidade apontam para um construto multidimensional (de 4 a 6 dimensões) que pode ser representado por uma única dimensão dominante, o ajuste do MRG Unidimensional não funcionou adequadamente com todos os itens. No entanto, dividindo se o conjunto de itens em dois subconjuntos, ajustados separadamente pelo mesmo MRG Unidimensional, obteve se resultados adequados nos dois caso, o que pode apontar para um construto com duas dimensões dominantes. Essas dimensões supostamente representam a insatisfação dos clientes relacionada a diferentes critérios. Como trabalhos futuros pretende se interpretar os dois traços latente identificados e buscar um ajuste por um Modelo Multidimensional da TRI (TRIM). Referências Andrade, D. F.; Tavares, H. R.; Valle, R. C (2000).Teoria da resposta ao item: Conceitos e aplicações. São Paulo: ABE AssociaçãoBrasileira de Estatística. Bazán J. ; Merino, M. H. ; Mazzon, J. A. (2011). Classificação de modelos de resposta ao item policotômicos com aplicação ao marketing. Revista Brasileira de Estatística, 72, 7 39. Bortolotti, S. L. V, Moreira Junior, F. J., Bornia, A. C., Sousa Júnior, A. F., Andrade, D. F. (2012). Consumer satisfaction and item response theory: creating a measurement scale. Gestão & Produção, 19(2), 287 302. Reckase, M. D. (1979) Unifactor latent trait models applied to multifactor tests: Results and implications. Journal of Educational Statistics, 4, 207 230. Rizopoulos, D. (2006). ltm: An R package for latent variable modeling and item response theory analyses. Journal of Statistical Software, 17, 1 25. Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometric Monograph, 17. Yoshida, E. M. P. (2007). Validade da Versão em Português da Toronto Alexithymia Scale TAS em Amostra Clínica. Psicologia: Reflexão e Crítica, 20(3), 389 396. Recebido em: 03/11/2013 Avaliado em: 25/11/2014 85
Fernando de Jesus Moreira Junior, José Renê de Oliveira, Angela Pellegrin Ansuj e Andreas Dittmar Weise 86