PROPOSTA DE AVALIAÇÃO DA SATISFAÇÃO POR MEIO DO MODELO LOGISTICO DE DOIS PARÂMETROS DA TEORIA DA RESPOSTA AO ITEM

Transcrição

1 5, 6 e 7 de Agosto de 2010 ISSN PROPOSTA DE AVALIAÇÃO DA SATISFAÇÃO POR MEIO DO MODELO LOGISTICO DE DOIS PARÂMETROS DA TEORIA DA RESPOSTA AO ITEM Silvana Ligia Vincenzi Bortolotti (UTFPR/PR) sligie@globo.com Fernando de Jesus Moreira Junior (UFSM/RS) fmjunior@smail.ufsm.br Afonso Farias de Sousa Júnior (UNIFA/RJ) bvfire@gmail.com Dalton Francisco de Andrade (UFSC/SC) dandrade@inf.ufsc.br Atualmente os indivíduos estão cada vez mais exigentes, quer seja quando são estimulados a adquirir certo produto para satisfazer suas necessidades ou quando buscam um nível de instrução. A satisfação dos consumidores/clientes não é uma opçção organizacional, mas uma questão de sobrevivência para qualquer instituição de ensino ou organização. A gestão empresarial necessita conduzir o processo para a busca contínua da satisfação do consumidor, pois é um dos resultados primordiais de um atendimento de boa qualidade. As empresas que promovem educação, também buscam a satisfação de seus alunos quanto ao curso que eles oferecem a fim de identificar indicadores que favoreçam a melhoria no ensino. A finalidade deste artigo consiste em fornecer uma proposta para avaliar o grau de satisfação de consumidores/alunos/clientes com base na Teoria da Resposta ao item (TRI). Para tanto, utiliza-se o modelo logístico de dois parâmetros da TRI e os critérios de níveis ancora e itens âncora no desenvolvimento de uma escala de medida de satisfação de alunos quanto ao curso que frequentam. Foi aplicado um questionário envolvendo itens para avaliação do curso a uma amostra de 525 alunos. Os resultados obtidos permitiram a identificação de três níveis âncora na escala de medida, onde cada nível é caracterizado por características relativas ao conteúdo dos itens investigados. Esses resultados mostram a eficácia desta teoria na obtenção de medida da satisfação, pois coloca os itens e os indivíduos numa mesma métrica. A Teoria da Resposta ao Item é uma abordagem utilizada para avaliação de traço latente, muito utilizada nas áreas educacional e psicológica. Esta teoria pode ser valiosa na avaliação da satisfação do consumidor e de vários fenômenos organizacionais, fornecendo informações úteis

2 para o tomador de decisão, tanto para a gerência de tarefas no cotidiano como para elaboração e/ou avaliação do planejamento estratégico. Palavras-chaves: Medida do Nível de Satisfação, Tomada de Decisão, Gestão, Teoria da Resposta ao Item. 2

3 1. Introdução Nos últimos anos tem-se presenciado uma extraordinária velocidade no desenvolvimento dos mais variados ramos do conhecimento humano. Esta velocidade se deve especialmente pelos contínuos aprimoramentos e inovações nos campos tecnológicos e científicos. Introduzidos no contexto de mudanças e transformações, técnicas, sociais e econômicas, enfatiza-se a importância de encontrar novas metodologias que proporcionem condições para que essas áreas se desenvolvam e, a avaliação tem sido um meio que apresenta uma maior eficácia e eficiência nessas transformações (BORTOLOLOTTI; SOUSA JUNIOR; ANDRADE, 2009). Avaliação, no sentido de medição, compreende tanto a avaliação de desempenho, como também avaliação da satisfação por um serviço, ou seja, a preferência por determinado produto (BORTOLOLOTTI; SOUSA JUNIOR; ANDRADE, 2009). A avaliação empregada na gestão administrativa quer seja privada ou pública ajuda na gestão, pois proporciona a obtenção de informações necessárias, capazes de identificar e compreender as causas dos acertos e fracassos, os problemas dos desempenhos individuais e coletivos. As informações obtidas por meio da avaliação são úteis porque podem auxiliar no planejamento estratégico e também na tomada de decisões. Isto é confirmado, por exemplo, no processo de administração de marketing, quando Mattar (1996), salienta que, a disponibilidade de informações em quantidade e com qualidade, a respeito do mercado, do meio ambiente, do macro-ambiente de marketing e da própria empresa, é fundamental para a redução do risco na tomada de decisões. Evrard (1994) ratifica também que as informações obtidas por meio da avaliação da satisfação são utilizadas para traçar a estratégia de melhoria da qualidade e para implantar ações que efetivamente melhorem a satisfação e, também, a compreensão dos processos de formação da satisfação é empregada como ferramentas para a tomada de decisão (EVRARD, 1994). 3

4 As decisões gerenciais que são amparadas em fatos e dados, e não meramente na intuição, tendem a ser mais significativas na geração de resultados financeiros positivos para a empresa e ainda é importante verificar a satisfação dos consumidores e confrontar o desempenho da empresa com os concorrentes (PERILLO, 2000). A satisfação do consumidor vem sendo abordada por diversas áreas. Atualmente na era da qualidade total, da globalização da economia, da administração estratégica este conceito se dissemina em toda organização. Beber (1999) ressalta que a satisfação dos consumidores tem se tornado um importante critério para avaliar a qualidade das empresas. Este item representa 30% na avaliação geral para o prêmio Malcolm Baldrigde nos Estados Unidos, como também é levado em consideração na avaliação do Prêmio Deming no Japão e ainda refere-se a 17% da pontuação total na avaliação para o Prêmio Nacional de Qualidade - PNQ, no Brasil (BEULKE, 1998; ROSSI; SLONGO, 1997). Além disso, a importância do estudo da satisfação também pode ser medida pelo fato de que vários países estão começando a fazer avaliação geral de satisfação de seus consumidores e utilizando este índice como uma forma de medir o desempenho de suas economias. O primeiro país a medir a satisfação de seus consumidores foi a Suécia, com o SCSB (Swedish Customer Satisfaction Barometer), em Em seguida, pela Alemanha em 1992 com o DK, Deutsche Kundenbarometer (Beber, 1999) A satisfação do consumidor é relevante para as empresas, porque seus lucros estão relacionados diretamente com a satisfação do consumidor, ou seja, eles são maximizados quando o consumidor está satisfeito e permanece leal ao seu produto. Isto é corroborado por Oliver (1997) quando enfatiza que a satisfação do consumidor vem sendo vista como fator crucial para o sucesso dos mais variados tipos de organizações, sobretudo por influenciar diretamente a lealdade à marca, repetição de compras, comunicação boca-a-boca positiva, lucratividade e participação de mercado. Seguramente toda a organização que deseja prosseguir com sucesso no mercado gostariam de saber como influenciar e controlar estas dimensões, especialmente porque o maior escopo das empresas é a maximização do lucro a longo prazo, desta forma esta relação torna a satisfação do consumidor um aspecto prioritário a ser levado em consideração no planejamento das empresas na busca pela lucratividade. 4

5 Os benefícios proporcionados pela pesquisa de satisfação do consumidor tais como: percepção mais positiva dos consumidores quanto à empresa; relações de fidelidade com os consumidores, baseados em ações corretivas; dados precisos e atualizados quanto às necessidades dos consumidores; e, confiança desenvolvida em função de maior aproximação com o consumidor faz com que os recursos destinados a aumentar a satisfação dos consumidores sejam considerados como investimentos, e não como despesas. Assim sendo o consumidor passou a ser considerado peça primordial para o sucesso e desenvolvimento da empresa, e a sua satisfação representa lucro e permanência no mercado (HASTREITER, 1998). Na literatura podem-se encontrar vários conceitos de satisfação dentre eles destaca-se Kotler (1994, p. 50), satisfação é o nível de sentimento de uma pessoa resultante da comparação do desempenho (ou resultado) de um produto em relação a suas expectativas. Satisfação do consumidor também é definida como a atitude geral referente a um produto ou serviço depois de sua aquisição e uso. É a avaliação pós-compra resultante de uma seleção de compra específica (MOWEN, 1995, p. 511). Outra definição de satisfação encontrada na literatura de Marketing Contemporânea pode ser descrito da seguinte forma: a satisfação é uma avaliação (um julgamento), efetuada a posteriori, relativa à determinada transação. O termo avaliação pressupõe a existência de um parâmetro. Para a maioria dos autores, o grau de satisfação deriva de uma comparação realizada pelo consumidor, comparação esta, que confronta o resultado da transação com uma referência anteriormente existente (SPRENG; MACKENZIE; OLSHAVSKY, 1996). O resultado desse processo comparativo pode ser positivo, negativo ou neutro, gerando assim satisfação ou insatisfação. A satisfação é definida como um estado psicológico, e que não pode ser observada diretamente (PRADO, 1997), como se faz para medir a altura de uma pessoa. Ela é considerada como uma variável latente e é referida por traço latente ou construto e deve ser inferida a partir da observação de variáveis secundárias que estejam relacionadas a ela. Deste modo tem-se procurado desenvolver escalas para medi-las. Freqüentemente essa medida é feita por levantamentos periódicos, através de questionários de pesquisa sob duas abordagens: qualitativa e quantitativa. E a análise para obter a expectativa e percepção dos consumidores, o grau de satisfação e a percepção da administração são geralmente feitos por 5

6 meio de técnicas estatísticas como, por exemplo, a análise fatorial utilizando principalmente o método de componentes principais e a análise de regressão. Deste modo, medir a satisfação de um consumidor é uma questão de sobrevivência para qualquer organização. A empresa necessita liderar o processo para a busca contínua da satisfação, pois é um dos resultados mais importantes de um atendimento de boa qualidade. É necessário então, termos um instrumento que indique se o caminho que estamos trilhando está ou não em conformidade com aquilo que o nosso consumidor espera de nós. As empresas que promovem educação, também almejam a satisfação de seus alunos quanto ao curso que eles oferecem, desta forma, este trabalho tem como objetivo desenvolver uma escala de avaliação da satisfação de alunos quanto ao curso que frequentam, por meio do modelo logístico de dois parâmetros da Teoria de Resposta ao Item (TRI). A elaboração de uma escala de medida aplicada à avaliação de ensino para averiguar a satisfação de alunos quanto ao curso é essencial para as instituições de ensino, pois proporciona uma reflexão sobre as metodologias utilizadas, bem como fornece indicadores para a melhoria da qualidade do ensino dos cursos oferecidos pela instituição. Esta pesquisa foi desenvolvida com os alunos da UTFPR/Medianeira/PR. A Teoria de Resposta ao Item compreende modelos para avaliar traços latentes. Estes modelos apresentam formas de representar a relação entre a probabilidade de um indivíduo dar uma resposta a um item e seu traço latente, na área de conhecimento a ser avaliada ou verificada, os quais não podem ser observados diretamente (ANDRADE; TAVARES; VALLE, 2000). 2. Teoria da Resposta ao Item e Escala de Medida A TRI foi desenvolvida principalmente para suprir limitações da Teoria Clássica de Medidas (TCM). Uma das limitações da TCM destaca-se que o instrumento de medida depende das características dos respondentes que se submetem ao teste ou ao questionário (HAMBLETON; SWAMINATAN; ROGERS, 1991). Dentre as vantagens da Teoria de Resposta ao Item sobre a Teoria Clássica de Medidas destaca-se que a TRI: a) permite fazer comparações entre traço latente de indivíduos de populações diferentes quando são submetidos a testes ou questionário que tenham alguns itens comuns e, 6

7 ainda, permite a comparação de indivíduos de mesma população submetidos a testes totalmente diferentes (ANDRADE; TAVARES; VALLE, 2000); b) possibilita uma melhor análise de cada item que forma o instrumento de medida, pois considera suas características específicas de construção de escalas; c) os itens e os indivíduos estão na mesma escala, assim o nível de uma característica que um indivíduo possui pode ser comparado ao nível da característica exigida pelo item e, isso facilita a interpretação da escala gerada e permite também conhecer quais itens que estão produzindo informação ao longo da escala (EMBRETSON; REISE, 2000); d) possui o princípio da invariância, isto é, os parâmetros dos itens não dependem do traço latente do respondente e os parâmetros dos indivíduos não dependem dos itens apresentados, este princípio é um dos grandes benefícios da TRI (HAMBLETON; SWAMINATAN, ROGERS, 1991). A TRI surgiu como uma forma de considerar cada item particularmente, sem relevar os escores totais, portanto, as conclusões não dependem do teste ou questionário como um todo, como é feito na TCM, mas sim de cada item que o compõe (ARAUJO; ANDRADE; BORTOLOTTI, 2009). A partir das respostas obtidas de respondentes à um conjunto de itens, a TRI possibilita a estimação dos parâmetros dos itens e dos indivíduos em uma escala de medida. Por exemplo, considere o construto nível de satisfação. Uma análise feita através da TRI pode estimar o nível de satisfação do respondente (isto é, um parâmetro do indivíduo) e também os parâmetros dos itens de modo a criar uma escala de medida do nível de satisfação. Os modelos utilizados na TRI requerem dois pressupostos relevantes (EMBRETSON; REISE, 2000), a curva característica do item CCI e a independência local ou dimensionalidade. A forma de uma curva característica do item descreve como a mudança do traço latente relaciona-se com a mudança na probabilidade de uma resposta especifica (EMBRETSON; REISE, 2000). A independência local é obtida quando, controlados pelo nível do traço latente, os itens do teste são independentes, assim a probabilidade de responder um item é precisamente determinada pelo nível do traço latente do respondente e não por suas respostas a outros itens do conjunto (EMBRETSON; REISE, 2000; ANDRADE; TAVARES; VALLE, 2000). A 7

8 independência local é vista como conseqüência da correta determinação da dimensionalidade dos dados (LORD, 1980). A dimensionalidade pode ser verificada através de uma Análise Fatorial apropriada para dados categorizados (EMBRETSON; REISE, 2000; ANDRADE; TAVARES; VALLE, 2000). Os vários modelos da TRI existentes se distinguem na forma matemática da função característica do item e/ou no número de parâmetros especificados no modelo. Todos os modelos podem conter um ou mais parâmetros relacionados aos itens e ao indivíduo (ANDRADE; BORTOLOTTI, 2007). Foram desenvolvidos diversos modelos da Teoria da resposta ao item e a diferença principal entre estes modelos refere-se à suposição quanto ao relacionamento entre a seleção de opções de uma resposta e o nível do traço latente. Dos modelos para itens com resposta dicotômicos unidimensionais (duas categorias de resposta, por exemplo: concordo ou discordo, satisfeito ou insatisfeito) destaca-se o Modelo Logístico de 3 parâmetros (ML3), dado por: P ij P( U ij 1 ) c j i (1 ci ) 1 e 1 Da i ( b ) j i, onde, i = 1, 2,..., I, representa os I itens propostos para avaliar o traço latente considerado e j = 1, 2,..., n, representa os n elementos que compõem a amostra, que podem ser, indivíduos, empresas etc.; U ij é uma variável dicotômica que assume os valores 1, quando o respondente j responde corretamente, concorda ou satisfaz as condições do item i, ou 0 caso contrário; θ j pode representar o traço latente do respondente j; P(U ij =1 j ) é a probabilidade do respondente j, dependente do seu traço latente θ j, responder corretamente, ou concordar ou satisfazer as condições do item i; b i é o parâmetro de dificuldade (ou de posição) do item i, medido na mesma escala do traço latente e representa o nível do traço latente necessário para que a probabilidade de uma resposta correta ou concordo ou satisfazer as condições do item seja de 0,5; a i é o parâmetro de discriminação (ou de inclinação) do item i, com valor proporcional à inclinação da curva característica do item no ponto b i ; c i é o parâmetro do acerto casual; 8

9 D é uma constante de escala igual a 1, utiliza-se o valor 1,7 quando se quer que os valores da função logística aproximem-se da função ogiva norma (ARAUJO; ANDRADE; BORTOLOTTI, 2009). A partir do Modelo Logístico de 3 parâmetros pode-se obter o Modelo Logístico de 1 parâmetro (ML1), que é adequado para um conjunto de itens, onde não há o acerto casual e considera que todos os itens têm o mesmo poder de discriminação, e o modelo Logístico de 2 parâmetros (ML2), onde não admite o acerto casual, isto é, c=0 e que foi utilizado neste trabalho. O Modelo Logístico de 1 parâmetro é conhecido como modelo de Rasch. A Figura 1 apresenta um exemplo de uma CCI do modelo logístico de 3 parâmetros de um item, cujos parâmetros do item são: a=1,67, b=0,78, c=0,15, e estão representados na escala (0,1), isto é, média zero e desvio padrão 1. Figure 1 - Exemplo de CCI do modelo Logístico de 3 parâmetros Na Figura 1 pode-se observar que a curva característica do item neste modelo é uma função não linear e, onde maior a habilidade, maior a probabilidade de responder afirmativamente ao item. Esta relação tem o formato de uma curva em S com inclinação e deslocamento na escala do traço latente definidos pelos parâmetros dos itens. Para interpretar os valores dos parâmetros dos itens (a, b) é necessário conhecer a escala na qual foram determinados (ANDRADE; TAVARES; VALLE, 2000). A construção da escala é feita definindo níveis âncora e identificando itens âncora. Na identificação de itens 9

10 âncora utilizam-se três condições. Considere dois níveis âncora X e Y com X<Y, um item é âncora para um nível Y se, e somente se, satisfazer as condições (ANDRADE; TAVARES; VALLE, 2000; BEATON E ALLEN, 1992): a) P(U=1 =Y) 0.65 (2.1) b) P(U=1 =X)< 0.50 (2.2) c) P(U=1 =Y) - P(U=1 =X) 0.30 (2.3) Isto significa que para um item ser considerado âncora em um determinado nível âncora Y é necessário que seja respondido positivamente por pelo menos 65% dos respondentes com este nível do traço latente e por uma proporção menor do que 50% dos respondentes de um nível de traço latente imediatamente inferior X. E ainda que a diferença entre a proporção de respondentes destes dois níveis consecutivos deve ser pelo menos de 30% (BEATON; ALLEN, 1992). Assim, um item é considerado âncora quando for típico daquele nível ancora Y e atender as três condições (2.1, 2.2 e 2.3), entretanto neste artigo considerou-se também que um item que atende pelo menos duas das três condições é definido como quase âncora e será incluído no seu respectivo nível âncora. 3. Método e Resultados 3.1 Coleta de Dados O instrumento de medida foi aplicado a 525 alunos dos cursos de Tecnologia contendo 35 itens, onde cada item continha seis categorias de resposta: totalmente insatisfeito (1), insatisfeito (2), pouco insatisfeito (3), pouco satisfeito (4), satisfeito (5), totalmente satisfeito (6). Estas categorias foram agrupadas em duas: (0) insatisfeito compreendendo as categorias, 1, 2, 3 e 4; (1) compreendendo as categorias 5 e 6. (BORTOLOTTI, 2003). Foram investigadas algumas características da amostra tais como sexo e idade. As Figuras 2 e 3 apresentam respectivamente a descrição dos alunos que freqüentam os cursos de Tecnologia quanto ao sexo e quando a idade. 10

11 32% 68% Feminino Masculino Figura 2 - Descrição dos alunos que freqüentam os cursos de Tecnologia quanto ao sexo Observa-se na Figura 2 que o número de alunos do sexo masculino é maior do que a do sexo feminino. Figura 3 - Histograma das idades dos alunos Nota-se que a faixa etária dos alunos que freqüentam os cursos de Tecnologia é maior dos 17 aos 22 anos. Foi utilizado o questionário de avaliação de ensino da UNIOESTE Cascavel PR, apresentado no Quadro 1. Item Descrição do item 1 Qualidade do curso de graduação que realiza. 2 Estrutura curricular (de disciplinas) do curso. 3 Organização na exposição de conteúdos pelos docentes. 4 Qualidade dos Planos de Ensino apresentados pelos professores. 5 Metodologia para o desenvolvimento do ensino-aprendizagem nas aulas. 6 Formas de avaliação utilizadas nas disciplinas para medir os níveis de aprendizagem dos alunos. 7 Alternativas oferecidas aos alunos para a complementação de sua formação global. 8 Criatividade demonstrada pelos docentes no desempenho das atividades de ensino. 9 Notas obtidas nas disciplinas em relação à aprendizagem alcançada. 10 Seriedade acadêmica manifestada pelos docentes do curso. 11 Nível de formação atingido pelos alunos que concluem o curso. 12 Seriedade acadêmica dos alunos do curso. 13 Nível de formação dos alunos quando ingressam no curso. 14 Capacidade manifestada pelos alunos para a leitura de textos científicos durante o curso de graduação. 11

12 15 Qualificação dos alunos para a escrita de trabalhos científicos durante o curso de graduação. 16 Qualificação manifestada pelos alunos para a elaboração de monografia e/ou trabalho de conclusão de curso. 17 Oportunidade de iniciação dos alunos na pesquisa no curso que realiza. 18 Oportunidade de treinamento e inserção no mercado de trabalho oferecido pelo curso. 19 Número de alunos que concluem o curso a cada ano. 20 Medidas adotadas para a melhoria da qualidade do ensino no curso. 21 Medidas adotadas para superar as dificuldades dos alunos com deficiências nas disciplinas. 22 Medidas adotadas para aprimorar a metodologia das aulas nas disciplinas do curso. 23 Medidas adotadas para aprimorar a avaliação dos alunos nas disciplinas do curso. 24 Procedimentos adotados pelo curso para a qualificação dos conteúdos desenvolvidos nas disciplinas. 25 Condições dos alunos para a dedicação ao curso de graduação. 26 Tempo dedicado ao estudo das disciplinas que cursa. 27 Iniciativa dos alunos para a complementação de sua formação acadêmica. 28 Mecanismos de atendimento e orientação acadêmica dos alunos no cotidiano dos cursos. 29 Comprometimento efetivo dos docentes com a qualificação do curso de graduação que realiza. 30 Conhecimento da situação dos alunos que já concluíram o curso no mercado de trabalho. 31 Satisfação em relação ao curso que está realizando. 32 Limpeza e estado de conservação da sala de aula. 33 Pontualidade e assiduidade dos docentes nas aulas. 34 Conhecimento demonstrado pelos docentes nas matérias que lecionam 35 Dinâmica das aulas para manter a atenção dos alunos. Quadro 1 Itens avaliados na medida de satisfação. 3.2 Dimensionalidade A suposição de unidimensionalidade foi verificada através Análise Fatorial seguindo o critério de Reckase (1979). Segundo o autor os resultados podem indicar um fator dominante quando o primeiro fator corresponde pelo menos a 20% da variância total. A Tabela 1 mostra o resultado da extração dos autovalores da análise fatorial pelo método dos componentes principais. Tabela 1: Extração dos autovalores através dos componentes principais Fator Autovalor Variância Total Autovalor Cumul. Cumul. % 1 11,295 33,222 11,295 33, ,060 6,058 13,355 39,279 Os resultados da análise foram obtidos por meio do software SPSS, versão 11.5 (BISQUERRA; SARRIERA; MARTÍNEZ 2004). Como se observa na Tabela 1, o primeiro fator explica 33% da variância, satisfazendo o critério de Reckase (1979), logo se pode considerar que o teste possui um fator dominante o que justifica a aplicação do modelo unidimensional Logístico de 2 parâmetros da TRI. 12

13 3.3 Análises dos itens para a criação da escala O tratamento dos dados foi feito utilizando um software específico para a estimação dos parâmetros dos itens e do traço latente, chamado BILOG-MG (MISLEVY, 1990). Na estimação são estimados os parâmetros de discriminação a, o da dificuldade b de cada item e os traços latentes dos respondentes (nível de satisfação de cada respondente). No Tabela 2 são visualizados os parâmetros de discriminação, de dificuldade seus respectivos erros padrões (EP). erros padrões Tabela 2 Estimativas dos parâmetros dos itens e discriminação e seus respectivos ITEM a EP b EP O parâmetro grau de dificuldade b indica qual a região, na escala proposta, em que o item possui maior informação. Os três itens com maior dificuldade foram, em ordem crescente, os itens 21, 20 e 13. Já os itens com menor grau de dificuldade, também em ordem 13

14 Probability Information VI CONGRESSO NACIONAL DE EXCELÊNCIA EM GESTÃO crescente, foram 34, 33 e 32. Destaca-se que os valores relativos ao grau de dificuldade são referenciados a uma escala baseada na distribuição normal (0,1), ou seja, média 0 (zero) e desvio-padrão 1 (um). Nota-se que para responder que está satisfeito ao item com maior dificuldade, ou seja, o item 13 cuja descrição é: Nível de formação dos alunos quando ingressam no curso, deve-se ter um maior traço latente, ou seja, uma maior satisfação em relação ao curso que freqüentam. Já o item com menor dificuldade, item 32: Limpeza e estado de conservação da sala de aula, seria respondido afirmativamente por pessoas que tem baixa satisfação com relação ao curso que freqüentam, ou seja, este é um item que é respondido pela maioria dos estudantes. O grau de discriminação de um item determina a qualidade do item, isto é, quanto maior o valor de a maior o grau de discriminação na região de maior informação, consequentemente melhor o item. Observa-se na tabela 2 que os parâmetros de discriminação variaram de 0,79 a 2,12, indicando que os todos os itens possuem um poder de discriminação satisfatório. Os três itens com maior grau de discriminação foram, em ordem crescente, 28, 22 e 24. Os erros padrões dos parâmetros dos itens foram baixos, indicando que os itens não apresentam problemas, foram bem estimados e se ajustaram bem ao modelo. A figura 4 apresenta a função característica e a função de informação do item 1. Este item possui a seguinte descrição: Qualidade do curso de graduação que realiza. O parâmetro de dificuldade deste item, na escala (0, 1), é igual a 0,382. Indivíduos com satisfação nesta escala igual a 0,382, tem 0,5 probabilidade de responder positivamente a este item, observa-se também que indivíduos com satisfação maior que 2,0 possuem uma probabilidade maior do que 0,9 de responder afirmativamente a este item. Deste modo, como pode ser observado na Figura 4, o item 1 é um item que exige menos satisfação por parte dos alunos, pois concentra a maioria de sua informação abaixo da média 1.0 Item Characteristic Curv e: I01 a = b = Item Information Curv e: I b Ability Scale Score Figura 4 Função Característica do item e Função de Informação do item 1 14

15 Information Standard Error VI CONGRESSO NACIONAL DE EXCELÊNCIA EM GESTÃO A Figura 5 apresenta a curva de informação do instrumento. Subtest: SATISFA Scale Score Figura 5 Função de informação do teste Observa-se que o instrumento de medida tem maior informação no intervalo de -1 a 4. Construção da escala Os parâmetros dos itens e os parâmetros dos indivíduos são estimados na mesma métrica, ou seja, média 0 (zero) e desvio padrão 1 (um). É possível para efeitos práticos transformar os valores dos parâmetros tanto dos itens como indivíduos em outros valores, mas que mantenha as mesmas relações de ordem entre seus pontos. Neste sentido a escala para a satisfação com relação ao curso será construída com media 100 e desvio padrão 10. * (4.1) b* 10 b 100 (4.2) a a* (4.3) 10 P( U i 1 ) P( U 1 *) (4.4) i A figura 4 mostra a freqüência dos alunos distribuídos nos níveis da escala de satisfação. A escala da satisfação foi construída com base nos níveis âncora e quase âncora. Foram definidos 3 níveis âncoras, e os níveis podem assim ser definidos com base no conteúdo dos itens: Nível 100 Caracteriza-se por identificar alunos que possuem satisfação com relação ao curso, ou seja, quanto ao conhecimento e seriedade acadêmica por parte dos docentes e quanto a qualidade do mesmo. Nível 110 Caracteriza-se por identificar alunos que consideram satisfeitos quanto ao seu desempenho, em relação às notas obtidas, a seriedade acadêmica, a qualificação para a 15

16 elaboração de trabalhos, quanto iniciativa dos alunos para a complementação de sua formação acadêmica e também ao nível de formação obtido pelos alunos. Este nível identifica alunos que estão satisfeitos com relação ao desempenho dos docentes no ensino, quanto a metodologia utilizada por estes nas aulas, ao seu comprometimento na qualificação do curso, a orientação e atendimento aos alunos, aos procedimentos para qualificar os conteúdos desenvolvidos e oferecer oportunidades para treinamento e inserção no mercado de trabalho. Nível 120 Caracteriza-se por identificar alunos que estão satisfeitos quanto a qualidade do ensino. Identifica alunos que estão satisfeitos quanto às medidas adotadas para aprimorar a metodologia das aulas nas disciplinas do curso, quanto à capacidade manifestada pelos alunos para a leitura de textos científicos durante o curso de graduação e medidas adotadas para superar as dificuldades dos alunos com deficiências nas disciplinas. Figura 6 Histograma dos alunos nos diferentes níveis da escala Observa-se na Figura 6 que, um maior número de alunos está concentrado nos níveis 100 e 110, indicando que os alunos que estão nestes níveis estão satisfeitos com os itens relativos a cada nível. Já no nível 120, há uma quantidade menor de alunos uma vez que para estar neste nível deve estar satisfeito com os itens: 14, 20, 21 e 22. Estes itens apresentam conteúdos que exigem uma maior satisfação com relação ao ensino. 5. Discussão e conclusão 16

17 Os resultados com a estimação dos parâmetros obtidos pelo modelo Logístico de 2 parâmetros colocaram os itens e os respondentes numa mesma métrica, o que proporcionou a criação da escala de satisfação de alunos quanto ao curso que frequentam. A criação da escala identificou três níveis, onde cada nível é caracterizado por características relativas ao conteúdo dos itens investigados. Alunos que se encontram no nível 100 possuem satisfação com relação ao curso, principalmente, quanto ao conhecimento e seriedade acadêmica por parte dos docentes. Já os alunos que se posicionarem no nível 110, além de concordar com todos os itens do nível 100 devido a cumulatividade da escala, preocupam-se com seu desempenho, com seriedade acadêmica, com a qualificação para a elaboração de trabalhos e ainda com o nível de formação obtido pelos alunos ao término do curso. Enquanto que os alunos que se situarem no nível 120, são mais rigorosos quanto à satisfação, pois além de concordarem com todos os itens do nível 100 e 110 eles se preocupam com a qualidade do ensino quanto às medidas adotadas para aprimorar a metodologia das aulas nas disciplinas do curso e ao mesmo tempo se preocupam com à capacidade manifestada pelos alunos para a leitura de textos científicos. A curva de informação do teste mostra que o instrumento possui mais informação da satisfação no intervalo de -1 a 1.8. Este resultado revela a necessidade de incluir mais itens no instrumento que sejam capazes de fornecer informação nos intervalos que sejam menores que -1 e maiores que 1.8. Isto é, itens que sejam capazes de identificar alunos que estão muito satisfeitos ou estejam muito insatisfeitos em relação ao curso que frequentam. Quanto mais itens abrangendo toda a escala, maior é a quantidade de informação do teste. A utilização da Teoria da Resposta ao Item (TRI) para criação de escalas de medidas, a partir da determinação dos parâmetros do modelo escolhido é uma tendência universal. A TRI tem sido utilizada na área educacional, proporcionando uma avaliação mais precisa do fenômeno estudado e agora está encontrando espaço também em outras áreas, avaliando outros tipos de traços latentes, principalmente os relacionados com fenômenos organizacionais. O emprego da TRI na avaliação de um fenômeno organizacional proporcionará a gestão empresarial um diagnóstico mais preciso do fenômeno em estudo, pois a grande contribuição da TRI na construção de escalas está no fato de que os respondentes e indivíduos são colocados na mesma escala permitindo fazer comparações entre respondentes, entre itens e entre respondentes e itens. 17

18 Embora a TRI possua muitas vantagens (EMBRETSON; REISE, 2000) ela apresenta também algumas limitações, uma delas está relacionada quanto ao tamanho da amostra. Para se obter estimativas dos parâmetros dos itens com baixos erros padrões, deve-se ter uma amostra significativa de respondentes, alguns trabalhos sugerem, por exemplo, para o modelo Logístico de 1 parâmetro, uma amostra de 150 respondentes (ZICKAR, 2001). O número de respondentes vai depender do número de parâmetros a serem estimados, e do número de categorias de respostas no item. De forma que, quanto mais parâmetros a serem estimados no modelo escolhido e itens com mais de duas categorias de respostas, mais respondentes são necessários. No presente estudo a amostra foi de 525 respondentes, estimaram-se os parâmetros dos itens e respondentes com erros padrões baixos, revelando que foram bem estimados, se ajustaram bem ao modelo e apresentam uma maior precisão na medida. Esta aplicação permitiu criar uma escala de medida com o estabelecimento de itens tendo com base a TRI. Com esta aplicação verificou-se que a TRI fornece estimativas consistentes para medidas de traços latentes em especial para a medida da satisfação. A aplicação da TRI na medida de satisfação permitirá ter uma avaliação do fenômeno em estudo com mais precisão e consistência e consequentemente fornecerá informações relevantes na tomada de decisões e no planejamento estratégico e que pode trazer uma grande contribuição na área de gestão. 6. Referências Bibliográficas 1. ANDRADE, D. F.; BORTOLOTTI, S. L. V. Aplicação de um Modelo de Desdobramento Graduado Generalizado - GGUM da Teoria da Resposta ao Item. Estudos em Avaliação Educacional, v. 18(37), maio/ago, ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C Teoria de Resposta ao Item: conceitos e aplicações. ABE Associação Brasileira de Estatística, 4º SINAPE, ARAUJO, E. A. C. de. ; ANDRADE, D. F.; BORTOLOTTI, S. L. V.. Teoria da Resposta ao item. Revista da Escola de Enfermagem USP, 43 (Esp):1000-8, BEATON, A. E.: ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, 17, ,

19 5. BEBER, S. Estado atual dos estudos sobre a satisfação do consumidor. Anais do XXIII ENANPAD (Marketing), Foz do Iguaçu: ANPAD, CD-Rom, BEULKE, M. Galvão. Pesquisa de Satisfação de Consumidors: um estudo no setor de TV por assinatura no mercado de Porto Alegre. Anais do ENANPAD, BISQUERRA, R.; SARRIERA, J. C.; MARTÍNEZ, F.. Introdução à Estatística: Enfoque Informático com o Pacote Estatístico SPSS. São Paulo, Artmed Editora S.A. 256 p, BORTOLOTTI, S. L. V. Aplicação de um modelo de desdobramento graduado generalizado da teoria da resposta ao item TRI. Dissertação de Mestrado. Programa de Pós-Graduação em Engenharia de Produção - UFSC. Florianópolis, 107 p., BORTOLOLOTTI, S. L. V.; SOUSA JUNIOR, A. F.; ANDRADE, D. F. Uma metodologia para avaliação da Satisfação através da Teoria da Resposta ao Item TRI, Anais do SEGET Simpósio de Excelência em Gestão e Tecnologia, Resende-RJ, EMBRETSON, S.; REISE, S. P. Item Response Theory for Psychologists. New Jersey: Lawrence Erlbaum Associates, Inc. Publishers, EVRARD, Y. A Satisfação dos Consumidores: situação das pesquisas. Tradução realizada com fins acadêmicos por Ana Maria Machado Toaldo, HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. Newbury Park, CA: Sage, HASTREITER, S. T. Satisfação do consumidor em Shopping Centers de Curitiba. Dissertação de Mestrado, setor de Ciências Sociais, UFPR, KOTLER, Philip. Administração de Marketing. Analise Planejamento, Implementação e Controle, 5² edição. São Paulo: Atlas, LORD, F.M. Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum, MATTAR, Fauze Najib. Pesquisa de marketing. vol.1, 3 ed. São Paulo: Atlas, MISLEVY, R. J.; BOCK, R. D. BILOG 3: Item Analysis and Test Scoring with Binary Logistic Models. Chicago : Scientific Software, Inc MOWEN, John C. Consumer Behavior. 4 a. ed., Englewood Cliffs (NJ): Prentice- Hall,

20 19. OLIVER, Richard L. Satisfaction: a behavioral perspective on the consumer. New York, McGraw-Hill, PERILLO, R. D. Índice de Satisfação Ponderado pela Importância: Um modelo para avaliar a satisfação de clientes. Dissertação de mestrado. Departamento de Administração da Faculdade de Estudos Sociais Aplicado da Universidade de Brasília- UNB, Brasília, 162 p PRADO, Paulo H. Muller. Dimensão da resposta afetiva ao Processo de Compra e a Satisfação do Consumidor: o caso de Supermercados. Anais do XXI ENANPAD, Marketing, artigo nº 24, RECKASE, M. D. Unifactor latent trait models applied to multifactor tests: Results and implications. Journal of Educational Statistics, 4, p , ROSSI, C. A. V.; SLONGO, L. A.. Pesquisa de satisfação de clientes: o estado-da-arte e proposição de um método brasileiro. Revista de Administração Contemporânea: v.1, n.1, Rio de Janeiro: ANPAD, SPRENG, R. A.; MACKENZIE, S.B.; OLSHAVSKY, R.W. A Reexamination of the Determinants of Consumer Satisfaction. Journal of Marketing, n. 3, v. 6, p , jul-set/ ZICKAR, M. J. Conquering the next frontier: Modeling personality data with item response theory. In B. W. Roberts & R. Hogan (Eds.). Personality psychology in the workplace (pp ). Washington, DC: American Psychological Association,