UMA ABORDAGEM MULTICRITÉRIO ADITIVA PARA A CLASSIFICAÇÃO DA QUALIDADE DE SERVIÇOS COM MÚLTIPLOS AVALIADORES

Transcrição

1 A pesquisa Operacional e os Recursos Renováveis 4 a 7 de novembro de 2003, Natal-RN UMA ABORDAGEM MULTICRITÉRIO ADITIVA PARA A CLASSIFICAÇÃO DA QUALIDADE DE SERVIÇOS COM MÚLTIPLOS AVALIADORES André Luís Policani Freitas LEPROD/Centro de Ciência e Tecnologia/Universidade Estadual do Norte Fluminense Av. Alberto Lamego, 2000 Horto- Campos/RJ - (22) policani@uenf.br Resumo Em um cenário econômico caracterizado por uma acirrada competição pela conquista e manutenção de mercados consumidores, a busca da Excelência em Serviços e o interesse pela mensuração da qualidade dos serviços vêm sendo uma estratégia efetivamente utilizada por organizações para obtenção da vantagem competitiva (Cronin & Taylor, 992). Uma dos procedimentos mais empregados para avaliar/classificar a qualidade dos serviços é através da mensuração do Grau de Satisfação do avaliador (clientes, funcionários ou avaliadores externos) com o desempenho do serviço, à luz de um conjunto de critérios considerados relevantes. Neste contexto, este trabalho apresenta uma abordagem multicritério fundamentada na Teoria do Valor Multi-atributo, que se propõe a avaliar e classificar a qualidade dos serviços em problemas decisórios envolvendo múltiplos avaliadores. Através da realização de um experimento, este trabalho se propõe a investigar a utilização da referida abordagem na avaliação da qualidade de um curso de Inglês, sob o ponto de vista dos alunos. Palavras-chave: classificação, serviços, qualidade, múltiplos avaliadores, multicritério Abstract In an environment characterized by an intense competition for the conquest and maintenance of maretplaces, the Excellence in Services and the interest on the measure of Services Quality are an effective strategy used by the corporations to obtain the competitive advantage (Cronin & Taylor, 992). One of the most used procedures for evaluating/sorting the service quality is through the measurement of the evaluator s satisfaction rate (consumers, servers or extern evaluators) concerning a set of relevant criteria. In this context, this wor presents a multicriteria approach based on the Multi-Attribute Value Theory concepts for evaluating/classifying the service quality on the focus of the consumers. In order to investigate the application of this approach in the scope of classification problems, an experiment was conducted for evaluating/classifying the quality of an English Course. Key words: classification, services, quality, multi-evaluators, multicriteria. INTRODUÇÃO Desde o início dos anos 80, observa-se que as organizações prestadoras de serviços estão representando uma parcela cada vez maior e mais importante no cenário econômico mundial cenário este caracterizado por intensa competição pela conquista e manutenção de mercados consumidores. Neste contexto, a busca pela Excelência em Serviços e o interesse pela mensuração da qualidade de serviços vêm sendo uma estratégia efetivamente utilizada pelas organizações para a obtenção da vantagem competitiva (Cronin & Taylor, 992). Entretanto, uma das atividades mais complexas consiste em avaliar a qualidade dos serviços de forma adequada e precisa. Em especial, estas dificuldades estão associadas aos seguintes aspectos:

2 - a grande variedade de serviços existentes (heterogeneidade dos serviços) e o forte relacionamento com o ser humano dificultam a atividade de padronização e avaliação; - os serviços são consumidos quase que simultaneamente ao momento em que são produzidos (simultaneidade dos serviços), dificultando ou quase impossibilitando a detecção e correção das falhas antes que elas ocorram e afetem o cliente; - apesar de diversos estudos preliminares já terem sido realizados abordando o problema em questão, a qualidade de serviços ainda é um objeto de difícil compreensão, definição e entendimento, existindo afinidades e contrariedades entre os pesquisadores (vide o anexo A); - embora diversas metodologias terem sido desenvolvidas para avaliar a qualidade dos serviços, observa-se que ainda existe uma carência no tratamento de problemas desta natureza, principalmente no que diz respeito à subjetividade e imprecisões inerentes ao processo de julgamento. Em geral, estes problemas são caracterizados por julgamentos subjetivos envolvendo variáveis não tradicionalmente mensuráveis (variáveis qualitativas/subjetivas), onde imprecisões, hesitações e incertezas são incorporadas e ampliadas quando realizadas por múltiplos avaliadores. Em geral, nos problemas decisórios reais, administradores, gerentes e pesquisadores visam identificar, dentre outros aspectos: (i) os critérios que melhor definem a qualidade de um determinado serviço, (ii) os critérios mais (menos) importantes e os que geram mais satisfação (insatisfação) do cliente; (iii) o relacionamento entre a qualidade dos serviços e o grau de satisfação do cliente; e (iv) o impacto da qualidade do serviço e satisfação do cliente nas intenções de consumo do serviço. Neste sentido, este trabalho apresenta uma abordagem multicritério fundamentada na Teoria do Valor Multi-Atributo com o objetivo de contribuir para o tratamento do problema de classificação da qualidade de serviços, sob a ótica dos clientes (problema decisório com múltiplos avaliadores). Finalmente, apresenta-se um experimento que buscou classificar a qualidade de um Curso de Inglês. 2. O PROBLEMA DE CLASSIFICAÇÃO COM MÚLTIPLOS AVALIADORES A avaliação da qualidade de serviços constitui-se numa atividade de extrema importância para que uma organização seja competitiva apesar de existirem inúmeras dificuldades devido à ausência de padrões de qualidade suficientemente objetivos e precisos. Especificamente no contexto das metodologias de auxílio à tomada de decisão sob múltiplos critérios, o problema de classificação da qualidade dos serviços é um problema de decisório em que um conjunto de avaliadores A = {A, A 2,..., A m }, além de avaliar um serviço X genérico à luz de um conjunto F = {g, g 2,..., g n } de dimensões da qualidade (critérios), devem também atribuir o desempenho deste serviço a uma das categorias pré-estabelecidas. Estas categorias são limitadas por fronteiras compostas de elementos cujos valores dependem da escala de julgamento utilizada. Dentre as escalas usualmente utilizadas, destacam-se a escala em estrelas (utilizadas na classificação da categoria de hotéis, restaurantes, etc.) e a escala alfabética (utilizada até recentemente na avaliação de cursos de pós-graduação pela CAPES e, atualmente, na avaliação dos cursos de graduação pelo MEC) (Freitas, 200). A figura ilustra esquematicamente este problema. 22

3 Fronteira Fronteira 2 Categoria A Fronteira 3 Fronteira 4 Categoria 2 Categoria 3 B C? X Fronteira 5 Categoria 4 D Fronteira 6 Categoria 5 E Figura - Classificação do serviço X segundo a escala alfabética (Freitas, 200) Uma das formas mais empregadas para avaliar e classificar a qualidade dos serviços é através da mensuração do Grau de Satisfação dos avaliadores (clientes, funcionários ou avaliadores externos) com o desempenho do serviço à luz de um conjunto de critérios considerados relevantes o que caracteriza um problema de decisão multicritério envolvendo múltiplos avaliadores/decisores (a figura 2 ilustra esquematicamente este problema). Em especial, a modelagem e o tratamento desta categoria de problemas ainda representam um grande desafio para os especialistas em análise decisória. Cliente Cliente 2 Cliente 3... Cliente m Critério Critério 2 Critério 3... Critério n Serviço X? C C 2 C 3 C 4 C 5 Figura 2: Problema de decisão multicritério com múltiplos avaliadores Uma das maiores dificuldades encontradas em problemas desta natureza consiste em estabelecer um procedimento ou regras de decisão que permitam obter um consenso entre avaliadores/decisores. Esta tarefa geralmente não é fácil, principalmente devido à existência de diversos parâmetros a serem definidos, tais como: os critérios mais relevantes ao problema, a importância destes critérios, os limites de preferência, os limites de corte, etc.(greco et al, 200). Além disso, acrescenta-se a este aspecto a natureza subjetiva e intrínseca ao processo de julgamento do serviço (alternativa ou objeto) à luz dos critérios especificados. No contexto do tratamento da subjetividade, das imprecisões e incertezas intrínsecas aos processos decisórios, metodologias de AMD e teorias correlatas (a Teoria dos Conjuntos Aproximativos, a Lógica Fuzzy, a Análise da Envoltória de Dados, dentre outras) continuam sendo desenvolvidas. Entretanto, a maior parte destas dedica-se ao tratamento de problemas envolvendo um único avaliador/decisor. Este fato revela que ainda existe uma carência de 23

4 ferramentas científicas que permitam o tratamento de problemas decisórios com múltiplos avaliadores/decisores. Objetivando contribuir para o suprimento desta carência, neste trabalho apresenta-se um modelo de auxílio à decisão multicritério fundamentado na agregação das preferências dos avaliadores. A seção seguinte apresenta algumas particularidades deste modelo e a sua estruturação. 3. O MODELO ADITIVO PROPOSTO Nesta seção utilizam-se os fundamentos da Teoria do Valor Multi-Atributo (MAVT) para a estruturação do problema de classificação multicritério sob o ponto de vista de múltiplos avaliadores. Segundo Gal et al. (999), a MAVT é uma simplificação da Teoria da Utilidade Multi-Atributo (MAUT) porque, ao contrário desta última, não procura modelar o comportamento do decisor em relação ao risco sob vários critérios. Entretanto, diferentemente da concepção destas teorias, o modelo proposto não considera o somatório da importância dos critérios como sendo equivalente à unidade. Em especial, considera-se que em muitas ocasiões o avaliador/decisor não deseja (ou não é capaz) de estabelecer a importância relativa entre tais critérios. Neste contexto, deve-se agregar n funções critério g j : A a Y j, j =,..., n em uma única função critério g definida em A, onde A = {A, A 2,..., A m } representa o conjunto (finito e discreto) de avaliadores que deverão avaliar ou comparar uma ou mais alternativas denotadas por X = {X, X 2,..., X r }, e Y j, R a j-ésima escala de avaliação. No caso específico da utilidade aditiva, neste trabalho definem-se duas funções utilidade: a função utilidade otimista e a função utilidade pessimista. A utilidade otimista de uma alternativa X p, denotada por U i + (X p ), representa uma medida do desempenho da mesma segundo os julgamentos do avaliador A i, à luz de todos os critérios. Em seu cálculo, são incorporados os pesos (importâncias) de cada critério estabelecidos por cada avaliador. Por outro lado, no cálculo da utilidade pessimista, denotada por U i - (X p ), são introduzidos os pesos máximos observados em cada critério o que torna este procedimento mais rigoroso. As equações () e (2) representam respectivamente estas funções. onde: U U i + i (X (X p p ) = ) = n n j= j= u u n [ g(x p )] j= n [ g(x p )] j= j max () (2) - jj é a importância (peso) de cada critério j, definido pelo avaliador A i, i =,..., m. - jmax é a importância máxima observada para cada critério j. - g (X p ) é o desempenho da alternativa X p, definido pelo avaliador A i, à luz de cada critério j. - u [g (X p )] é a função utilidade marginal do critério j. Cada função utilidade marginal deve possuir um procedimento para transformar a escala do critério correspondente em termos de valores (utilidade), ou seja, é essencialmente necessário converter todos os critérios para a mesma unidade. 24

5 Entretanto, em problemas decisórios reais envolvendo múltiplos avaliadores, pode ser necessário estabelecer um valor da utilidade global para a referida alternativa, considerando os julgamentos de todos os avaliadores. Nesta circunstância, a função utilidade global otimista U + (X p ) e a função utilidade global pessimista U - (X p ) serão expressas respectivamente por: U U + (X (X p p ) = ) = m m n i j= n i j= u u m n [ g(x p )] i= j= m n [ g(x p )] i= j= j max (3) (4) Em problemas de classificação, este valor pode ser utilizado como um índice para determinar em que categoria o desempenho de uma alternativa genérica X p será atribuída. De um modo geral, o problema de classificação consiste em comparar a utilidade de cada alternativa com os limites inferiores que limitam cada categoria predefinida da seguinte forma: U(X p ) u X p C u 2 U(X p ) < u X p C 2 M U(X p ) < u - X p C É importante observar que as regras de classificação dispostas acima podem ser empregadas para classificar o desempenho de cada alternativa a partir do julgamento de cada avaliador (utilizando as equações e 2) e também para obter as classificações globais deste desempenho, a partir das funções de utilidade global U + (X p ) e U - (X p ) (equações 3 e 4). Procedimentos de classificação similares são utilizadas pelo método UTA (Jacquet-Lagrèze e Sisos, 982), pelo método UTADIS (Zopounidis e Doumpos, 999) e suas variações (Doumpos e Zopounidis, 998), dentre outros. 3. ESTRUTURAÇÃO DO MODELO PROPOSTO De maneira mais sucinta, a utilização do modelo proposto em problemas de decisão sob múltiplos critérios envolvendo múltiplos avaliadores, está estruturada no cumprimento das seguintes etapas: (i) identificação do conjunto X = {X, X 2,..., X r } de alternativas (objetos) a serem avaliados; (ii) identificação do conjunto F = {g, g 2,..., g n } de critérios; (iii) identificação do conjunto A = {A, A 2,..., A m } de avaliadores (julgadores); (iv) identificação das categorias de classificação e seus respectivos limites; (v) determinação das escalas de avaliação: a escala da importância dos critérios e a escala de avaliação do desempenho das alternativas à luz dos critérios; (vi) avaliação da importância (pesos) dos n critérios, e a avaliação do desempenho de cada alternativa em relação a cada um dos n critérios, sob o ponto de vista de cada avaliador A i ; (vii) agregação dos julgamentos segundo as preferências de cada avaliador, utilizando as equações () e (2); (viii) para cada alternativa, agregar os julgamentos dos m avaliadores em uma utilidade de desempenho global, utilizando as equações (3) e (4); (ix) a partir das utilidades obtidas, atribuir o desempenho das alternativas a uma das categorias pré-definidas (problemas de classificação). Segundo Freitas e Costa (2002), estas utilidades também podem ser utilizadas para selecionar a(s) melhor(es) alternativa(s) ou a(s) pior(es) alternativa(s) (problema de escolha/seleção), e também para ordenar as alternativas da melhor à pior (ou vice-versa) (problema de ordenação). 25

6 4. UM EXPERIMENTO Nesta seção investiga-se o emprego da abordagem multicritério proposta para o tratamento de problemas de avaliação/classificação envolvendo múltiplos avaliadores. Particularmente, este experimento foi realizado no Laboratório de Língua Estrangeira e Multimídia do CEFET Campos/UNED Macaé. O município de Macaé/RJ destaca-se nacionalmente pela alta concentração de mão-de-obra estrangeira e de empresas multinacionais, decorrente do desenvolvimento da indústria petrolífera na Bacia de Campos dos Goytacazes/RJ. Este fato coloca o ensino de idiomas estrangeiros como sendo uma das atividades mais importantes para o desenvolvimento tecnológico local o que motivou a realização deste experimento. Em especial, este experimento buscou-se avaliar e classificar a qualidade de um Curso de Inglês, oferecido pela UNED Macaé às empresas e à comunidade local, através da captação dos julgamentos dos 8 alunos matriculados. Este trabalho teve caráter experimental, no sentido de consolidar a realização de atividades de extensão no ensino de idiomas estrangeiros. Ressalta-se também que ainda existem muitos questionamentos e contradições no que diz respeito à forma mais adequada de avaliação da Qualidade de Ensino e também de quem seria esta responsabilidade. Particularmente, questiona-se se esta avaliação seria de competência de docentes, de discentes ou de órgãos governamentais. Este experimento está estruturado nas seguintes etapas: (i) Identificação do conjunto de alternativas a serem avaliadas: neste experimento, buscou-se avaliar o desempenho de um Curso de Inglês, denotado por X. Este curso destinou-se essencialmente ao desenvolvimento da habilidade de leitura, interpretação e escrita de textos em inglês. Entretanto, parte do programa foi reservada para tratar de aspectos gramaticais e da estrutura desta língua. Como restrição, apenas a condição do aluno possuir o ensino médio completo (antigo 2. o grau). (ii) Identificação do conjunto de avaliadores (alunos) A = {A, A 2, A 3, A 4, A 5, A 6, A 7, A 8, A 9, A 0, A, A 2, A 3, A 4, A 5, A 6, A 7, A 8 }: ao final do curso, os alunos foram solicitados a preencher um formulário de avaliação especificamente desenvolvido para a realização deste experimento. (iii) Identificação dos critérios: neste experimento, os critérios considerados relevantes na avaliação de um curso de inglês foram definidos a partir de informações fornecidas por professores, alunos e funcionários administrativos, o que conduziu a dez critérios principais, ilustrados na tabela. Neste estudo preliminar considerou-se também o conceito de Momentos da Verdade (Albrecht & Bradford, 990), que sugere que o cliente pode ter uma boa ou má impressão do serviço ao entrar em contato com qualquer aspecto da organização, e não somente com os aspectos relacionados à execução do serviço (atividade de ensino) propriamente dito. Critérios Cód. Aspectos Considerados Material didático Cr O material didático é bom? Conteúdo do curso Cr 2 O conteúdo do curso é adequado? Carga horária Cr 3 A carga horária é suficiente? Preço do curso Cr 4 O preço do curso é acessível? Limpeza do local Cr 5 O local é limpo? Conforto do local Cr 6 O local é confortável? 26

7 Pontualidade do professor Cr 7 O professor é pontual? Presteza do professor Cr 8 O professor é prestativo? Conhecimento do professor Cr 9 O professor demonstra domínio sobre o assunto? Didática do professor Cr 0 O professor explica de forma clara? Tabela Critérios considerados na avaliação (iv) Categorias de classificação e limites das categorias: neste experimento, os julgamentos foram classificados em cinco categorias representados por uma escala alfabética que varia de A a E. As categorias, os seus respectivos limites e os conceitos associados encontram-se na tabela 2. Categorias Limites Conceitos C U 4,50 A - Muito Bom C 2 3,50 < U < 4,50 B - Bom C 3 2,50 U 3,50 C - Regular C 4,50 < U < 2,50 D - Ruim C 5 U,50 E - Péssimo Tabela 2 Categorias, limites e conceitos (v) Escala de julgamento de valores: para permitir o julgamento dos Graus de Importância dos critérios e os Graus de Satisfação com o desempenho do curso em relação a cada critério, neste experimento utilizou-se a escala de Liert que permite associar uma escala nominal a valores numéricos. As tabelas 3 e 4 apresentam as escalas adotadas neste experimento. Muito Importante Importante Mais ou menos Importante Pouco Importante Nada Importante Tabela 3: Escala para avaliação dos Graus de Importância dos critérios Muito Satisfeito Satisfeito Nem Satisfeito Nem Insatisfeito Insatisfeito Muito Insatisfeito Tabela 4: Escala para avaliação dos Graus de Satisfação com o desempenho do curso (vi) Julgamentos: através do preenchimento de um formulário especificamente para este experimento, cada aluno estabeleceu o Grau de Importância (GI) de cada critério e o seu Grau de Satisfação (GS) com o desempenho do curso à luz de cada critério considerado. Estes valores estão ilustrados na tabela 7 (Anexo). (vii) Resultados: As utilidades do desempenho do curso sob o ponto de vista de cada avaliador (aluno) e também sob o ponto de vista de todos os alunos (utilidade global) estão dispostas na tabela 7. Nesta tabela apresenta-se também o resultado dos procedimentos de classificação, o grau de importância médio de cada critério ( GI ) e o grau de satisfação médio com o desempenho do serviço à luz de cada critério ( GS ). (viii) Análise dos resultados: o objetivo principal desta análise é identificar aspectos que podem ser aperfeiçoados, visando a melhoria da qualidade do curso oferecido. Um dos aspectos observados é que a restrição de que o aluno já tivesse concluído o ensino médio completo conduziu a um público heterogêneo, principalmente em relação a formação (técnica/não técnica), escolaridade (ensino médio/superior) e conhecimento da língua inglesa (iniciante/intermediário/avançado). Informações adicionais relatadas nos formulários de pesquisa contribuem de forma significativa para esta análise. Estas informações foram agrupadas em três tópicos principais, conforme a tabela 5: 27

8 Tópicos Conteúdo do curso Local Aula Aspectos Observados - textos técnicos agradaram mais àqueles que possuíam formação técnica, enquanto textos comerciais agradaram mais àqueles que possuíam formação não técnica; - as aulas foram muito instrutivas para os iniciantes na língua inglesa, ao passo que para os alunos intermediários/mais avançados, o curso teve caráter de recordação da estrutura da língua e aprimoramento da habilidade de leitura/interpretação de textos. Estes últimos desejavam desenvolver a habilidade de conversação o que não fazia parte do objetivo do curso; - o programa do curso foi excessivo para alguns e adequado para outros, em relação à carga horária disponível; - o enriquecimento do vocabulário (técnico ou não) e de expressões idiomáticas foi muito destacado pelos alunos. - a sala de aula era confortável e moderna, dispondo de cadeiras acolchoadas, climatização eficiente, quadro branco e dimensões amplas; - algumas vezes a sala apresentou-se desarrumada e com lixo, decorrente da falta de limpeza antes do curso. - a presteza e a didática do professor em explicar o conteúdo do curso para alunos iniciantes sem, no entanto, tornar a aula desestimulante para aqueles que já possuíam algum conhecimento; - a habilidade do professor em conduzir a discussão de temas técnicos e às vezes polêmicos numa classe heterogênea em formação (conhecimentos e cultura geral). Tabela 5: Aspectos mais comentados nos formulários de pesquisa Neste contexto, de acordo com a tabela 7, verifica-se que os critérios que mais importantes são a Presteza e o Conhecimento do professor. Analogamente, os critérios Conforto do Local, Pontualidade e Conhecimento do professor foram os considerados mais satisfatórios. Os critérios mais críticos (aqueles que apresentam maior Gap: Gap = GS - GI ) dizem respeito ao Material didático, ao Conteúdo do curso e à Carga horária (a figura 2 ilustra esta informação). 5,20 Julgamentos 5,00 4,80 4,60 4,40 4,20 4,00 3,80 3,60 4,44 4,22 4,6 4,7 4,56 4,22 4,89 4,78 4,78 4,56 4,94 4,94 4,72 4,78 5,00 5,00 4,89 4,83 4,83 Cr Cr2 Cr3 Cr4 Cr5 Cr6 Cr7 Cr8 Cr9 Cr0 Critérios GI GS Figura 2: Valores de obtidos GS e GI ) obtidos no experimento Analisando estes resultados, constata-se que a insatisfação em relação a estes critérios em muito se deve a heterogeneidade dos alunos - fato já comentado anteriormente. Uma possibilidade para atenuar ou eliminar este problema seria distinguir o público-alvo dos cursos oferecidos, por exemplo, quanto à formação (técnica/não técnica) e também quanto ao 28

9 nível de conhecimento da língua (iniciante/intermediário/avançado). Ressalta-se ainda que o objetivo principal do curso deve ser destacado: leitura/interpretação/escrita de textos ou conversação. Procedimento pessimista vs procedimento otimista: a tabela 6 apresenta o agrupamento das utilidades de cada avaliador de acordo com a categoria às quais estas foram atribuídas. Os procedimentos de atribuição apresentados neste trabalho têm objetivos distintos, diferenciando-se essencialmente na forma com que as preferências dos avaliadores a respeito do grau de importância de cada critério são consideradas. 5 Categorias Classificação Pessimista Classificação Otimista A, A 3, A 6, A 8, A 3, A 4, A 5, 7 A, A 2,A 3, A 4, A 6, A 7, A 8, A 9, Muito Bom (39%) A 0, A 2, A 3, A 4, A 5, A 7, A 8 (83%) Bom A 2, A 4, A 5, A 7, A 9, A 0, A, A 2, A 6, A 7, A 8 (6%) A 5, A, A 6 3 (7%) Tabela 6 - Atribuições dos desempenhos por categorias Neste sentido, o procedimento otimista busca determinar um valor de utilidade (e conseqüentemente, uma classificação) somente utilizando as preferências individuais de cada avaliador a respeito de cada critério. Ou seja, a utilidade é obtida considerando-se como padrões de referência os próprios julgamentos de cada avaliador. Por outro lado, o procedimento pessimista considera como padrões de referência os julgamentos de todos os outros avaliadores particularmente, considera-se como padrão de referência os valores máximos observados dos graus de importância de cada critério. A partir desta análise, observa-se que: - a utilidade otimista é mais fortemente influenciada pelo Gap entre os graus de importância de cada critério e a satisfação do avaliador com o desempenho do objeto avaliado (neste experimento, o curso) à luz deste critério. Neste contexto, Gaps maiores contribuem mais para a diminuição da utilidade. É importante observar que, apesar de um critério ser insatisfatório por um determinado avaliador, este julgamento poderá não ter grande influência no valor da utilidade se este critério não for considerado muito importante por este mesmo avaliador. Esta observação pode ser facilmente constatada a partir dos julgamentos dos avaliadores A 2 e A 9. - a utilidade pessimista é mais fortemente influenciada pela diferença entre a importância de cada critério estabelecida por um avaliador e o maior valor de importância observado para este critério, considerando as preferências de todos os avaliadores. Nestas condições, constata-se que um Gap pequeno entre o grau de importância de cada critério e a satisfação do avaliador com o desempenho do objeto avaliado à luz deste critério não necessariamente contribui para valores maiores de utilidade. Em especial, se um critério for de pouca importância e o desempenho do objeto à luz deste critério for insatisfatório sob o ponto de vista de um determinado avaliador, o valor da utilidade será comprometido caso algum avaliador considere este critério muito importante (este último será o valor de referência para tal critério). Considerando os resultados obtidos, constata-se que o desempenho do Curso de Inglês foi considerado Bom, segundo a classificação pessimista, e Muito Bom, segundo a classificação otimista. Estas classificações são percebidas através da freqüência de atribuições dos julgamentos dos alunos a cada categoria e também através da utilização do valor da utilidade global (tabela 7). 5. CONCLUSÕES 29

10 Neste trabalho investigou-se o tratamento do problema de classificação multicritério, envolvendo múltiplos avaliadores. Esta categoria de problemas continua sendo de grande interesse por parte de pesquisadores da área de Auxílio à Decisão Multicritério. Mais especificamente, neste trabalho apresentou-se uma abordagem multicritério aditiva que tem como objetivo agregar as preferências de cada um dos avaliadores em um valor de utilidade. Adicionalmente, utiliza-se este mesmo princípio para agregar as preferências dos múltiplos avaliadores em um valor de utilidade global. Para tanto, foram propostas duas funções utilidade (uma função utilidade otimista e uma função utilidade pessimista) que possuem enfoques distintos. Através da realização de um experimento, utilizou-se a abordagem proposta para avaliar e classificar o desempenho de um Curso de Inglês sob o ponto de vista dos alunos. Além da investigação de aspectos metodológicos acerca do emprego da abordagem apresentada, foi possível identificar elementos importantes para a melhoria da qualidade do curso, tais como: (i) os critérios mais importantes (e os menos importantes) e os que geram mais satisfação (insatisfação), segundo o ponto de vista dos alunos (clientes). Em especial, esta informação é de grande interesse de administradores, gerentes e pesquisadores. (ii) a situação de conflito entre os clientes. Conforme os resultados obtidos não houve um consenso (em geral, devido a subjetividade existente em problemas desta natureza, não há mesmo o consenso) entre os clientes a respeito da categoria em que o desempenho do serviço foi atribuído. As situações de conflito também continuam sendo um dos grandes desafios encontrados pelas metodologias de AMD e teorias correlatas. Se por um lado os julgamentos individuais relevam as preferências de cada avaliador, por outro lado evidencia as situações de conflito. Com o objetivo de tratar destas situações, metodologias e procedimentos que buscam agregar as preferências dos julgadores estão sendo desenvolvidos. Entretanto, ainda questiona-se se existe uma perda na qualidade e riqueza da informação ao utilizar um procedimento que condensa os julgamentos de múltiplos avaliadores em um único valor. (iii) identificar agrupamentos de avaliadores cujos julgamentos conduziram o desempenho do serviço a categorias semelhantes. Esta informação pode ser de grande valia, caso os clientes (avaliadores) tenham se identificado, tornando possível um aprofundamento particular da pesquisa realizada. (iv) obter uma avaliação/classificação considerando somente as preferências individuais de cada avaliador (procedimento otimista) e também uma avaliação/classificação obtida a partir das preferências de cada avaliador e do grupo de avaliadores (procedimento pessimista). Apesar do experimento ter sido enfocado na avaliação da Qualidade de Serviços, acredita-se que a abordagem proposta possa ser satisfatoriamente empregada no tratamento de problemas de decisão multicritério de diversas naturezas, envolvendo múltiplos avaliadores. Em sua essência, este trabalho buscou investigar a utilização de uma abordagem destinada a incorporar os julgamentos de múltiplos avaliadores, visto que muitas das metodologias de AMD são desenvolvidas para o tratamento de problemas decisórios que envolvem os julgamentos de um único avaliador. Neste sentido, espera-se que o mesmo seja objeto de motivação para a continuidade das pesquisas que busquem tratar do problema em questão. 30

11 6. REFERÊNCIAS BIBLIOGRÁFICAS ALBRECHT, K., BRADFORD, L. J, The Service Advantage, Richard D. Irwin, Inc, 990. BOLTON, R.N., DREW, J. H., A Longitudinal Analysis of the Impact of Service Changes on Customer Attitudes, Journal of Mareting, v. 55, p.-9, Jan, 99a. BOLTON, R.N., DREW, J. H., A Multistage Model of Customer s Assesments of Service Quality and Value, Journal of Consumer Research, v. 7, p , March. 99b. CRONIN, J.J., TAYLOR, S.A., Measuring Service Quality: A Reexamination and Extension, Journal of Mareting, v. 56, p.55-68, July DOUMPOUS, M., ZOPOUNIDIS, C., The Use of The Preference Disaggregation Analysis in the Assesment of Financial Riss, Fuzzy Economic Review, n.º 3 (), pp , 998. FREITAS, A. L. P., Uma Metodologia Multicritério de Subordinação para a Classificação da Qualidade de Serviços sob a Ótica do Cliente, Tese de Doutorado - Programa de Pós- Graduação em Ciências de Engenharia - Universidade Estadual do Norte Fluminense, jul 200. GAL, T., STEWART, T. H., HANNE, T., Multiciteria Decision Maing: Advances in MCDM Models, Algorithms, Theory, and its Applications, Kluwer Academic Publishers, 999. GRECO ET AL, Rough Sets Theory For Multicriteria Decision Analysis, European Journal of Operational Research, n. o 29, pp. 47, 200. JACKET-LAGRÈZE, E., SISKOS, J., Assessing a Set of Additive Utility Functions for Multicriteria Decision-maing, The UTA Method, European Journal of Operational Research, v. 0, pp. 5 64, 982. KEENEY, R. L., RAIFFA, H., Decisions With Multiple Objectives: Preferences And Value Tradeoffs, John Wiley And Sons, 989. OLIVER, R.L., A Cognitive Model of the Antecedents and Consequences of Satisfaction Decisions, Journal of Mareting Research, n. 7, p , 980. PARASURAMAN, A. ZEITHAML, V., BERRY, L., SERVQUAL: A Multiple-Item Scale for Measuring Costumer Perceptions of Service Quality, Journal of Retailing, n. o 64, p.2-40, 988. ZOPOUNIDIS, C. ET AL., Stoc Evaluation Using a Preference Disaggregation Methodology, Decision Sciences, n.º 30 (2), pp , 999. Agradecimentos: O autor agradece o apoio institucional fornecido pela Universidade Estadual do Norte Fluminense (UENF) e pelo Centro Federal de Educação Tecnologia de Campos/UNED - Macaé. Particularmente, o autor agradece a importante contribuição da Prof.ª Andréa de Almeida Abdu, sem a qual não teria sido possível a realização deste trabalho. ANEXO A: ALGUMAS DEFINIÇÕES PARA QUALIDADE DE SERVIÇOS Estudos SERVQUAL (Parasuraman et al., 985) Bolton e Drew (99a) Forma de avaliação da qualidade de serviços A diferença entre as expectativas dos consumidores sobre o desempenho de um serviço e suas estimações do atual desempenho de organização de serviço fornece a percepção da qualidade de serviços. A qualidade de serviços é análoga a uma atitude de forma a sugerir que satisfação é um antecedente da qualidade de serviços. A qualidade percebida dos serviços (Attitude t ) é uma função da percepção residual do consumidor a respeito da qualidade dos serviços de um período anterior (Attitude t- ) e o seu nível de satisfação (ou insatisfação) com o atual nível de desempenho do serviço (CS/D t ). Esta noção pode ser equacionada da 3

12 seguinte forma: Attitude t = g(cs/d t, Attitude t- ). Bolton e Drew (99b) A qualidade de serviço é uma função do nível de satisfação (ou insatisfação) do consumidor com o atual nível de desempenho do serviço (CS/D t ) e da não confirmação de suas expectativas (disconfirmation). Qualidade de Serviço = q 0 (CS/D t, não confirmação). Oliver (980) A qualidade de serviço é uma forma de atitude. A atitude (Att) é inicialmente uma função das expectativas (Exp): [Att t = f (Exp)]. Posteriormente, a atitude é uma função da atitude anterior e o atual nível de SERVPERF Cronin & Taylor (992) satisfação com o produto ou serviço (Sat): [Att t2 = f (Att t, Sat t2 )]. Qualidade de serviços = estimação do consumidor a respeito do atual desempenho de uma organização de serviço. ANEXO B: RESULTADOS DO EXPERIMENTO Julgamentos Cr Cr2 Cr3 Cr4 Cr5 Cr6 Cr7 Cr8 Cr9 Cr0 Classificação otimista Ai GI GS GI GS GI GS GI GS GI GS GI GS GI GS GI GS GI GS GI GS U + (X p ) Classe Classificação pessimista 32

13 FORMULÁRIO DE AVALIAÇÃO DE CURSO NOME (se desejar): Data: / / Indique o Grau de Importância e o Grau de Satisfação em relação aos critérios considerados: Muito Importante Importante Mais ou menos Pouco Importante Nada Importante Importante Muito Satisfeito Satisfeito Nem Satisfeito Insatisfeito Muito Insatisfeito Nem Insatisfeito Grau de Importância Grau de Satisfação Critérios Critérios Material didático Material didático é bom? Conteúdo do curso O conteúdo do curso é adequado? Carga horária A carga horária é suficiente? Preço do curso O preço do curso é acessível? Limpeza do local O local é limpo? Conforto do local O local é confortável? Pontualidade do professor O professor é pontual? Presteza do professor O professor é prestativo? Conhecimento do professor O professor conhece o assunto? Didática do professor O professor explica claramente? Cite três aspectos em que o curso se destacou negativamente: Cite três aspectos em que o curso se destacou positivamente: Sugestões: Agradecemos a sua colaboração. 33