Autoria: Ângela Freitag Brodbeck, Luís Kalb Roses, Vinícius Andrade Brei

Transcrição

1 Governança de TI: Medindo o Nível de Serviços Acordados entre as Unidades Usuárias e o Departamento de Sistemas de Informação Autoria: Ângela Freitag Brodbeck, Luís Kalb Roses, Vinícius Andrade Brei Resumo Este artigo apresenta uma investigação de natureza exploratória, sobre o nível de serviço fornecido pelo Departamento de Sistemas de Informações (DSI) de uma empresa metalúrgica multinacional para as suas unidades usuárias, visando a melhoria contínua de sua gestão de Tecnologia de Informação (TI). O principal propósito foi confrontar a percepção de como os usuários das unidades esperam receber estes serviços com a percepção dos funcionários do DSI (como eles acham que os usuários percebem o recebimento de seus serviços), analisando o gap resultante. Para tanto, foi realizada uma survey utilizando um instrumento de coleta de dados baseado em pesquisas sobre percepção do nível de serviços prestados por terceiros originado na área de Marketing e ajustado para a área de TI, onde foi possível verificar os pontos fortes e fracos apontados pelos usuários das unidades com relação aos serviços acordados com o DSI. Os principais resultados encontrados demonstram que: os usuários das unidades da empresa estudada encontram-se parcialmente satisfeitos com a maioria dos serviços acordados com o DSI; existem alguns problemas relacionados ao grau de confiabilidade (prazos e conformidade); apesar do instrumento original ter se mostrado adequado para aplicação em serviços na área de TI, talvez ele mereça ajustes. 1. Introdução O termo "Governança de TI" é definido como uma estrutura de relações e processos que dirige e controla uma organização a fim de atingir seu objetivo de adicionar valor ao negócio através do gerenciamento balanceado do risco com o retorno do investimento de TI. Em 1996, o IT Governance Institute criou uma ferramenta chamada CobiT (Control Objectives for Information and Related Technology), incluindo uma série de recursos e práticas de gestão recomendadas pelos peritos em gestão de TI que ajudam a otimizar os investimentos de TI e fornecem métricas para avaliação dos resultados. O CobiT (2004) é orientado para fornecer informações detalhadas para gerenciar processos baseados em objetivos de negócios, tendo sido projetado para auxiliar três audiências distintas: (1) os gerentes que necessitam avaliar o risco e controlar os investimentos de TI; (2) os usuários que precisam ter garantias de que os serviços de TI dos quais dependem seus produtos e serviços tanto para os clientes internos e externos, estão sendo bem gerenciados; e (3) os auditores que podem se apoiar nas recomendações do CobiT (2004) para avaliar o nível da gestão de TI e aconselhar o controle interno da organização. Um dos principais domínios do CobiT (2004), chamado Entrega e Suporte, que visa o atendimento e gerenciamento do relacionamento entre gerentes e usuários, apresenta os procedimentos e métricas para definição e manutenção dos acordos de níveis de serviços entre os usuários e os fornecedores de TI (terceirizados ou internos), tema foco deste artigo. Os acordos de nível de serviço formalizam o relacionamento entre as partes e devem permitir maior eficiência na administração dos recursos e serviços de SI, facilitando a comunicação, a coordenação e a entrega dos serviços entre as partes envolvidas. Uma abordagem baseada neste tipo de relacionamento pode trazer inúmeras vantagens, tais como, definição clara das responsabilidades, fornecimento de uma estrutura de projeto e entrega de serviços; e a criação de incentivos para melhoria das práticas relacionadas ao 1

2 desenvolvimento e qualidade dos SI e, conseqüente, redução de riscos para a empresa. É inegável a importância de um bom relacionamento entre o Departamento de Sistemas de Informação (DSI) e os usuários finais. Infelizmente, esta relação nem sempre é muito boa, causando baixa qualidade nos serviços prestados e levando à terceirização e o desenvolvimento de aplicações por usuários finais (TURBAN et al. 2004; MULLER, 1999). Dentro do contexto brasileiro, observa-se que várias empresas contatadas pelos pesquisadores vêm tratando o DSI como uma organização que administra os serviços de TI e SI a serem disponibilizados para o corporativo e todas as suas unidades. Sendo assim, tornase imprescindível que haja uma parceria entre o DSI (fornecedor) e os usuários (cliente) para a melhoria contínua da prestação dos serviços fornecidos, como fator de redução de conflitos entre as partes. O componente de serviço relacionado com Sistemas de Informação (SI) vem crescendo em importância na análise de sua efetividade, principalmente num contexto de altos investimentos para a demanda crescente de suporte ao atendimento dos usuários, cujas requisições se dão cada vez menos face-a-face e cada vez mais por mídia eletrônica como e- mail, call center, help desk, entre outros (JIANG et al., 2000). Porém a maioria dos estudos realizados tem mostrado que as medidas normalmente utilizadas na análise da efetividade de SI focam em seus produtos, ao invés de focar em seus serviços (PITT et al., 1995). Uma das formas de gerenciamento do nível de atendimento dos acordos de serviços pode ser realizada através da visão da qualidade do serviço prestado, interpretada como uma combinação de medidas sobre expectativas do serviço contratado e sobre a percepção do serviço provido. Um modelo chamado SERVQUAL, originado na área de Marketing (CRONIN e TAYLOR, 1992; PARASURAMAN et al., 1985) e adaptado para a área de SI (KETINGER e LEE, 1999; PITT et al., 1995), permite medir a qualidade do serviço através de dois instrumentos de pesquisa: um que mede as expectativas na contratação dos serviços (SERVEXP) e o outro a performance na entrega do serviço (SERVPERF). A maioria das pesquisas tem aplicado o modelo junto aos usuários e aos fornecedores, possibilitando um exame da diferença gap entre as percepções de cada uma das partes envolvidas e a performance do serviço prestado, visando a melhoria do relacionamento e da entrega dos serviços acordados. A empresa estudada nesta pesquisa encontra-se entre aquelas empresas que estão observando de perto os guias e padrões do CobiT (2004), sendo composta por um DSI ligado ao órgão corporativo do grupo, atende 10 unidades fabris e 6 centros de distribuição localizados no Brasil, 3 unidades fabris e mais de 10 escritórios localizados em países estrangeiros, mantendo a preocupação constante na entrega e suporte do serviço de SI contratado por estas unidades usuárias. A visão do DSI é de fornecedor apesar dos seus usuários serem clientes internos, ou seja, seus colegas. Este contexto levou o Comitê de SI e o Conselho Diretor do grupo, a refletir sobre como estaria sendo percebida a performance do serviço do DSI pelas unidades usuárias e vice-versa, ou seja, como o DSI estaria percebendo este relacionamento entre ele e seus clientes?. Desta forma, o objetivo principal deste estudo exploratório foi o de determinar qual a percepção dos usuários e dos funcionários do DSI com relação ao nível de serviços acordados entre ambas as partes, dentro do contexto da empresa estudada, buscando verificar a qualidade percebida do serviço para cada uma das cinco dimensões do SERVPERF (o serviço já ocorreu) bem como a importância relativa de cada dimensão. Como objetivos secundários, buscou-se analisar o gap entre o que os usuários percebem do DSI e o que o DSI entende que os usuários percebem efetivamente com relação a eles; avaliar o uso do instrumento adaptado para SI dentro do contexto de uma empresa brasileira que mantém o relacionamento cliente interno e DSI (em vez de terceirizados); e analisar as possibilidades da pesquisa entrar para o contexto da gestão permanente de TI, proporcionando melhoria contínua aos processos do 2

3 DSI e, futuramente, conectar os resultados individuais dos membros do DSI ao programa de incentivos individuais e coletivos do grupo. Nas próximas seções, descrevem-se os conceitos que fundamentaram a operacionalização desta pesquisa; apresenta-se a metodologia empregada para atendimento dos objetivos e garantia da consistência dos resultados; são relatadas as análises estatísticas realizadas e discutidos os principais resultados obtidos pela aplicação do SERVPERF junto às unidades usuárias e aos membros do DSI; e, por fim, são apresentados os principais pontos fortes e fracos do relacionamento atual encontrado dentro da empresa estudada assim como as contribuições e sugestões para pesquisas futuras. 2. Acordo de Nível de Serviços O acordo de nível de serviço ou SLA (Service Level Agreement), inserido no contexto de encontros de serviços internos entre a área de SI com as demais áreas usuárias de uma organização, também chamadas de áreas clientes, é formulado com base em dados de performance obtidos de diversas ferramentas e das necessidades e expectativas dos usuários sobre os níveis de serviço de SI. Desta forma, é possível que o DSI trabalhe com parâmetros estruturados sobre suas responsabilidades em relação às suas unidades usuárias, viabilizando uma redução do nível de reclamações destas, buscando uma atuação mais focada em processos que geram reclamações e proporcionando uma mudança de foco na solução dos problemas de reativo para proativo. Adicionalmente, o SLA serve de referencial à priorização das atividades e revisão do planejamento de SI, além de servir de base para a aplicação de penalidades ou bônus aos executores dos serviços de acordo com a performance dos serviços prestados versus acordados (MULLER, 1999; PITT et al., 1995) Medindo o Nível de Serviço Acordado Uma das formas mais freqüentemente utilizadas para medir os níveis de serviços é através de instrumentos de qualidade de serviços prestados. Este tem sido um assunto de grande investigação pela área de marketing, considerando-se a premissa de que serviços de alta qualidade geram maior satisfação aos clientes, retenção dos clientes, lucro, redução de custos e boa imagem boca-a-boca da empresa. A qualidade de serviços tem sido definida como sendo uma medida de quão bem o nível de serviço entregue atende às expectativas do consumidor podendo ser quantificada através da diferença entre a percepção do consumidor sobre o serviço consumido e às suas expectativas em relação a este serviço (BERRY et al., 1990). A qualidade de serviço compreende três importantes características de serviço: (a) intangibilidade, referindo-se mais a performance do que objetivos uma vez que a maioria dos serviços não pode ser quantificada, inventariada, medida e verificada antes da ocorrência de sua venda para assegurar sua qualidade; (b) heterogeneidade, implicando numa performance que varia com quem produz o serviço, com quem o consome e quando é consumido; (c) produção e consumo inseparáveis, ou seja, o serviço é desenvolvido em tempo de consumo pelo cliente, sendo afetado pela interação com este (JIANG et al., 2000; BUTTLE, 1996; PARASURAMAN et al., 1985:1991). Analisar o nível de qualidade de um serviço não é uma tarefa fácil. Ao tentar medi-la, deve-se atentar para aspectos como: para o consumidor, qualidade do serviço é mais difícil de avaliar do que produtos; as percepções sobre a qualidade do serviço resultam da comparação de expectativas do consumidor com performance atual do serviço; e as avaliações de qualidade não são feitas somente na prestação do serviço, envolvendo também, a avaliação do 3

4 processo de prestação do serviço (CRONIN e TAYLOR, 1994; PARASURAMAN et al., 1985) O Modelo SERVQUAL instrumento SERVPERF Vale destacar que o modelo SERVQUAL apresenta dois instrumentos largamente utilizados como tecnologia de mensuração da qualidade do serviço prestado, exatamente iguais em conteúdo, apenas com alguma adequação redacional, pois são aplicáveis em momentos diferentes: para medir expectativas (SERVEXP) na contratação dos serviços e para medir a performance (SERVPERF) na entrega do serviço. O instrumento contém 22 itens agrupados em cinco dimensões (construtos), apresentados no Quadro 1. Este tipo de medição permite não somente obter os pontos fracos de ocorrência dos possíveis problemas em cada dimensão, como também avaliar o gap entre os pontos de vistas do fornecedor e do cliente. Esta diferença (gap = P E) é representada pela avaliação da percepção da performance (P) dos serviços recebidos pelos clientes (usuários) e a percepção das expectativas (E) dos fornecedores (funcionários do DSI) com relação a como os clientes percebem seus serviços. O resultado representará uma qualidade do serviço percebida acima ou abaixo das expectativas (JIANG et al., 2003; BUTTLE, 1996; PARASURAMAN et al., 1988). Dimensões Definição No. Itens Tangíveis A aparência das facilidades físicas, equipamentos, pessoal e materiais de 4 comunicação. Confiabilidade A habilidade em executar o serviço prometido de forma confiável e 5 correta. Responsividade O desejo de auxiliar os consumidores e de prover serviço rápido. 4 Segurança (no O conhecimento e cortesia dos empregados, bem como suas habilidades 4 Conhecimento e Competência) em gerar confiança e certeza sobre o que executam das atividades acordadas com os usuários. Empatia A provisão de atenção e consideração, bom tratamento e atenção 5 individualizada aos consumidores do serviço. Quadro 1 As cinco dimensões da qualidade do serviço (PARASURAMAN et al., 1985; PITT et al., 1995) Embora largamente aceito, este instrumento não tem sido isento de críticas. Teas (1993) atenta para a ambigüidade do construto expectativas e Babakus e Boller (1999) para o uso de uma única medida genérica para medir a qualidade do serviço em diferentes tipos de indústrias. Mesmo sob críticas e evolução, o instrumento continua sendo um marco para a medição da qualidade do serviço onde recentemente foram realizados sete estudos sobre a usabilidade do instrumento, concluindo que o mesmo fornece boa previsibilidade sobre a qualidade do serviço em geral (KETTINGER e LEE, 1999; SUSARLA et al. 2003). Pitt et al. (1995), no contexto de Marketing, e Jiang et al. (2000:2003), no contexto de SI, trouxeram a idéia da operacionalização da qualidade do serviço percebido como um escore de gap, medindo ambas as partes envolvidas no acordo visando a melhoria do relacionamento Considerações sobre o modelo SERVQUAL Aplicado em SI A área de SI realizou algumas variações da versão original deste instrumento. Na década de 90, Pitt et al. (1995) identificaram três, cinco e sete fatores variantes dos construtos originais em três diferentes ambientes de amostras, utilizando a técnica estatística de componentes principais, concluindo que o instrumento é viável apesar de nem sempre apresentar discriminação entre as suas cinco dimensões. Explorando a dimensionalidade e validade do instrumento, Kettinger e Lee (1999) confirmaram os construtos originais e seu 4

5 uso na área de SI. Van Dyke et al. (1997:1999) defendem a utilização do instrumento para avaliação da percepção da performance, mesmo não possuindo propriedades psicométricas muito adequadas para avaliação de expectativas (fornecedores). Mais recentemente, Jiang et al. (2003) examinaram o relacionamento entre uma das mais aceitas medidas de sucesso em SI, a Satisfação da Informação do Usuário de Baroudi e Orlikowski (1988) e o modelo SERVQUAL adaptado para medir a performance do serviço de SI (SERVPERF), concluindo que há uma significativa relação entre os dois modelos, indicando que os escores de gap da qualidade do serviço podem servir como medida de sucesso em SI. Considerando a não uniformidade na estrutura fatorial do instrumento aplicado em SI, os autores observaram que é importante a continuidade da comparação de estruturas fatoriais entre diferentes amostras. Por último, Carr (2002) novamente aponta que as propriedades psicométricas devem ser analisadas na validação do uso do instrumento para a medição da qualidade do serviço em SI, visando identificar a pertinência ou não dos resultados gerados pelo instrumento, bem como sobre os resultados da manipulação algébrica entre os mesmos na construção dos gaps. 3. Metodologia de Pesquisa Esta pesquisa, de caráter exploratório, buscou verificar o nível de qualidade de serviços prestados pelo DSI (unidade de análise) para as unidades usuárias de uma empresa específica, considerando como estratégia de pesquisa o estudo de caso único. Esta estratégia é especialmente adequada para estudar as particularidades e complexidades de um fenômeno de especial interesse dos envolvidos (pesquisadores e gestores da empresa), analisando em detalhes a sua interação com seu contexto de ocorrência (YIN, 2001). A operacionalização da pesquisa se deu através da aplicação de uma survey através do instrumento de pesquisa SERVPERF do modelo SERVQUAL, utilizando uma escala tipo Likert de discordância/concordância variando de 1 a 5 (sendo 1= discordo fortemente até 5 = concordo fortemente). Esta metodologia foi utilizada buscando manter as características de compatibilidade com pesquisas anteriores (CARR, 2002; JIANG et al., 2000; PITT et al., 1995; PARASURAMAN et al. 1988:1991) e pelo fato desta pesquisa ser um estudo transversal com o objetivo de avaliar a qualidade dos serviços já prestados pelo DSI às suas unidades usuárias (CRONIN e TAYLOR, 1994) Seleção da Empresa e Respondentes A seleção da empresa deu-se por conveniência uma vez que um dos pesquisadores participa do Comitê de TI para o Planejamento Estratégico corporativo. A empresa é de grande porte apresentando um faturamento acima de 1 bilhão de dólares e mais de 4300 funcionários. Ela encontra-se estruturada em uma holding (corporativo) que comanda 10 unidades fabris no Brasil e mais 3 unidades localizadas no exterior, 6 Centros de Distribuição (CD) no Brasil e 5 no exterior os quais monitoram os diversos Escritórios de Vendas e os mais de 500 representantes. A cultura organizacional é voltada para gestão de pessoas e de produtos. Se ambos mantiverem alto nível, considera-se que as vendas e lucros tendem ao crescimento contínuo (posição da Diretoria). Este formato de gestão aliado a localização das empresas (interior), reforça o resultado de baixo turnover, quase sempre zero de um ano para outro. O DSI é formado por 12 integrantes e atende por volta de 800 usuários, sendo 400 deles extremamente ativos. Existem 2 CIOs (Chieff Information Officer) o de infra-estrutura e o de sistemas de informações. O desenvolvimento de sistemas é interno, utilizando 5

6 tecnologia de banco de dados relacional e a visão de gestão integrada de informações. Os sistemas classificam-se em dois grupos administrativos e de produção. O atendimento aos usuários é realizado através de um sistema de solicitação de chamados via web. O atendimento para atividades de automação de escritórios é muito pequeno, pois além dos usuários terem sido bem treinados, eles permanecem na empresa ao longo dos anos. Vale destacar que em cada unidade fabril e CD é mantido um usuário-chave. Ele é um usuário de negócio com treinamento aprofundado em algumas funções de TI, que provê atendimento direto aos demais usuários de sua unidade. Para o ano de 2004, foi definido o projeto Governança de TI, autorizado pelo alto escalão do grupo. Como o DSI não tem idéia formal do nível de relacionamento com as unidades usuárias, após algumas discussões, optou-se pela aplicação da pesquisa em várias rodadas. Nesta primeira rodada, como uma prévia para tentar estabelecer os pontos fracos e fortes do relacionamento além do gap existente entre o DSI e os usuários. A partir destes resultados, serão realizadas as devidas ações corretivas para então realizar uma segunda rodada e assim por diante até que seja possível estabelecer padrões de relacionamento que permitam o monitoramento constante através dos indicadores indicados pelo CobiT (2004). Ficou decidido que o instrumento, será aplicado de uma forma geral nestas rodadas para depois ser alterado focando aplicativos, atividades ou serviços específicos e então, reaplicado. Com isto, pretende-se garantir a identificação exata da atividade e responsável que está promovendo problemas. O propósito final dos dirigentes é melhorar o nível de relacionamento entre as partes, a qualidade dos serviços prestados e criar mecanismos de pagamento de bônus (programa de incentivos) aos funcionários do DSI. Os respondentes foram selecionados em conjunto com o alto escalão do grupo: diretores, gerentes e usuários-chave de todas as unidades localizadas no Brasil. Eles foram selecionados devido ao seu contato freqüente com o DSI e pelo volume de utilização dos serviços, tendo sido informados sobre a pesquisa diretamente pelo Diretor Administrativo Geral do corporativo. Vale ressaltar que a empresa não abre suas dependências para pesquisas externas. Esta pesquisa foi aprovada em reunião de diretoria por questões estritamente de interesse interno do grupo. Estes procedimentos permitiram garantir a representatividade da amostra, obviamente considerando que para a seleção da mesma foi utilizado o critério não probabilístico de conveniência. A população inicial esperada era de 400 respondentes. No entanto, pela seleção de respondentes feita pela Diretoria, a pesquisa foi limitada aos 25 diretores e 118 gerentes de unidades fabris, 8 gerentes de CD e 16 usuários-chave, totalizando 167 respondentes O Instrumento de Pesquisa O instrumento de pesquisa foi adaptado para a empresa estudada a partir da versão original do modelo SERVQUAL, aplicado para a área de SI (PITT et al., 1995). Buscando as validações de face e conteúdo (MALHOTRA, 2001), foram iniciados os procedimentos de tradução do instrumento por dois pesquisadores: tradução individual e reuniões de consolidação do entendimento do significado de cada questão. Vale destacar que os pesquisadores são oriundos da área de TI, estando atualmente, mais estreitamente relacionados com a área de negócios. O instrumento então, passou por um back translation, tendo sido enviado para 3 especialistas, um residente na Inglaterra e dois nos Estados Unidos, todos trabalhando com SI nestes locais há mais de quatro anos. Um pequeno ajuste foi realizado. Na seqüência, o instrumento foi analisado internamente pelo Comitê de TI da empresa estudada, onde a questão original do SERVPERF sobre higiene e aparência pessoal (TANG2) 6

7 foi vetada pela Diretoria tendo sido substituída por uma relacionada ao Sistema de Solicitação. Outras duas questões foram levemente alteradas adequando a forma e vocabulário para melhor associação dos respondentes com sua representação. O CIO pediu que fossem inseridas questões abertas para cada construto. Três das dimensões originais tiveram seus nomes alterados no questionário como forma de melhorar/facilitar o entendimento das respectivas dimensões pelos entrevistados: Tangíveis para Aspectos Físicos (variável TANG), Responsividade para Atendimento (variável RESP) e Segurança para Conhecimento (variável COMP). Os outros construtos Confiabilidade (variável CONF) e Empatia (variável EMP) permaneceram iguais. Observando a descrição teórica (Quadro 1) de cada uma das dimensões percebe-se que não houve alteração do significado, apenas facilitou a compreensão dos usuários da empresa estudada. Além disto, a escala foi alterada de 7 para 5 pontos a exemplo das pesquisas de Jiang et al. (2000). Os resultados do Alfa de Crombach (Tabela 2) mostram que a consistência interna da escala foi mantida (HAIR et al, 1998), garantindo confiabilidade no instrumento. A seguir, foi realizada uma entrevista com um dos assessores dos Diretores do corporativo para identificar possíveis problemas de compreensão das questões. Por fim, o instrumento foi levado para o Diretor Administrativo Geral do grupo que deu seu aval para o uso do mesmo naquele formato (Tabela 5). Vale destacar que os próprios autores do modelo SERVQUAL (PARASURAMAN et al., 1991) defendem que ele provê a estrutura básica que sustenta a qualidade do serviço, podendo receber pequenas modificações de palavras e ser adicionado com itens relativos a contextos específicos para alinhar-se com necessidades específicas. Dada a natureza da realização da pesquisa e ao tempo de uso do instrumento em pesquisas anteriores que justificam e confirmam a adequabilidade do instrumento, não foram realizados pré-testes ou testes pilotos. Os testes de validade de construto, convergente, discriminante e nomológica serão descritos a seguir Procedimentos de Coleta e Análise dos Dados A coleta dos dados foi realizada seguindo os procedimentos padrões para o tipo de pesquisa (MALHOTRA, 2001, HAIR et al, 1998; COHEN, 1988), tendo sido considerada uma base de dados adequada para as análises de interpretação dos resultados. A coleta foi realizada através da publicação do instrumento na Intranet da empresa, sendo informado para os respondentes através de um com o endereço web da pesquisa. O anonimato foi garantido. O tempo dado para resposta foi de 10 dias. Foram respondidos 60 questionários, garantindo uma taxa de retorno de aproximadamente 35%. Um dos questionários foi eliminado da amostra por apresentar respostas invariantes, resultando numa amostra final de 59 casos. Para atingir o objetivo do trabalho de avaliar a percepção dos usuários com relação à qualidade dos serviços prestados pelo DSI, e também testar a validade de construto (convergente, divergente e nomológica), a verificação da estrutura fatorial dos dados foi realizada através da utilização de duas técnicas de análise multivariada de 1ª (Análise Fatorial Exploratória) e 2ª geração (Análise Fatorial Confirmatória). É oportuno observar que a primeira técnica não seria estritamente necessária no caso do presente trabalho, uma vez que o instrumento SERVPERF já foi testado em diversas oportunidades. No entanto, optou-se por sua realização adotando um critério conservador, como forma de melhor conhecer os dados e verificar sua estrutura fatorial inicial. 7

8 Além disto, antes da execução das análises multivariadas foram realizadas algumas verificações subjacentes e mais acuradas sobre a dimensionalidade dos dados, necessárias à aplicação das citadas análises, constituindo-se de: Exame gráfico dos dados onde foram identificadas diversas variáveis com assimetria em suas distribuições de freqüência, demonstrando uma concentração das respostas do lado direito da escala utilizada; Análise de dados faltantes, ou seja, onde não há informação na variável onde o maior percentual observado de valores ausentes nas variáveis da pesquisa não superou 1,0%, não sendo representativo e não implicando em substituição de dados faltantes ou eliminação de casos, estando em conformidade com os padrões estatísticos onde 5% ou 10% de valores ausentes em uma dada variável não é considerado alto (HAIR et al., 1998); Identificação das observações extremas às normalmente observadas (outliers) detecção realizada de forma uni e multivariada, estabelecendo o limite de pelo menos 3 desvios padrões a partir dos quais uma observação possa ser considerada extrema, sendo que, a amostra sob análise não apresentou nenhuma variável com desvio padrão superior a esse valor, não havendo a ocorrência de extremos. Além disto, foi utilizada a técnica de identificação de extremos multivariados através da medida D 2 de Mahalanobis, que avalia a posição de cada observação comparada com o centro de todas observações num conjunto de variáveis e, também, nenhum extremo multivariado foi detectado. Teste das assunções estatísticas de análise multivariada a necessidade deste teste se justifica pela complexidade das relações, devido ao grande número de variáveis, potencializando viés e distorções, quando estas assunções são violadas; e a complexidade das análises e dos resultados podem esconder situações de violação destas assunções. Assim, foram verificadas a normalidade, homoscedasticidade (relações de dependência entre variáveis) e linearidade (a associação linear entre as variáveis). Também não foram identificados problemas em relação a esses critérios que pudessem comprometer as análises. 4. Análise dos Resultados Nesta seção encontram-se apresentados os resultados encontrados após as seguintes análises: análise fatorial exploratória representada pela matriz de correlações entre fatores e pelo índice de confiabilidade dos construtos; a análise fatorial exploratória representada pelas cargas fatoriais resultantes e pelos índices de ajuste do modelo de mensuração; a análise das médias do nível de qualidade percebido e os gaps resultantes. O software utilizado para a análise dos resultados foi o SPSS e o software AMOS (fatorial confirmatória) Caracterização da Amostra A amostra dos respondentes usuários é caracterizada por 30,5% têm até 30 anos; 61% têm entre 31 e 45 anos e 8,5% mais de 45 anos. Houve mais homens respondentes (69,5%) do que mulheres (30,5%). Em relação à escolaridade, a maioria dos respondentes tem pelo menos curso superior (86%), sendo que mais da metade deles exercem cargo de chefia (54%). Por fim, 67% dos respondentes trabalham na empresa há mais de 10 anos, contra 33% que trabalham na empresa há menos de 10 anos. 8

9 4.2. Análise Fatorial Exploratória Os resultados da análise fatorial exploratória encontram-se apresentados na Tabela 1, tendo sido analisada a correlação entre fatores, o teste de esfericidade de Barttlet (643,15; p<0,000) e a medida de adequação amostral (MSA=0,772), os quais representam a probabilidade estatística de que a matriz correlacional possui correlações significantes e da adequabilidade do uso da análise fatorial. Os resultados confirmam a adequabilidade da base de dados. Tabela 1 Matriz de Correlações entre Fatores TANG. CONF. RESP. COMP. EMP. TANG. 1,000,414,444,317,264 CONF.,414 1,000,523,578,451 RESP.,444,523 1,000,399,450 COMP.,317,578,399 1,000,433 EMP.,264,451,450,433 1,000 O método de extração utilizado para esta análise foi o Unweighted Least Squares, com rotação Promax. Os resultados encontrados indicaram dois itens problemáticos, TANG1 (construto Aspecto Físico) e CONF3 (construto Confiabilidade). Ambos apresentaram baixas cargas fatoriais em seus respectivos fatores, além de cargas fatoriais cruzadas. Dessa forma, optou-se por sua eliminação. Como os demais fatores não apresentaram problemas, pôde então ser feita a análise de confiabilidade, cujos resultados encontram-se apresentados na Tabela 2. Tabela 2 Índices de Confiabilidade dos Construtos Fatores TANG. CONF. RESP. COMP. EMP. Alfa () 0,70 0,67 0,75 0,85 0,79 De acordo com Nunnally e Bernstein (1994), o limite mínimo de aceitação para o Alfa de Crombach é de 0,70. Apenas um fator (Tabela 2, construto CONF) ficou pouco abaixo desse limite; sendo que os demais se mostraram satisfatórios. Assim, pode-se considerar que o instrumento apresentou confiabilidade bastante razoável Análise Fatorial Confirmatória Para a verificação final da validade de construto, realizou-se a Análise Fatorial Confirmatória através da técnica de modelagem em equações estruturais. O objetivo desta análise é medir o grau em que os dados obtidos na pesquisa respondem ao modelo esperado (Figura 1), através da significância estatística. A técnica conhecida por Modelagem em Equações Estruturais (Strutuctural Equations Modeling) agrega várias técnicas multivariadas como regressão múltipla e análise fatorial (HAIR et al., 1998, p. 578). As principais razões para o uso desta técnica nesta pesquisa foram: a) lidar com relacionamentos múltiplos simultaneamente, proporcionando eficiência estatística; b) medir estes relacionamentos de forma compreensiva e prover uma transição da análise fatorial exploratória para a confirmatória, desenvolvendo uma visão mais holística e sistemática sobre o problema de pesquisa. Após a verificação das cargas fatoriais apresentadas e dos respectivos testes estatísticos, foram analisados três conjuntos de medidas de ajuste do modelo: a) medidas de ajustamento absoluto (absolute fit measures), que medem tão somente o ajustamento dos 9

10 modelos (estrutural e de medição); b) medidas de ajustamento incremental (incremental fit measures), comparando o modelo proposto com outro modelo especificado pelo pesquisador; e c) medidas de ajustamento parsimônico (parsimonious fit measures), que adequam as medidas de ajustamento para que seja feita a comparação entre modelos que apresentam valores diferentes nos coeficientes estimados, tendo por propósito a determinação da quantidade de ajuste adquirida pelo coeficiente de estimativa. A aplicação de múltiplas medidas proporciona ao pesquisador obter consenso através de tipos de medidas visando a aceitação do modelo. Figura 1 Resultados da Análise Fatorial Confirmatória (cargas fatoriais) Os resultados apresentados acima indicam magnitudes fatoriais bastante razoáveis (acima de 0,5) em praticamente todos os itens, com exceção do EMP1 (0,33). Esses resultados são uma evidência de validade convergente, da mesma forma que as correlações positivas identificadas entre os construtos (Tabela 1). A inexistência de correlações próximas de 1 também pode ser considerada um indicativo de validade discriminante. A última etapa desta análise fatorial confirmatória foi a avaliação dos índices de ajuste do modelo, apresentados na Tabela 3. O índice mais utilizado tem sido a estatística quiquadrado (2), tanto de forma absoluta acompanhada do respectivo teste estatístico, quanto na razão 2 divido pelos graus de liberdade (neste caso, uma medida de ajuste de parcimônia). Regras práticas indicam que relações até 5 são consideradas satisfatórias (BAUMGARTNER e HOMBURG, 1996). No presente modelo, a relação qui-quadrado ( 2 ) / graus de liberdade (GL) apresentou-se bastante satisfatória (0,386), o que indica que a matriz estimada correspondeu bem à matriz observada. Os demais índices apresentaram-se bastante satisfatórios. Todos com magnitudes próximas dos valores considerados para bons modelos. O índice utilizado para mensuração dos erros mostrou-se baixo (0,07). Dessa forma, considera-se validada a estrutura fatorial e finalizada a análise fatorial confirmatória. 10

11 Tabela 3 Índices de Ajuste do Modelo de Mensuração Índices de ajuste do Parâmetros desejados Valores obtidos modelo (segundo Hair et al, 1998) 2-61,813 GL / GL <5 0,386 GFI Valores altos (próximos de 1) indicam bom 0,96 ajuste não há valor mínimo AGFI >,90 0,94 NFI >,90 0,94 RFI >,90 0,93 RMR Não especificado, quanto mais próximo de zero melhor 0, O Nível de Qualidade de Serviço Percebido e o Gap Resultante A próxima etapa deste trabalho constituiu-se da avaliação do nível de qualidade de serviços percebidos pelos usuários, pelo DSI e o gap encontrado em cada questão (Tabela 4). Medir o nível de serviço é importante para promoção de sua melhoria (PITT et al., 1995). Medir o gap é importante para que os grupos envolvidos no acordo de serviços possam promover a melhoria contínua dos mesmos sob a mesma perspectiva. Se o gap apresentar resultado zero, significa que ambos os grupos percebem o nível do serviço acordado de forma igual, mas não implica que estejam satisfeitos com o resultado entregue. Um resultado positivo significa que os usuários estão muito satisfeitos com os serviços entregues. Um resultado negativo indica que a performance do serviço apresenta níveis insatisfatórios ou não-conformidade com o que foi acordado (JIANG et al., 2000). Analisando de forma geral os principais resultados obtidos (Tabela 4), pode-se dizer que existe um consenso geral de concordância entre usuários e funcionários do DSI sobre a maior parte dos itens (gaps resultantes próximos de zero), indicando que as percepções sobre o fornecimento dos serviços são similares, sejam elas medianas, positivas ou negativas. Porém, a maioria dos itens mostra que os usuários não estão totalmente satisfeitos com o nível dos serviços prestados, estando os resultados um pouco acima da média (entre os pontos 3 e 4 da escala). Vale destacar o item EMP3 (construto Empatia) que obteve gap igual a zero demonstrando que o nível de atendimento individual é percebido igualmente por ambas as partes envolvidas e também, o item RESP2 (construto Atendimento) que apresenta o maior gap (-0,67) demonstrando que o não atendimento de urgência parece ser um forte candidato para ações corretivas imediatas principalmente, se relacionado com resultados e comentários do construto Empatia sobre a necessidade de maior proximidade do DSI com as unidades usuárias. Outros resultados mais insatisfatórios merecem destaque especial, pois serão eles os merecedores de ações corretivas de curto prazo. São eles: Com relação aos Aspectos Físicos, 21,66% dos usuários, através de seus comentários, reforçam os resultados medianos obtidos nas questões TANG3 e TANG4 sobre interface e estímulo visual dos sistemas e materiais fornecidos pelo DSI; Com relação à Confiabilidade, também 21,66% dos usuários, através de seus comentários, reforçam os resultados entre médio e baixo obtidos nas questões CONF3 (eliminada) e CONF4 sobre prazos de entrega e não conformidades dos serviços com as especificações iniciais. Três respondentes apresentam sugestões válidas que serão levadas em consideração como ações corretivas, ou seja, criação de um laboratório de testes; 11

12 Construto (Dimensão) Aspectos Físicos (TANG) Confiabilidade Atendimento Conhecimento Empatia Tabela 4 Percepção dos Usuários versus Percepção do DSI e Gap Resultante Questão Médias (Item) Usuários DSI Gap Os equipamentos disponibilizados pela Empresa são 3,81 4,00-0,19 modernos (microcomputadores, impressoras, notebooks, projetores de vídeo, etc). (ITEM ELIMINADO) O Sistema de Controle de Solicitações (para manutenção nos 3,78 4,17-0,39 sistemas) é fácil de usar e atende às suas necessidades. As telas, relatórios e a documentação dos sistemas utilizam 3,61 3,33 0,28 linguagem clara e de fácil compreensão. Os materiais (planilhas, telas de consulta, relatórios, 3,53 3,08 0,44 manuais) fornecidos pelo DSI estimulam sua visualização e utilização. Quando o DSI promete realizar algo em um certo período de 3,54 3,58-0,04 tempo, ele o faz (por exemplo: treinamento sobre o uso de sistemas, atualizações dos sistemas). Quando você tem um problema, o DSI mostra um real 3,81 4,33-0,52 interesse em resolvê-lo. Quando o serviço do DSI é entregue há necessidade de 2,53 2,92-0,39 correções. (ITEM ELIMINADO) O DSI entrega seus serviços no tempo em que prometeu fazêlo 3,22 3,42-0,20 (sem atrasos). O DSI dá ênfase na geração de relatórios e documentação 3,58 4,08-0,51 sem erros. Os funcionários do DSI dizem para você exatamente quando 3,37 3,00 0,37 os serviços serão executados. Se você tem uma necessidade com característica urgente, ela 3,75 4,42-0,67 é resolvida imediatamente quando requisitada, pelos funcionários do DSI. Os funcionários do DSI estão sempre dispostos a auxiliar 4,20 4,33-0,13 você. Os funcionários do DSI mesmo ocupados respondem as suas 3,90 3,58 0,31 perguntas e dúvidas, imediatamente quando requisitado. O comportamento dos funcionários do DSI inspira confiança 4,17 4,00 0,17 em você. Você se sente seguro quanto as suas tratativas com o DSI 3,73 3,75-0,02 (eles devolvem o que realmente foi negociado e no tempo certo). Os funcionários do DSI mostram-se sempre seguros ao 3,86 4,17-0,30 responder suas questões. Os funcionários do DSI possuem o conhecimento necessário 4,08 4,00 0,08 para responder suas perguntas e dúvidas. O DSI fornece atenção individual para você. 3,85 3,67 0,18 O DSI presta serviços em horários convenientes a você (por 3,95 4,58-0,63 exemplo, durante e fora do horario de trabalho). O DSI tem funcionários que proporcionam atenção adequada 3,92 3,92 0,00 às suas necessidades. O DSI demonstra real importância às grandes necessidades 3,85 4,00-0,15 apresentadas por você. Os funcionários do DSI compreendem necessidades 3,69 3,67 0,03 específicas apresentadas por você. Com relação ao Atendimento, apenas 6,66% dos usuários fizeram comentários sobre uma certa demora no atendimento em determinadas circunstâncias, principalmente fora do horário comercial, e sobre o DSI não fornecer uma data prevista de conclusão das solicitações emitidas (RESP1). Tanto os resultados quantitativos quanto os comentários 12

13 mostram que a maioria dos usuários está satisfeita com o atendimento prestado pelo DSI, achando-os solícitos e sempre presentes; Com relação ao Conhecimento, 10,00% dos usuários comentaram que apesar do bom conhecimento, do esforço e segurança passada pelos funcionários do DSI quando respondem dúvidas dos usuários, eles ainda demonstram alguma insegurança em situações específicas (alguns citam os casos). Os resultados da Tabela 4 demonstram esta confiança dos usuários com relação ao conhecimento dos funcionários do DSI; Com relação à Empatia, 13,33% usuários fizeram comentários sugestivos sobre a possibilidade do DSI contratar mais pessoas para que pudesse dar um atendimento pessoal (presença nas unidades) mais freqüente (EMP3) e a possibilidade de manter um plantão noturno (EMP2), o que coincide com os resultados obtidos no construto Atendimento. 5. Conclusões e Contribuições Um dos principais motivadores dos dirigentes da empresa estudada, ao participar desta pesquisa, foi a busca da melhoria contínua da gestão de TI através de melhores práticas (CobiT, 2004; JIANG, et al., 2003). Os resultados encontrados, expressos na Tabela 4, demonstram que existem pontos de ajuste para a gestão do DSI principalmente aqueles relacionados com os itens interface, prazos de entrega, conformidade de serviços e processos, e atendimento mais próximo às unidades usuárias. A análise consolidada pelas dimensões (Tabela 5) do modelo SERVQUAL (Quadro 1) adaptado para o estudo de caso específico, demonstra que o principal propósito da pesquisa foi atingido, ou seja, a mensuração do nível de serviço acordado entre as unidades usuárias e o DSI o qual reflete na qualidade dos serviços prestados (média dos usuários observada entre os pontos 3 e 4 da escala) e na importância relativa (gaps resultantes) dos mesmos. Estes resultados proporcionaram responder o questionamento do alto escalão da empresa estudada, possibilitando ações corretivas de curto prazo. Tabela 5 Análise Consolidada pelas Dimensões (construtos) Dimensões Média Usuários Média DI Gap (U - DI) Aspectos Físicos 3,64 3,53 0,11 Confiabilidade 3,54 3,85-0,32 Atendimento 3,81 3,83-0,03 Conhecimento 3,96 3,98-0,02 Empatia 3,85 3,97-0,12 Uma importante contribuição obtida com esta pesquisa foi com relação a adequação do instrumento SERVPERF dentro do contexto de uma empresa brasileira que mantém o relacionamento cliente interno e DSI (em vez de terceirizados). O instrumento mostrou ser tecnicamente adequado (análises fatoriais), consistente e íntegro (HAIR et al., 1998), apesar do nome dos construtos alterados, do item substituído e dos outros levemente modificados, da escala reduzida e dos dois itens eliminadas após análises fatoriais (JIANG et al., 2000; PARASURAMAN et al., 1991). Vale destacar que os executivos da empresa estudada, não quiseram eliminar o item CONF3 (serviços entregues com erros), pois eles consideraram que os comentários e as percepções do DSI (positivas quanto a erros) são pertinentes para ações corretivas. No entanto, ficou determinado que a palavra erro não fosse utilizada na publicação dos resultados na Intranet, mas sim, a expressão não conformidade de processos e serviços. Outra possível contribuição desta pesquisa pode estar relacionada com o conjunto de variáveis do construto Aspectos Físicos. Tanto os pesquisadores, quanto os executivos de negócio e de TI da empresa estudada entendem que este construto deveria conter dois 13

14 conjuntos de variáveis: um relacionado a infra-estrutura (hardware, software básico e telecomunicações) e outro aos sistemas de informação (banco de dados, sistemas, automação de escritório). Como esta pesquisa está tendo continuidade junto a uma grande organização brasileira do setor financeiro e opiniões semelhantes estão ocorrendo com relação ao construto original do SERVPERF assim como sobre a questão higiene e aparência pessoal, uma exploração será realizada neste sentido. Independente disto, esta é uma sugestão para pesquisas futuras. Ainda com relação a benefícios que a pesquisa trouxe para a empresa estudada, a Diretoria decidiu que a pesquisa deve entrar para o contexto da gestão permanente de TI. Alguns comentários dos usuários, parabenizando a iniciativa do DSI, reforçaram esta decisão. Apesar da robustez dos procedimentos adotados para análise dos dados e da amostra de dados consistente, não foi possível generalizar estes resultados, tendo em vista a unidade de análise estudada (DSI de uma única empresa). Contudo os resultados encontrados complementam elementos e resultados de pesquisas anteriores, apontando direções para pesquisas futuras. Uma das principais contribuições acadêmicas talvez possa ser atribuída a idéia de diferenciar melhor os itens do construto Aspecto Físico. Não se pode esquecer que este instrumento, inicialmente, foi desenvolvido para a área de Marketing (CRONIN e TAYLOR, 1992; PARASURAMAN et al., 1985) onde o nível de qualidade é medido em relação a um produto físico (hard) e não lógico (soft) como é o caso de sistemas. Talvez esta seja uma interpretação lógica para as sugestões de evolução do instrumento. Por fim, este estudo buscou prover conhecimento para os gerentes e profissionais da área de TI, através do uso de um instrumento já consagrado, mas pouco explorado associado a área de Governança de TI junto a promoção de melhoria contínua dos processos e serviços fornecidos por e para clientes internos (funcionários do DSI são colegas dos usuários). Acredita-se que o grande desafio enfrentado por pesquisadores e administradores da área refere-se às operacionalizações das melhores práticas. Os resultados obtidos permitem crer que estas são algumas das variáveis importantes para avaliar e criar mecanismos de monitoramento do domínio Entrega e Suporte do CobiT (2004). Uma instrumentação de gestão como esta deve servir de ferramenta de avaliação para promoção de melhoria contínua dos processos, dos serviços e do relacionamento entre as partes envolvidas no acordo, ajudando a otimizar os investimentos de TI, fornecendo métricas para avaliação dos resultados, balanceando e reduzindo o risco das empresas. Referências Bibliográficas BAROUDI, J. J.; ORLIKOWSKI, W. J. A short-form measure of user information satisfaction: A psychometric evaluation and notes on use. Journal of Management Information Systems, v. 4, n. 4, p , BABAKUS, E.; BOLLER, G. W. An Empirical Assessment of the SERVQUAL Scale. Journal of Business Research, v. 24, n. 3, p , BAUMGARTNER, H. e HOMBURG, C. Applications of Structural Equation Modeling in Marketing and Consumer Research: A Review. International Journal of Research in Marketing, v. 13, BERRY, Leonard L.; PARASURAMAN, A.; ZEITHAML, Valerie A. Five Imperatives for Improving Service Quality. MIT Sloan Management Review, v. 31, n. 4, p , Summer BUTTLE, Francis. SERVQUAL: Review, Critique, Research Agenda. European Journal of Marketing, v. 30, n. 1, p. 8-32,

15 CARR, Christopher L. A Psychometric Evaluation of the Expectatios, Perceptions, and Difference-Scores Generated by the IS-Adapted SERVQUAL Instrument. Decision Sciences, v. 33, n. 2, p , Spring COBIT. Pages 1. ISACF Information Systems Audit and Control Foundation. Disponível em:< CobiT On-Line >. Acesso em: 27 de abr COHEN, Jacob. Statistical Power analysis for the behavioral sciences. 2nd. ed. Hilldale, NJ: Erlbaum, CRONIN, J. Joseph; TAYLOR, Steven A. Measuring Service Quality: A Reexamination and Extension. Journal of Marketing, v. 56, n. 3, p , CRONIN, J. Joseph; TAYLOR, Steven A. SERVPERF Versus SERVQUAL: Reconciling Performance-Based and Perceptions-Minus-Expectations Measurement of Service Quality. Journal of Marketing, v. 58, p , HAIR, Joseph, ANDERSON, Rolph, TATHAM, Ronald, BLACK, William. Multivariate Data Analysis. 5. Ed. Upper Saddle River: Prentice-Hall, JIANG, James J.; KLEIN, Gary; CRAMPTON, Suzzane M. A Note on SERVQUAL Reliability and Validity in Information System Service Quality Measurement. Decision Sciences, v. 31, n. 3, p , Summer JIANG, James J.; KLEIN, Gary; TESCH, Debbie; CHEN, Hong-Gee. Closing the User and Provider Service Quality Gap. Communications of the ACM, v. 46, n. 2, Feb KETTINGER, William J.; LEE, Chong C. Replication of Measures of Information Systems Research: The Case of IS SERVQUAL. Decision Sciences, v. 30, n. 3, p , Summer MALHOTRA, N. K. Pesquisa de Marketing, uma orientação aplicada. Porto Alegre: Bookman, 2001, 205 p. MULLER, Nathan J. Managing Service Level Agreements. International Journal Network Management, v. 9, p , NUNNALLY, Jum C.; BERNSTEIN, Ira H. Psychometric Theory. 3rd. ed. New York: McGraw-Hill, PARASURAMAN, A.; ZEITHAML, Valerie A.; BERRY, Leonard L. A conceptual model of service quality and its implications for future research. Journal of Retailing, v. 49, p , Fall PARASURAMAN, A.; ZEITHAML, Valerie A.; BERRY, Leonard L. SERVQUAL: A multiple-item scale for measuring consumer perceptions of service quality. Journal of Retailing, v. 64, p , PARASURAMAN, A.; ZEITHAML, Valerie A.; BERRY, Leonard L. Refinement and Reassessment of the SERVQUAL Scale. Journal of Retailing, v. 67, n. 4, p , PITT, Leyland F.; WATSON, Richard T.; KAVAN, C. Bruce. Service Quality: A Measure of Information Systems Effectiveness. MIS Quarterly, v. 19, n. 2, p , SUSARLA, Anjana; BARUA, Anitesh; WHINSTON, Andrew B. Understanding the Service Component of Application Service Provision: An Empirical Analysis of Satisfaction with ASP Services. MIS Quarterly, v. 27, n. 1, p , Mar TEAS, R. K. Expectations, Performance Evaluation and Consumer s Perception of Quality. Journal of Marketing, v. 57, n. 4, p , TURBAN, E.; McLEAN, E.; WETHERBE, J. Tecnologia da informação para Gestão. 3ª. ed. Porto Alegre, RS: Ed. Bookman, VAN DYKE, Thomas P.; PRYBUTOK, Victor R.; KAPPELMAN, Leon A. Measuring Information Systems Service Quality: Concerns on the Use of the SERVQUAL Questionnaire. MIS Quarterly, v. 21, n. 2, p , Jun

16 VAN DYKE, Thomas P.; KAPPELMAN, Leon A.; PRYBUTOK, Victor R. Cautions on the Use of the SERVQUAL Measure to Assess the Quality of Information Systems Services. Decision Sciences, v. 30, n. 3, p , Summer YIN, Robert K.. Estudo de Caso: planejamento e métodos. Trad. Daniel Grassi, 2 ª ed.. Porto Alegre: Bookman, p. 16