Documentação da Pesquisa de Satisfação Sistemas de TI 2010

Transcrição

1 Assunto : Análise quantitativa referente à Pesquisa de Satisfação com os Sistemas de Tecnologia da Informação - TRT Introdução 1.1. O objetivo deste trabalho é documentar a análise quantitativa realizada para a pesquisa de satisfação sobre os sistemas de TI Essa pesquisa tem como objetivo avaliar o nível de satisfação de magistrados e servidores com os sistemas de tecnologia da informação na Justiça do Trabalho da 10ª Região Os resultados obtidos serão monitorados periodicamente, a fim de verificar se as medidas implementadas para a melhoria estão sendo bem sucedidas A pesquisa foi realizada entre 18/11/2010 e 22/11/2010 com um total de 552 respondentes As perguntas encontram-se no questionário situado no anexo I As etapas efetuadas para a análise quantitativa são: Organização e validação da base de dados: essa etapa consiste em analisar a consistência da base de dados e estruturá-la a fim de possibilitar a eficiência da análise Análise descritiva: consiste em avaliar como se encontra o comportamento dos respondentes dentro das variáveis e entre as variáveis mais significativas Alfa de Cronbach: consiste em medir a confiabilidade do questionário Análise fatorial: consiste na redução da dimensão das variáveis em fatores que são formados por combinação de variáveis, isso possibilitará a criação dos indicadores Indicadores: consiste em criar e mensurar índices para avaliar como se encontra o nível de satisfação com os sistemas de tecnologia da informação. 2. Organização e validação da base de dados 2.1. A variável Idade apresenta dois valores discrepantes, são eles: 0 e Os valores supracitados foram substituídos por sem informação A variável Trabalho na área judiciária e conheço bem as atribuições das unidades da área administrativa deveria ser respondida apenas por quem trabalha na área judiciária, entretanto dos que responderam essa questão, 101 pertencem à área administrativa Os valores supracitados foram substituídos por sem informação. 1

2 2.3. A variável Trabalho na área administrativa e conheço bem as atribuições das unidades da área judiciária deveria ser respondida apenas por quem trabalha na área administrativa, entretanto dos que responderam essa questão, 135 pertencem à área judiciária Os valores supracitados foram substituídos por sem informação Neste trabalho é adotado o seguinte critério para descarte: se o número de questões respondidas por um avaliador for menor que 50%, todas as suas avaliações são eliminadas do cálculo O total de respondentes eliminados foi de Para o grupo de perguntas cuja escala varia de 0 até 5 foi considerado: Desfavorável: respostas de 0 até 1. Neutro: respostas de 2 até 3. Favorável: respostas de 4 até Para as perguntas Considero-me por fora de algumas informações em virtude de trabalhar neste prédio e Identifico processos repetitivos e intensivos de trabalho que poderiam ser automatizados por sistemas informatizados, a construção da escala desfavorável / favorável foi inversa Para o grupo de perguntas cuja escala varia de 0 até 10 foi considerado: Desfavorável: respostas de 0 até 3 e respostas igual a Não Uso. Neutro: respostas de 4 até 6. Favorável: respostas de 7 até Para o grupo de perguntas cuja escala varia de acordo com a frequência (nunca, mensalmente, quinzenalmente, semanalmente, diariamente) foi considerado: Desfavorável: respostas igual a nunca, mensalmente ou quinzenalmente. Favorável: respostas igual a semanalmente ou diariamente. 3. Análise descritiva 3.1. O universo analisado consta de 529 respondentes, visto que 23 foram eliminados por terem respondido menos de 50% das perguntas. 2

3 4. Alfa de Cronbach 4.1. O coeficiente alfa de Cronbach foi apresentado por Lee J. Cronbach, em 1951, como uma forma de estimar a confiabilidade de um questionário aplicado em uma pesquisa. O alfa mede a correlação entre respostas em um questionário através da análise do perfil das respostas dadas pelos respondentes, trata-se de uma correlação média entre perguntas O alfa de Cronbach foi calculado considerando: todo o questionário; apenas a parte relativa à tecnologia; 4.3. É relevante ressaltar que, apesar da literatura científica a respeito das aplicações do coeficiente nas diversas áreas do conhecimento ser ampla e abrangente, ainda não existe um consenso entre os pesquisadores acerca da interpretação da confiabilidade de um questionário obtida a partir do valor deste coeficiente. Não há um valor mínimo definido para o coeficiente alfa de Cronbach ser aceito como bom, mas acha-se na literatura o valor de 0,70 como mínimo aceitável (FREITAS & CONGÇALVEZ, 2005; URDAN, 2001; OVIEDO & CAMPO-ARIAS, 2005; MILAN & TREZ, 2005). Existem, entretanto, autores que utilizam o alfa sem fazerem nenhuma menção a um mínimo (SALOMI et al, 2005; XEXEO, 2001; MIGUEL & SALOMI, 2004; MAÇADA et al, 2000; MATO & VEIGA, 2000) Nesse trabalho será adotado o valor de 0,70 como mínimo aceitável O modelo para estimação alfa de Cronbach é válido para {α < α 1, com α 0}, mas deve ser interpretado no intervalo entre 0 e 1, onde os valores negativos do alfa devem ser considerados como escalas sem confiança (ou seja, zero) (NICHOLS, 1999) Abaixo encontram-se os resultados obtidos. Grupo analisado Alfa de Cronbach Análise Todo o questionário 0,857 Aceitável Tecnologia 0,896 Aceitável 5. Análise fatorial 5.1. A análise fatorial fundamenta-se no pressuposto de que uma série de itens ou variáveis pode ser explicada por um número menor de variáveis, denominadas fatores, e que existe uma correlação comum entre essas variáveis, originando com isso um agrupamento. A análise fatorial define-se por uma técnica estatística multivariada, que permite a criação de um conjunto menor de variáveis (variáveis latentes ou fatores) obtidas como função das variáveis originais. Desta forma, através da análise fatorial é possível trabalhar com um número reduzido de variáveis e, ao mesmo tempo, detectar uma inter-relação entre elas. Um dos métodos mais utilizados para a obtenção dos fatores é a análise dos componentes principais, que permite a obtenção dos fatores denominados cargas fatoriais, que indicam o quanto cada variável ou item está associado a cada um dos 3

4 fatores envolvidos. Assim, o procedimento da análise fatorial representa o agrupamento de itens, segundo critérios estatísticos, que pertençam a um mesmo grupo, sugerindo que esses itens possam ter algo em comum; por sua vez, este conteúdo comum é o que se chama de fator O primeiro passo consta na análise da matriz de correlação, ou seja, confirmar se existem correlações aceitáveis entre as variáveis que permitam ter boas condições para produzir um modelo. É que se as correlações entre as variáveis forem pequenas, é pouco provável que partilhem fatores comuns (R < 0,3) Por exemplo, se uma variável tem mais de 50% de correlações abaixo desse valor, dificilmente, servirá para usar na AFCP (Análise Fatorial em Componentes Principais), salvo se tiver loadings (pesos nos fatores) superiores a 0, Há indícios de que a AFCP será representada por mais variáveis para tecnologia, pois há mais correlações maior ou igual a 0, O segundo passo consiste em realizar os testes de KMO (Kaiser, Meyer, Olkin) ou de esfericidade de Bartlett O teste de KMO é uma medida da adequação das variáveis para entrarem no modelo (compara as correlações simples com as correlações parciais) Segue no quadro a seguir os valores do KMO para interpretação do teste: Valor do KMO Interpretação da AFCP < 0,5 Inválida 0,5 0,6 Má 0,6 0,7 Razoável 0,7 0,8 Média 0,8 0,9 Boa 0,9 1,0 Muito boa O teste de Bartlett testa a hipótese de a matriz de correlações ser a matriz identidade. Este teste é muito sensível ao tamanho da amostra, sendo pouco usado O quadro a seguir mostra o resultado do KMO. Grupo analisado KMO Interpretação Tecnologia 0,879 Boa 4

5 5.4. O terceiro passo consiste em avaliar a matriz de correlação anti-imagem, ou seja, medir a adequação de cada variável para ser usada na AFCP. Em caso de se detectarem valores pequenos na diagonal (r < 0,5) deve se considerar a eliminação da variável Nenhuma variável será descartada da análise O quarto passo consiste em determinar o número de fatores e verificar a variância explicada Nesse trabalho, foi considerado para determinação do número de fatores quanto os valores próprios forem superiores a 1 (um), pois se um fator tiver valor próprio superior a 1 (um) irá conter a variância de mais que uma variável A seguir encontra-se o valor da variância explicada para cada grupo analisado: Grupo analisado Quantidade de variáveis iniciais Quantidade de fatores Variância explicada Análise Tecnologia ,69% Aplicar AFCP 5.6. O quinto passo consiste em analisar a matriz das componentes antes da rotação e com rotação, a qual mostra a correlação entre as variáveis e os fatores a fim de verificar quais variáveis comporão os fatores A rotação consiste em distribuir de forma melhor a variância explicada por cada fator O método utilizado para a rotação foi o Varimax cujo objetivo é obter uma estrutura fatorial na qual cada variável original esteja fortemente associado a um único fator e pouco com os retantes O sexto passo consiste em denominar, eventualmente, os fatores retidos É válido ressaltar que os pesos, abaixo citados, foram capturados da matriz de coeficiente dos escores. 5

6 No quadro a seguir encontram-se os fatores obtidos: Grupo analisado Fator Variáveis inseridas Pesos Grupo E Tecnologia Informações sobre as realizações da área de TI Atendimento pela equipe da TI Qualidade da documentação Uso da pasta G:\ Infraestrutura de TI Considero-me bem informado sobre as prioridades da área de TI A área de TI disponibiliza dados sobre atendimentos e serviços que são realizados O atendimento ao usuário prestado pela equipe da TI é adequado O atendimento ao usuário prestado pela equipe da TI é rápido Quando não é possível que o atendimento seja feito rapidamente, sou informado da demora que irá ocorrer A qualidade da documentação dos sistemas (manual do usuário e tutorial online) é satisfatória Os arquivos da rede, pasta G:\, estão sempre disponíveis Os equipamentos disponibilizados, computadores e impressoras, são adequados para a realização do serviço A infraestrutura paralela TI (mesa, objetos ergométricos, cadeira, suporte para monitor, entre outros) disponibilizada atende as minhas necessidades Considero me apto para utilizar as ferramentas de TI disponíveis 0,467 0,408 0,451 0,432 0,392 0,405 0,355 0,412 0,357 0,652 6

7 6. Indicadores 6.1. Os indicadores foram construídos com base nos agrupamentos criados a partir da análise fatorial Ressalta-se que nem todas as variáveis contidas no questionário comporão o índice de satisfação com a tecnologia da informação visto que não foram discriminantes para a AFCP O índice de satisfação com a tecnologia da informação é composto pelas variáveis que originaram os seguintes agrupamentos: Informações sobre as realizações da área de TI Atendimento pela equipe da TI Qualidade da documentação Uso da pasta G:\ Infraestrutura de TI O índice de satisfação com a tecnologia da informação é dado por: ISTI = (Informações sobre as realizações da área de TI*0,875 + Atendimento pela equipe da TI*1,275 + Qualidade da documentação*0,405 + Uso da pasta G:\ * 0,355 + Infraestrutura de TI*1,421) / (0, , , , ,421) O resultado do índice de satisfação com a tecnologia de informação é de 43, O índice de satisfação com os sistemas de TI é composto pelas variáveis que originaram os seguintes agrupamentos: Documentação Processos repetitivos e intensivos Sistemas disponibilizados atendem as necessidades Usuário apto para utilizar as ferramentas de TI disponíveis Melhoria contínua nos sistemas de informática O índice de satisfação com os sistemas de TI é dado por: ISSTI = (Documentação*0,628 + Processos repetitivos e intensivos*0,206 + Sistemas disponibilizados atendem as necessidades*0,228 + Usuário apto para utilizar as ferramentas de TI disponíveis*0,652 + Melhoria contínua nos sistemas de informática*0,274) / (0, , , , ,274) 7

8 O resultado do índice de satisfação com os sistemas de TI é de 41, O resultado encontra-se no anexo II É válido ressaltar que para o cálculo do indicador foi considerado o percentual de FAVORÁVEL dentro da questão em análise O indicador que mais contribuiu para o índice de satisfação com a tecnologia da informação foi Infraestrutura de TI O indicador que mais contribuiu para o índice de satisfação com os sistemas de TI foi Usuário apto para utilizar as ferramentas de TI disponíveis. 7. Conclusão 7.1. A base de dados apresenta valores inconsistentes estatisticamente que foram tratados na modelagem Baseado nas variáveis selecionadas por meio da análise fatorial foram determinados os índices de satisfação com a tecnologia da informação O índice de satisfação com a tecnologia de informação é de 43,94 e o índice de satisfação com os sistemas de TI, indicador imposto pelo CNJ, é de 41, Sugestões 8.1. Na próxima pesquisa sugere-se criar uma condição nas respostas a fim de impedir que respondentes não designados para determinada questão a respondam Por exemplo, perguntas direcionadas à área administrativa só deverão ser respondidas por servidores da mesma, impedindo que servidores da área judiciária respondam Outro exemplo, para idade impedir que o respondente coloque a data de nascimento Enfim, criar críticas às respostas para cada pergunta Caso a análise de regressão seja aceita como forma metodológica para criação dos indicadores é necessário que exista no questionário uma variável resposta no caso com a nota geral que o respondente daria para tecnologia da informação e sistemas da tecnologia da informação. 9. Notas finais 9.1. Todos os passos da análise dessa pesquisa foram registrados na programação do SPSS a fim de que seja armazenado a inteligência da construção do processo. 10. Anexos Anexo I Questionário Anexo II Indicadores 8