TRIBUNAL SUPERIOR ELEITORAL SECRETARIA DE GESTÃO DA INFORMAÇÃO COORDENADORIA DE JURISPRUDÊNCIA

Transcrição

1 TRIBUNAL SUPERIOR ELEITORAL SECRETARIA DE GESTÃO DA INFORMAÇÃO COORDENADORIA DE JURISPRUDÊNCIA RELATÓRIO PESQUISA DE SATISFAÇÃO SERVIÇO DE PESQUISA DE JURISPRUDÊNCIA NA WEB BRASÍLIA DEZEMBRO DE 2008

2 SUMÁRIO 1 INTRODUÇÃO População e amostra Metodologia Campo livre para críticas e sugestões Meta Indicadores PERFIL DOS USUÁRIOS Freqüência de utilização Ocupação principal ou relação com tse Grau de instrução DADOS COLETADOS Primeira parte satisfação geral Segunda parte satisfação com o serviço de auto-atendimento Eficácia do auto-atendimento em pesquisa Eficácia do auto-atendimento em pesquisa: dificuldades apontadas Acessibilidade dos serviços Conformidade do formulário para realização de pesquisa Conformidade do formulário para realização de pesquisa campos Índices de utilização de operadores, indexação e ajuda Índice de utilização dos operadores Índice de utilização da indexação Índice de utilização da ajuda Terceira parte satisfação com o serviço de pesquisa por Acessibilidade do serviço Tempo de atendimento Pertinência das respostas às solicitações de pesquisa Pertinência das respostas às solicitações de pesquisa razões de insatisfação Dados consolidados quadro geral ANÁLISES COMPARATIVAS Satisfação x Usuários freqüentes Usuários freqüentes x Satisfação geral Usuários freqüentes x Satisfação no auto-atendimento em pesquisa Usuários freqüentes x Satisfação no atendimento de pesquisas por Usuários freqüentes x Satisfação com a acessibilidade do serviço de pesquisas por Usuários freqüentes x Satisfação com o prazo de atendimento de pesquisas por

3 Usuários freqüentes x Satisfação com a pertinência das respostas às pesquisas por Satisfação x formação jurídica Usuários com formação jurídica x Satisfação no auto-atendimento em pesquisa Usuários com formação jurídica x Satisfação no atendimento de pesquisas por Usuários com formação jurídica x Acessibilidade do serviço de pesquisas por Usuários com formação jurídica x Prazo de atendimento de pesquisas por Usuários com formação jurídica x Pertinência das respostas às pesquisas por Satisfação x Escolaridade Usuários com formação superior x Satisfação no auto-atendimento em pesquisa Usuários com formação superior x Satisfação no atendimento de pesquisas por Usuários com formação superior x Acessibilidade do serviço de pesquisas por Usuários com formação superior x Prazo de atendimento de pesquisas por Usuários com formação superior x Pertinência das respostas às pesquisas por Usuários insatisfeitos simulações eliminando problemas de informática CONCLUSÕES ANEXO I...I ANEXO II... II

4 1 INTRODUÇÃO A pesquisa de satisfação dos usuários dos serviços de consulta à jurisprudência via web, ação prevista no Planejamento Estratégico 2008/2009 da Secretaria de Gestão da Informação e implantada em caráter permanente, teve seu primeiro período de coleta de dados realizada dos dias 1º a 30 de setembro de 2008, na página do Tribunal na internet e intranet. A análise das informações colhidas permite conhecer melhor os clientes quanto ao perfil e necessidades frente aos serviços de acesso à jurisprudência do TSE, além de revelar a percepção que esses usuários têm sobre os serviços, indicando o caminho a seguir para as ações de melhoria. 1.1 População e amostra Delimitou-se a população a ser consultada na pesquisa entre os usuários da página de jurisprudência na Internet e Intranet, levando-se em consideração que 99,42% dos atendimentos em pesquisa são hoje realizados por meio de formulário web ou e gerenciados no sistema Maximo. Aproximadamente 500 usuários internos ou externos responderam à pesquisa. O número exato não pode ser precisado, já que o Sistema de Questionário não faz o controle de acessos e não exige que os participantes respondam a todas as questões verifica-se que o total de respostas não é o mesmo para todas as perguntas. A questão que recebeu o maior número de respostas foi a primeira 496 mas há casos de usuários que não responderam a essa pergunta e responderam às seguintes. De qualquer forma, o número de participações atende às expectativas da Coordenadoria de Jurisprudência, revelando-se esclarecedor a respeito da situação atual, no que se refere à qualidade dos serviços prestados, e suficiente para as análises que se pretende realizar. Cabe observar que, frente à demanda por jurisprudência do Tribunal, a amostra da pesquisa é significativa: durante o período em que ficou disponível a pesquisa de satisfação, foram atendidas pela Seção de Pesquisa de Jurisprudência 765 solicitações via , um dos serviços foco da pesquisa de satisfação. Dessa forma, as 496 4

5 participações representam 64,83% do total de atendimentos no período. Quanto ao outro serviço avaliado, a pesquisa realizada pelo próprio usuário à base de dados de jurisprudência (auto-atendimento), não há como medir os acessos durante o período, pois o Tribunal não realiza o gerenciamento dessa audiência. 1.2 Metodologia O método quantitativo foi escolhido, primordialmente, para realização da pesquisa. Utilizou-se para a coleta dos dados o Sistema de Questionário, disponibilizado pela Seção de Desenvolvimento de Soluções Corporativas III, da Coordenadoria de Soluções Corporativas, da Secretaria de Tecnologia da Informação. Foram 16 perguntas com única ou múltipla escolha, mais duas para identificação e endereço eletrônico, para o caso de o usuário ter interesse em conhecer o resultado da pesquisa, e mais um campo textual, para as críticas e sugestões. Após o encerramento do período de coleta de opiniões dos usuários, o sistema possibilitou emitir o relatório geral, discriminando os totais de marcações realizadas em cada questão. Como os totais de respostas não são os mesmos entre as perguntas do questionário, os índices percentuais são calculados de acordo com o total de respostas dadas a cada pergunta, individualmente. Além disso, para que algumas perguntas do questionário não ficassem sem possibilidade de marcação, foram elaboradas com a opção de resposta nunca utilizei.... As respostas marcadas dessa maneira serão descartadas na análise inicial, quando o objetivo é saber a opinião dos usuários que efetivamente utilizam o serviço, e consideradas nas análises comparativas com outros indicadores. O Sistema de Questionário permitiu gerar, além do relatório geral, uma planilha Excel que permitiu a tabulação dos dados. A planilha mostrou-se mais versátil que o relatório, pois possibilitou identificar separadamente as opções marcadas por cada usuário que respondeu ao questionário. 5

6 Houve, porém, dois problemas com a planilha gerada pelo sistema, dos quais não se sabe a origem: a) dados misturados: por vezes, as linhas da planilha, que deveriam corresponder às respostas de cada participante, foram quebradas no último campo, destinado às críticas e sugestões, e algumas informações textuais passaram para as primeiras colunas da linha seguinte; por vezes o sistema duplicou, na mesma linha, as respostas do participante; b) os totais apresentados pela tabela não correspondem aos totais mostrados no relatório geral. Para dar solução ao primeiro problema foi necessário formatar manualmente a tabela, transferindo-se as informações que estavam desalinhadas e apagando-se as que estavam duplicadas. Tal operação foi realizada com extremo cuidado, para não comprometer os dados originais. Quanto à diferença entre as quantidades de respostas apresentadas pelo relatório geral e pela planilha, observa-se que os índices de marcações positivas e negativas extraídas das duas fontes são muito próximos. Por exemplo, o relatório geral mostra que a primeira questão foi respondida por 496 usuários, dos quais 118 se disseram muito satisfeitos, e isso corresponde a 23,79%. A tabela apresenta apenas 468 respostas à questão, e dessas 114 muito satisfeitos, o que resulta em um índice muito próximo: 24,36%. Assim, considerando que a variação nos índices não traz prejuízo substancial para a análise final quanto à satisfação dos clientes, e, ainda, que a tabela possibilita a ordenação das respostas, os dados desse relatório serão utilizados posteriormente, quando forem realizadas as análises comparativas entre os indicadores Campo livre para críticas e sugestões A última questão do formulário da pesquisa de satisfação oferecia ao usuário espaço livre para críticas e sugestões. 6

7 O campo foi criado para atender a necessidade de franquear ao usuário oportunidade de se manifestar diante da alternativa de resposta outros das questões 3, 6 e 13, assim formuladas, respectivamente: tenho dificuldade em localizar o que procuro porque...; o formulário de pesquisa de jurisprudência deveria conter também os seguintes campos...; as respostas as minhas solicitações de pesquisa via web à jurisprudência não foram totalmente satisfatórias pelos seguintes motivos... Como o Sistema de Questionário possibilita a criação de questões para as quais haverá apenas uma entre quatro tipos de resposta: única escolha, múltipla escolha, texto curto ou texto longo, não foi possível que as questões 3, 6 e 13 contivessem, além das respostas em múltipla escolha, uma última alternativa, outros, relacionada diretamente a um campo textual. A solução foi manter as opções outros e fazer a seguinte referência: favor especificar no campo 19 campo livre para críticas e sugestões. Foi criado um único campo textual para atender às três questões, e não um campo na seqüência de cada uma das perguntas, como desejado, para não tornar o questionário de pesquisa muito extenso. O campo 19 foi preenchido por 125 usuários; desses, apenas 92 se identificaram ou apontaram endereço eletrônico para resposta. As manifestações colhidas são de elogios ou reclamações apontando principalmente para as dificuldades de acesso a página do tribunal, por estar fora do ar ou com problemas técnicos, para o serviço de inteiro teor e o formato em que são disponibilizados os documentos (TIF), e para o leiaute da página de pesquisa. Há, ainda, solicitações de pesquisa de jurisprudência, solicitações para trabalhar nas eleições e manifestações de apoio a candidatos. Destacam-se as seguintes manifestações incidentais: letras muito pequenas que tornam cansativa a leitura; criação de serviço telefônico para auxílio às pesquisas; 7

8 espaço para manifestação do eleitor sobre as campanhas eleitorais (ouvidoria); apresentação dos resultados da pesquisa na mesma página. A todos os participantes que se identificaram ou, pelo menos, apresentaram endereço eletrônico para correspondência, será encaminhado o resultado da pesquisa, bem como esclarecimentos personalizados sobre a respectiva manifestação. O quadro completo com a identificação e as manifestações dos usuários encontrase no Anexo II deste documento. 1.3 Meta O projeto inicial da pesquisa não estabeleceu padrões para comparação ou designou metas a serem alcançadas, mas previu que isso seria feito a partir dos resultados da primeira pesquisa, em função das quais seriam estabelecidos padrões para cada indicador. Porém, durante a elaboração do planejamento estratégico para da Secretaria de Gestão da Informação para o exercício de 2008/2009 (Anexo I), foi estabelecida a meta inicial em 70% de satisfação dos usuários dos serviços de jurisprudência. Considerando-se a razoabilidade do índice de 70%, pois se trata de média superior que reflete uma avaliação desejável para uma primeira medição em relação aos serviços prestados, e levando em consideração, ainda, que a fixação de um norte auxilia nas conclusões sobre a pesquisa, facilitando as análises comparativas entre os indicadores, utilizaremos essa meta para as análises dos índices de satisfação. 1.4 Indicadores A pesquisa foi concebida para avaliar os seguintes aspectos: a) satisfação geral dos usuários em relação aos serviços de jurisprudência; b) satisfação em relação ao serviço de auto-atendimento; 8

9 c) satisfação relativa ao serviço de atendimento das pesquisas solicitadas via e- mail. Além disso, o questionário ainda faz o levantamento do perfil dos usuários com as informações sobre a freqüência de utilização, ocupação principal ou relação com o TSE e grau de escolaridade. Foram estabelecidos os seguintes indicadores de qualidade, relacionados a cada um dos aspectos analisados: 1) Quanto à satisfação geral: a) satisfação dos clientes; 2) Quanto ao auto-atendimento: b) eficácia do auto-atendimento; c) acessibilidade do serviço de auto-atendimento; d) conformidade do formulário de pesquisa; e) índice de utilização dos operadores; f) índice de utilização da indexação; g) índice de utilização da Ajuda ; 3) Quanto ao serviço de solicitação de pesquisa por h) tempo de atendimento; i) acessibilidade do serviço de pesquisa por j) pertinência das respostas às solicitações de pesquisa; 2 PERFIL DOS USUÁRIOS 9

10 2.1 Freqüência de utilização Analisando os dados da questão 14, verifica-se que são usuários freqüentes, ou seja, acessam os serviços sempre ou freqüentemente, 77,26% dos participantes da pesquisa. Apenas 22,74% são usuários esporádicos. Nas análises comparativas, a opinião dos usuários freqüentes será considerada à parte e valorada em relação à opinião dos usuários esporádicos. Os usuários freqüentes podem fazer uma avaliação mais crítica e confiável, com menos influência de problemas temporários e sazonais Utilizo os serviços da página de jurisprudência do TSE: a) Sempre ,80 b) Freqüentemente ,46 Total parcial ,26 c) Às vezes 62 16,02 d) Raramente 26 6,72 Total parcial 88 24,74 TOTAL , Ocupação principal ou relação com tse Quanto à ocupação principal ou relação com o TSE (questão 15), temos que a grande maioria dos usuários são advogados ou estagiários de direito (42,82%). Os outros grupos de destaque referem-se aos servidores dos Tribunais Regionais Eleitorais (9,82%), os eleitores (8,82%), além dos magistrados (6,55%) e membros do Ministério Público (5,29%). Uma observação importante e que também será considerada nas análises comparativas refere-se ao número de clientes que têm formação jurídica e, portanto, conhecimento técnico que facilita a realização das pesquisas. Contando-se os advogados e estagiários, os magistrados, e os membros do Ministério Público, supera-se a metade: 54,66% dos usuários. Pode-se presumir que os servidores do TSE (2,27%) e dos Tribunais Regionais Eleitorais (9,82%) que acessam a jurisprudência também têm formação jurídica, mas essa 10

11 informação não foi confirmada no questionário. Por essa razão, esses clientes não foram incluídos no grupo citado acima, para fins de análise Ocupação principal ou relação com o TSE: a) Estudante 22 5,54 b) Pesquisador 20 5,04 c) Eleitor 35 8,82 d) Candidato ou pré-candidato 9 2,27 e) Dirigente de partido político 7 1,76 f) Órgão de imprensa ou jornalista 3 0,76 g) Ocupante de cargo eletivo do poder Executivo 2 0,50 h) Ocupante de cargo eletivo do poder Legislativo 2 0,50 i) Advogado ou estagiário de advocacia ,82 j) Magistrado 26 6,55 k) Membro do Ministério Público 21 5,29 l) Servidor do TSE 9 2,27 m) Servidor da Justiça Eleitoral (exceto TSE) 39 9,82 n) Servidor do poder Judiciário (exceto Justiça Eleitoral) 11 2,77 o) Servidor do poder Executivo 2 0,50 p) Servidor do poder Legislativo 6 1,51 q) Outros 13 3,27 TOTAL , Grau de instrução O grau de instrução revelou-se alto, o que se traduz em clientes detentores de mais informações teóricas e práticas sobre a realização de pesquisas em geral e navegação na internet, e, portanto, mais tendentes ao sucesso na realização das buscas por jurisprudência do Tribunal. Disseram possuir pós-graduação, mestrado ou doutorado 42,08% dos usuários. Os que afirmaram ter nível superior completo são 42,86%. Ou seja, 84,94% dos usuário disseram possuir, ao menos, o nível superior de escolaridade. Ressalte-se ainda que, dos 15,06% restantes, 12,47% disseram ter completado o ensino médio, técnico ou profissionalizante. Apenas 2,6% dos participantes da pesquisa afirmaram ter apenas o ensino básico ou fundamental, ainda que incompleto. 11

12 16 Grau de instrução: a. pós graduação, mestrado ou doutorado ,08 b. superior completo ,86 c. ensino médio, técnico ou profissionalizante completo 48 12,47 d. ensino básico ou fundamental completo 7 1,82 e. ensino fundamental incompleto 3 0,78 TOTAL ,00 3 DADOS COLETADOS Os quadros seguintes trazem os dados do relatório geral emitido pelo sistema. Além das informações sobre o número de respostas, são esclarecidos, ainda, a parte da pesquisa correspondente, os respectivos indicadores de qualidade relacionados com a questão, e os índices percentuais a que corresponde cada valor em relação ao total de respostas a cada pergunta. As demais questões da pesquisa tratam dos serviços separadamente e de suas funcionalidades, de forma que as análises individuais e em conjunto desses resultados possibilitarão a identificação dos motivos que determinaram o índice de satisfação dos usuários abaixo da meta. A satisfação geral e a satisfação quanto as pesquisas realizadas pelo próprio usuário e quanto às solicitações por serão analisados, numa primeira etapa, isoladamente, já que seu conteúdo, por si, é extremamente revelador sobre a impressão que os usuários têm dos serviços de jurisprudência do TSE. Posteriormente, essas informações serão relacionadas com os dados sobre freqüência de utilização, grau de instrução e relação com o tribunal, de forma a conhecêlos ainda mais. 3.1 Primeira parte satisfação geral O índice de satisfação do cliente em relação à consulta à jurisprudência objetiva colher uma avaliação geral, sem discriminar os serviços utilizados ou avaliados. A satisfação dos usuários, no que se refere à avaliação geral dos serviços, ficou abaixo da meta. Somente 56,85% dos usuários avaliaram positivamente os serviços, 12

13 declarando-se muito satisfeitos ou satisfeitos com os serviços de jurisprudência; os restantes 43,14% avaliaram negativamente declarando-se pouco satisfeitos ou insatisfeitos. Indicador: SATISFAÇÃO DO CLIENTE 1 De maneira geral, como você avalia os serviços de consulta à jurisprudência do TSE? Opções de resposta Número de respostas % a) Estou muito satisfeito ,79 b) Satisfeito ,06 Total parcial ,85 c) Pouco satisfeito ,77 d) Insatisfeito ,37 Total parcial ,14 TOTAL Segunda parte satisfação com o serviço de auto-atendimento A pesquisa realizada pelo próprio usuário foi avaliada nas perguntas 2 a 9 do questionário. Os indicadores correspondentes a esse aspecto não estão ligados diretamente à qualidade do serviço de atendimento prestado pela equipe da Seção de Pesquisa de Jurisprudência, mas referem-se ao uso das ferramentas de busca disponíveis na página. Trata-se também de informações que estão disponíveis na página de jurisprudência e que visam auxiliar o usuário na realização das pesquisas. A medição sobre o conhecimento e utilização desses recursos afere a qualidade da comunicação com os usuários, indicando os pontos a serem aperfeiçoados Eficácia do auto-atendimento em pesquisa Este indicador destina-se à avaliação geral sobre o serviço disponível aos usuários para realização de pesquisas. A satisfação dos usuários ficou abaixo da meta. Somente 57,47% dos usuários declararam concordar totalmente ou concordar com essa afirmação de que encontram com facilidade as decisões que procuram na pesquisa de jurisprudência. 13

14 Estão insatisfeitos 42,53% dos usuários, que declararam discordar ou discordar totalmente da assertiva. Indicador: EFICÁCIA DO AUTO-ATENDIMENTO EM PESQUISA 2 - Encontro com facilidade as decisões que procuro na pesquisa de jurisprudência. Respostas Nº de respostas % a) Concordo totalmente 96 20,21 b) Concordo ,26 Total parcial ,47 c) Discordo ,11 d) Discordo totalmente 78 16,42 Total parcial ,53 TOTAL Eficácia do auto-atendimento em pesquisa: dificuldades apontadas Pergunta complementar procurou esclarecer as razões dos usuários que avaliaram negativamente o serviço na questão anterior, somados aos que informaram concordar haver facilidade na locação das decisões que procuram. É direcionada aos que responderam a questão anterior com concordo, discordo ou discordo totalmente. Merecem destaque os 43,90% de usuários que declararam que a página do Tribunal estava fora do ar ou com problemas técnicos quando tentaram realizar pesquisas. Apesar de não estar sob controle direto da Coordenadoria de Jurisprudência, o funcionamento da página influi na qualidade dos serviços e, conseqüentemente, na satisfação dos clientes. Por essa razão, o questionário previu a possibilidade de falhas relacionadas a disponibilidade e funcionamento dos serviços. Vale lembrar que a administração, gerenciamento e suporte aos recursos tecnológicos de internet do Tribunal é de competência da Secretaria de Tecnologia da Informação. 14

15 3 Tenho dificuldade em localizar o que procuro por que: Respostas a) Não estou habituado a navegar na internet 25 5,87 b) A página de pesquisa estava fora do ar ou com problemas técnicos ,90 c) Não sei como utilizar os campos de pesquisa 25 5,87 d) Minhas pesquisas retornam muitos resultados 43 10,09 e) Não consigo entender os documentos trazidos pela pesquisa 19 4,46 f) As explicações funcionais dos operadores (e, ou, não, adj, prox, $, mesmo) não são claras 68 15,96 g) Outros (favor especificar no campo 19 campo livre para críticas e sugestões) 59 13,85 TOTAL , Acessibilidade dos serviços O índice de acessibilidade dos serviços é relacionado diretamente ao funcionamento do serviço disponível para realização de pesquisas pelos próprios usuários. Este indicador superou a meta. Foram 80,35% de avaliações positivas. Indicador: ACESSIBILIDADE DOS SERVIÇOS 4 - A pesquisa de jurisprudência é de fácil localização na página do TSE na internet. Respostas Nº de respostas % a) Concordo totalmente ,38 b) Concordo ,97 Total parcial ,35 c) Discordo 58 12,95 d) Discordo totalmente 30 6,70 Total parcial 88 19,65 TOTAL Conformidade do formulário para realização de pesquisa O índice de conformidade do formulário de pesquisa via web é relacionado diretamente ao funcionamento do serviço disponível para realização de pesquisa pelos próprios usuários. Este indicador superou a meta. Foram 74,53% de avaliações positivas. 15

16 Indicador: CONFORMIDADE DO FORMULÁRIO DE PESQUISA VIA WEB 5 - Os campos do formulário de pesquisa de jurisprudência são suficientes para se realizar as consultas. Respostas Nº de respostas % a) Concordo totalmente ,65 b) Concordo ,89 Total parcial ,53 c) Discordo 88 20,18 d) Discordo totalmente 23 5,28 Total parcial ,47 TOTAL Conformidade do formulário para realização de pesquisa campos Pergunta complementar, tem por objetivo colher dos usuários informação dos campos que consideram importantes constar no formulário de pesquisa. Todos os possíveis campos apresentados como opções no formulário de pesquisa receberam significativa marcação, com destaque para o nome das partes, indicado por 25,19% dos usuários, e município de origem, apontado por 21,83% dos clientes. Observe-se que esta última não possui campo específico, mas pode ser consultada digitando-se o nome do município no campo pesquisa livre. Ressalte-se que os campos disponíveis para pesquisa foram padronizados por comissão criada para esse fim, com servidores do TSE, STF, STJ, TRF 1ª Região e TJDFT. 6 O formulário de pesquisa de jurisprudência deveria conter também os seguintes campos: a) Classe processual 63 11,75 b) Origem (UF/Município) ,83 c) Número do protocolo 40 7,46 d) Nome das partes ,19 e) Nome dos advogados 70 13,06 f) Campo indexação separado do campo ementa 78 14,55 g) Outros (favor especificar no campo 19 - campo livre para críticas e sugestões) 33 6,16 TOTAL ,00 16

17 3.2.6 Índices de utilização de operadores, indexação e ajuda Esses indicadores estão ligados indiretamente à qualidade do serviço, pois se trata de informações que estão disponíveis na página de jurisprudência e que visam a orientar os usuários na realização das pesquisas. A medição sobre o conhecimento e a utilização desses recursos afere a qualidade da comunicação com os usuários, indicando pontos a serem aperfeiçoados Índice de utilização dos operadores A utilização dos operadores lógicos nas expressões de busca permite a realização de pesquisas mais eficazes e bem sucedidas. Diminui a quantidade de resultados e reduz o tempo gasto na seleção das decisões. Este indicador ficou abaixo da meta. Somente 46,93% dos usuários declararam fazer uso de operadores lógicos sempre ou freqüentemente. Indicador: ÍNDICE DE UTILIZAÇÃO DOS OPERADORES 7 Utilizo os operadores (e, ou, nao, adj, prox, $, mesmo) em minhas pesquisas. Respostas Nº de respostas % a) Sempre ,26 b) Freqüentemente 76 18,67 Total parcial ,93 c) Às vezes ,70 d) Nunca 87 21,38 Total parcial ,08 TOTAL Índice de utilização da indexação A indexação permite compreender o teor das decisões sem a necessidade de leitura do inteiro teor, tornando mais rápida e eficaz a busca. Este indicador ficou abaixo da meta. Somente 67,42% dos usuários declararam levar em consideração as informações contidas no campo indexação. 17

18 Indicador: ÍNDICE DE UTILIZAÇÃO DA INDEXAÇÃO 8 Para selecionar as decisões de meu interesse, levo em consideração as informações contidas no campo indexação dos documentos apresentados no resultado da pesquisa. Respostas Nº de respostas % a. Concordo totalmente 74 18,55 b. Concordo ,87 Total parcial ,42 c. Discordo 92 23,06 d. Discordo totalmente 38 9,52 Total parcial ,58 TOTAL Índice de utilização da ajuda A ajuda da página contém textos com informações sobre os recursos disponíveis para acesso à jurisprudência, explica as formas apropriadas para realização de buscas e apresenta os produtos elaborados pela Coordenadoria de Jurisprudência. Este indicador ficou abaixo da meta. Somente 65,93% dos usuários declararam considerar úteis as informações disponíveis na ajuda para resolver suas dúvidas na realização das pesquisas. Indicador: ÍNDICE DE UTILIZAÇÃO DA AJUDA 9 - As informações disponíveis na Ajuda da página são úteis para resolver minhas dúvidas na realização das pesquisas. Respostas Nº de respostas % a) Concordo totalmente 55 20,37 b) Concordo ,56 Total parcial ,93 c) Discordo 69 25,56 d) Discordo totalmente 23 8,52 Total parcial 92 34,07 TOTAL Terceira parte satisfação com o serviço de pesquisa por O atendimento das solicitações de pesquisa por foi avaliado nas perguntas 10 a 13 do questionário. 18

19 As três primeiras correspondem aos indicadores de acessibilidade do serviço, tempo para recebimento das respostas e coerência das respostas ao que solicitado. A quarta questão desta parte (questão 13) deu oportunidade aos usuários de esclarecer os motivos pelos quais avaliaram negativamente o indicador relativo à coerência das respostas, quando foi o caso. A avaliação desse serviço superou a meta em todos esses indicadores e atingiu a média de 73,74% usuários satisfeitos Acessibilidade do serviço O índice de acessibilidade do serviço mede o grau de facilidade na localização e acesso ao formulário de solicitação de pesquisa. Este indicador superou a meta. Foram 76,64% os usuários se declararam satisfeitos quanto à acessibilidade do formulário de pesquisa. Indicador: ACESSIBILIDADE DOS SERVIÇOS 10 - O formulário para solicitação de pesquisas de jurisprudência via web é de fácil localização no site do TSE. Respostas Nº de respostas % a) Concordo totalmente ,03 b) Concordo ,61 Total parcial ,64 c) Discordo 66 17,32 d) Discordo totalmente 23 6,04 Total parcial 89 23,36 TOTAL Tempo de atendimento O índice de tempo de atendimento afere o cumprimento do prazo máximo de atendimento das solicitações de pesquisa, contado do recebimento das ordens de serviços no sistema até o efetivo recebimento da resposta pelo usuário. Este indicador superou a meta. Foram 73,23% os usuários que se declararam satisfeitos com o tempo de resposta às pesquisas. 19

20 Indicador: TEMPO DE ATENDIMENTO 11 - Recebo as respostas às minhas solicitações de pesquisa via web à jurisprudência dentro do prazo de 24 horas (considerados apenas dias úteis). Respostas Nº de respostas % a) Concordo totalmente 60 27,91 b) Concordo 97 45,12 Total parcial ,23 c) Discordo d) Discordo totalmente 15 6,98 Total parcial 58 26,98 TOTAL Pertinência das respostas às solicitações de pesquisa Este indicador superou a meta. Foram 71,36% os usuários que se declararam satisfeitos com a pertinência das respostas dadas às solicitações de pesquisa ao que foi solicitado. Indicador: PERTINÊNCIA DAS RESPOSTAS ÀS SOLICITAÇÕES DE PESQUISA 12 - As respostas às minhas solicitações de pesquisa de jurisprudência via web são satisfatórias. Respostas Nº de respostas % a) Concordo totalmente 62 27,31 b) Concordo ,05 Total parcial ,36 a) Discordo 54 23,79 b) Discordo totalmente 11 4,85 Total parcial 65 28,64 TOTAL Pertinência das respostas às solicitações de pesquisa razões de insatisfação Os usuários que avaliaram negativamente o indicador relativo à coerência das respostas ao que foi solicitado puderam esclarecer os motivos dessa avaliação. É direcionada aos usuários que responderam a questão anterior com concordo, discordo ou discordo totalmente. 20

21 Vale lembrar que na página de jurisprudência, onde se solicitam as pesquisas para atendimento via , há esclarecimentos sobre quais tipos de informações são prestadas pelo serviço e quais não são: atendem-se as demandas com o envio de ementas de decisões do Tribunal (acórdãos e resoluções); não são atendidos os pedidos de consultoria jurídica, decisões de outros tribunais e informações estatísticas, além dos serviços que são prestados por outras unidades: inteiro teor, andamento processual, legislação, cadastro eleitoral/título de eleitor, certidão de quitação eleitoral e nada consta criminal. 13 (...) As respostas as minhas solicitações de pesquisa via web à jurisprudência não foram totalmente satisfatórias pelos seguintes motivos: a) As decisões não correspondiam ao que foi solicitado 49 23,22 b) Não consegui entender a resposta 24 11,37 c) As respostas foram evasivas 23 10,90 d) Não obtive resposta direta (sim/não, pode/não pode, etc.) 43 20,38 e) Não havia decisão sobre o assunto 38 18,01 f) Outros (favor especificar no campo 19 campo livre para críticas e sugestões) 34 16,11 TOTAL , Dados consolidados quadro geral SATISFAÇÃO GERAL INDICADOR QUESTÃO RESULTADO (satisfação) Satisfação do cliente (geral) 1 56,85% SATISFAÇÃO DO AUTO-ATENDIMENTO EM PESQUISA INDICADOR QUESTÃO RESULTADO (satisfação) Eficácia no auto-atendimento 2 e 3 57,47% Acessibilidade dos serviços - geral 4 80,35% Conformidade do formulário 5 e 6 74,53% Índice de utilização dos operadores 7 46,93% Índice de utilização da indexação 8 67,42% Índice de utilização da Ajuda 9 65,93% SATISFAÇÃO DA PESQUISA VIA INDICADOR QUESTÃO RESULTADO (satisfação) Acessibilidade dos serviços - solicitação 10 76,64% Tempo de atendimento 11 73,23% Pertinência da resposta 12 e 13 71,36% 21

22 4 ANÁLISES COMPARATIVAS Doravante serão feitas as análises comparativas entre os indicadores, utilizando também os dados da planilha, conforme esclarecido. 4.1 Satisfação x Usuários freqüentes Usuários freqüentes x Satisfação geral Considerando-se apenas a opinião dos usuários freqüentes aqueles que utilizam os serviços de jurisprudência sempre ou freqüentemente a satisfação geral passa a ser a seguinte: Usuários freqüentes x Satisfação geral Total de usuários freqüentes Número dos que responderam sobre a satisfação geral ,30 Muito satisfeitos 67 23,51 Satisfeitos 95 33,33 56,84 Pouco satisfeitos 68 23,86 Insatisfeitos 53 18,60 42,46 Não responderam essa questão 2 0,7 Somando-se os usuários muito satisfeitos aos satisfeitos, colhe-se o índice de satisfação de 56,84% dos usuários freqüentes, de forma geral, com relação aos serviços de jurisprudência. Tecnicamente não há variação em relação ao índice de satisfação geral aferido com todos os participantes da pesquisa, de 56,85% Usuários freqüentes x Satisfação no auto-atendimento em pesquisa A satisfação dos 285 usuários freqüentes em relação ao auto-atendimento em pesquisas é assim expressa: 22

23 Usuários freqüentes x Satisfação no auto-atendimento em pesquisa Total de usuários freqüentes Número dos que responderam sobre facilidade na localização das decisões: ,64 Concordam totalmente 62 21,75 Concordam ,65 61,40 Discordam 73 25,61 Discordam totalmente 36 12,63 38,24 Não responderam essa questão 1 0,36 Portanto, satisfação de 61,4% entre os usuários freqüentes, a respeito do serviço de auto-atendimento em pesquisa. Essa avaliação é superior à aferida entre todos os participantes da pesquisa, de 57,47%. Entre os usuários esporádicos, que teoricamente estão menos tendentes ao sucesso nas buscas, obtém-se o seguinte resultado: Usuários menos freqüentes x Satisfação no auto-atendimento em pesquisa Total de usuários menos freqüentes Número dos que responderam sobre facilidade na localização das decisões: 81 98,78 Concordam totalmente 14 17,07 Concordam 24 29,27 46,34 Discordam 20 24,39 Discordam totalmente 23 28,05 52,44 Não responderam essa questão 1 1,22 Satisfação de apenas 46,34% dos usuários esporádicos no que se refere ao autoatendimento em pesquisas. Ressalte-se que a avaliação dos esporádicos trouxe para baixo a avaliação geral sobre o serviço Usuários freqüentes x Satisfação no atendimento de pesquisas por Sobre o serviço de atendimento às solicitações de pesquisa por , lembrando que esse serviço é avaliado por três indicadores: acessibilidade, prazo de atendimento e pertinência das respostas. 23

24 Usuários freqüentes x Satisfação com a acessibilidade do serviço de pesquisas por Usuários freqüentes x Satisfação com acessibilidade da pesquisa por Total de usuários freqüentes Número dos que responderam sobre facilidade de localização do ,68 serviço Concordam totalmente 86 30,17 Concordam ,96 76,13 Discordam 37 12,98 Discordam totalmente 13 4,56 17,54 Não responderam essa questão 18 6,33 Não utilizaram o serviço Não são considerados Usuários freqüentes x Satisfação com o prazo de atendimento de pesquisas por Usuários freqüentes x Satisfação com prazo de atendimento da pesquisa por Total de usuários freqüentes Número dos que responderam sobre satisfação com prazo de atendimento ,92 Concordam totalmente 47 29,75 Concordam 71 44,94 74,69 Discordam 20 12,66 Discordam totalmente 19 6,33 18,99 Não responderam essa questão 10 6,32 Nunca utilizaram o serviço Não são considerados Usuários freqüentes x Satisfação com a pertinência das respostas às pesquisas por Usuários freqüentes x Satisfação com a pertinência das respostas na pesquisa por Total de usuários freqüentes Número dos que responderam sobre pertinência das respostas ,49 Concordam totalmente 51 29,31 Concordam 75 43,10 72,41 Discordam 28 16,10 Discordam totalmente 7 4,02 20,12 Não responderam essa questão 13 7,47 Nunca utilizaram o serviço Não são considerados 24

25 Portanto, entre os usuários freqüentes, no que se refere ao serviço de pesquisa por , há 76,13% de satisfação sobre a acessibilidade do serviço contra 76,64% de satisfação considerando-se todos os participantes; 74,69% de satisfação quanto ao tempo de atendimento contra 73,23% aferido entre todos os usuários; e 72,41% de satisfação quanto à pertinência das respostas contra 71,36% entre todos os participantes. A satisfação média desse serviço, considerado os três indicadores relacionados acima, entre os usuários freqüentes, é de 74,46% contra 73,74% aferido entre todos os usuários Satisfação x formação jurídica Limitando o universo de respostas apenas aos que usuários que possuem formação jurídica (advogados e estagiários, magistrados e membros do Ministério Público), obtém-se o seguinte resultado, no que se refere à satisfação geral: Usuários com formação jurídica x Satisfação geral Total de usuários com formação jurídica Número dos que responderam sobre a satisfação geral Muito satisfeitos 37 17,70 Satisfeitos 70 33,50 Pouco satisfeitos 51 24,40 Insatisfeitos 51 24,40 51,20 48,80 Satisfação geral de 51,2% dos usuários, entre os que possuem formação jurídica, contra 56,85% aferido entre todos os participantes da pesquisa Usuários com formação jurídica x Satisfação no auto-atendimento em pesquisa A satisfação dos 209 usuários com formação jurídica em relação ao autoatendimento em pesquisas é assim expressa: 25

26 Usuários com formação jurídica x Satisfação no auto-atendimento em pesquisa Total de usuários com formação jurídica Número dos que responderam sobre facilidade na localização das decisões ,52 Concordam totalmente 38 18,27 Concordam 75 36,06 54,33 Discordam 54 25,96 Discordam totalmente 41 19,71 45,67 Não responderam essa questão 1 0,48 Portanto, entre os usuários que têm formação jurídica, 54,33% estão satisfeitos com o serviço de auto-atendimento, ou seja, concordam ou concordam totalmente com a afirmação de que é fácil a localização de decisões na página do TSE Usuários com formação jurídica x Satisfação no atendimento de pesquisas por Sobre o serviço de atendimento às solicitações de pesquisa por , lembrando que esse serviço é avaliado por três indicadores: acessibilidade, prazo de atendimento e pertinência das respostas Usuários com formação jurídica x Acessibilidade do serviço de pesquisas por Usuários com formação jurídica x Satisfação com acessibilidade da pesquisa por Total de usuários com formação jurídica Número de respostas sobre facilidade de localização do serviço ,26 Concordam totalmente 51 25,88 Concordam ,78 77,66 Discordam 34 17,26 Discordam totalmente 10 5,08 22,34 Não responderam essa questão 12 5,74 Não utilizaram o serviço Não são considerados Usuários com formação jurídica x Prazo de atendimento de pesquisas por 26

27 Usuários com formação jurídica x Satisfação com prazo de atendimento por Total de usuários com formação jurídica Número dos que responderam sobre satisfação com prazo de atendimento 86 41,15 Concordam totalmente 23 26,74 Concordam 42 48,84 75,58 Discordam 18 20,93 Discordam totalmente 3 3,49 24,42 Não responderam essa questão ,85 Nunca utilizaram o serviço Não são considerados Usuários com formação jurídica x Pertinência das respostas às pesquisas por Usuários com formação jurídica x Satisfação com a pertinência das respostas Total de usuários com formação jurídica Número dos que responderam sobre pertinência das respostas ,33 Concordam totalmente 27 26,73 Concordam 51 50,5 77,23 Discordam 21 20,79 Discordam totalmente 2 1,98 22,77 Não responderam essa questão ,67 Nunca utilizaram o serviço Não são considerados Portanto, entre os usuários que possuem formação jurídica, no que se refere ao serviço de pesquisa por , há 77,66% de satisfação sobre a acessibilidade do serviço, 75,58% de satisfação quanto ao tempo de atendimento, e 77,23% de satisfação quanto à pertinência das respostas. A satisfação média é de 76,82%, contra 73,74% aferido entre todos os participantes. Os usuários que não têm formação jurídica reúnem, teoricamente, menos condições de entender os documentos encaminhados por como resposta às solicitações (acórdãos e resoluções) e, portanto, tendem a fazer uma avaliação inferior da pertinência das respostas. Destacando-se esses usuários, obtém-se a seguinte avaliação: 27

28 Usuários sem formação jurídica x Satisfação com a pertinência das respostas Número de usuário sem formação jurídica que responderam sobre pertinência das respostas Concordam totalmente 32 29,09 Concordam 43 39,09 68,18 Discordam 26 23,64 Discordam totalmente 9 8,18 31,82 Verifica-se que a satisfação dos usuários que não possuem formação jurídica com a pertinência das respostas às consultas via é de 68,18%, contra 77,23% de satisfação dos que têm formação jurídica Satisfação x Escolaridade Considerando os usuários que possuem nível superior de escolaridade, o resultado é o seguinte para a satisfação geral: Usuários com formação jurídica x Satisfação geral Número dos que responderam sobre a satisfação geral Muito satisfeitos 65 21,10 Satisfeitos ,10 55,20 Pouco satisfeitos 71 23,05 Insatisfeitos 67 21,75 44,80 Índice de satisfação geral em 55,29%, entre os usuários que possuem, ao menos, graduação superior completa, contra 56,85% de satisfação, resultante da avaliação de todos os usuários Usuários com formação superior x Satisfação no auto-atendimento em pesquisa Em relação ao serviço de auto-atendimento, a satisfação dos usuários com nível superior é o seguinte: 28

29 Usuários com formação superior x Satisfação no auto-atendimento em pesquisa Número dos que responderam sobre facilidade na localização das decisões Concordam totalmente 65 21,17 Concordam ,81 57,98 Discordam 80 26,06 Discordam totalmente 49 15,96 42,02 Portanto, 57,98% dos usuários que possuem nível superior estão satisfeitos com o serviço de auto-atendimento em pesquisas, contra 57,47% de satisfação ao consideraremse todos os usuários Usuários com formação superior x Satisfação no atendimento de pesquisas por Sobre o serviço de atendimento às solicitações de pesquisa por , lembrando que esse serviço é avaliado por três indicadores: acessibilidade, prazo de atendimento e pertinência das respostas Usuários com formação superior x Acessibilidade do serviço de pesquisas por Usuários com formação superior x Satisfação com acessibilidade da pesquisa por Número de respostas sobre facilidade de localização do serviço Concordam totalmente 88 30,45 Concordam ,48 79,93 Discordam 45 15,57 Discordam totalmente 13 4,50 20,07 Não responderam essa questão 12 5,74 Não utilizaram o serviço Não são considerados Usuários com formação superior x Prazo de atendimento de pesquisas por 29

30 Usuários com formação superior x Satisfação com prazo de atendimento por Número dos que responderam sobre satisfação com prazo de atendimento Concordam totalmente 46 31,94 Concordam 65 45,14 77,08 Discordam 25 17,36 Discordam totalmente 8 5,56 22,92 Nunca utilizaram o serviço Não são considerados Usuários com formação superior x Pertinência das respostas às pesquisas por Usuários com formação superior x Satisfação com a pertinência das respostas Número dos que responderam sobre pertinência das respostas Concordam totalmente 49 30,82 Concordam 73 45,91 76,73 Discordam 32 20,12 Discordam totalmente 5 3,15 23,27 Nunca utilizaram o serviço Não são considerados Entre os usuários que possuem nível superior de escolaridade, no que se refere ao serviço de pesquisa por , há 79,93% de satisfação sobre a acessibilidade do serviço, 77,08% de satisfação quanto ao tempo de atendimento, e 76,73% de satisfação quanto à pertinência das respostas. A satisfação média é de 77,91%, contra 73,74% aferido entre todos os participantes. 4.2 Usuários insatisfeitos simulações eliminando problemas de informática Após a consulta sobre a satisfação geral, as questões seguintes da pesquisa esclareceram quanto ao nível de satisfação em relação a cada um dos serviços. O serviço de solicitação via foi bem avaliado (76,64% satisfeitos com a acessibilidade, 73,23% com o tempo de resposta e 71,36% com a coerência das respostas, média de 73,74%). Já o serviço de auto-atendimento recebeu avaliação inferior à meta: 57,47%, o que nos leva a crer que a avaliação desse serviço forçou para baixo o nível de satisfação geral em relação aos serviços de jurisprudência. 30

31 Classificando-se a tabela, verifica-se que, dos 202 pouco satisfeitos ou insatisfeitos de forma geral, 159 (78,71%) discordam ou discordam totalmente da afirmação de que há facilidade para localizar as decisões procuradas o auto-atendimento em pesquisa. Quanto à pesquisa via , daqueles 202 pouco satisfeitos ou insatisfeitos, apenas 75 (37,13%) avaliam negativamente um ou mais de um dos indicadores relacionados a esse serviço. Foram apontadas 54 insatisfações com a localização do formulário da pesquisa, 33 com tempo de resposta e 22 relativas a pertinência das respostas. O serviço de auto-atendimento recebeu boa avaliação no que se refere à localização do serviço na página (80,35%) e à conformidade dos campos existentes para pesquisa (74,53%). Isso mostra que as razões para a insatisfação com esse serviço são, provavelmente, as apresentadas como possibilidades na questão 3: Tenho dificuldade em localizar o que procuro porque:. O item dessa pergunta que se destacou em quantidade de marcações foi a alternativa b. a página de pesquisa estava fora do ar ou com problemas técnicos. Foi apontada 187 vezes (43,9%) entre as 426 marcações dessa questão. Como a questão 3 permitia múltiplas marcações, classificou-se a tabela e foram separados aqueles usuários que se queixaram exclusivamente dos problemas técnicos com a página do Tribunal: 143 (33,57%). Considerando que é significativa a quantidade de clientes que citaram os problemas de informática como única causa de insatisfação, passa-se a analisar os indicadores inferindo o seguinte: os usuários insatisfeitos que apontaram exclusivamente a página fora do ar ou com problemas técnicos como razão para a dificuldade de acesso à jurisprudência, provavelmente estariam satisfeitos caso esses problemas não existissem. Cabe observar que se trata de simular uma situação hipotética, sem pretensão de cientificidade, de modo a meramente demonstrar a influência potencial dos problemas de informática da página na avaliação dos usuários quanto à qualidade dos serviços disponíveis ou prestados. Os resultados dessa simulação não interferirão nas ações que serão adotadas para solução dos problemas verificados e elevação dos percentuais de 31

32 satisfação dos usuários, naturalmente porque, além desse, há outros aspectos que demandarão intervenção corretiva ou melhoria. Registre-se ainda que outra simulação possível e talvez mais apropriada consistiria em simplesmente excluir os usuários que indicaram os problemas de informática como causa única de insatisfação: embora se tenha optado pela simulação com inversão de sinal (considerando-se satisfeitos esses mesmos usuários caso inexistissem tais problemas), também nesse caso haveria elevação dos percentuais de satisfação geral e quanto ao auto-atendimento em pesquisa, conforme cálculos que deixam de ser apresentados neste relatório. Feitas essas observações, tem-se que, quanto à satisfação geral, dos 143 usuários que indicaram apenas os problemas técnicos ou a página fora do ar, temos 45 que se disseram pouco satisfeitos e 41 insatisfeitos com os serviços. Se estivessem satisfeitos, na hipótese de inexistência dos problemas, teríamos o seguinte resultado: Satisfação geral simulada, sem problemas de informática na página Número dos que responderam à questão Muito satisfeitos ,46 Satisfeitos 238 ( ) 58,85 75,21 Pouco satisfeitos 57 (102-45) 12,18 Insatisfeitos 59 (100-41) 12,61 24,79 Teríamos a satisfação geral de 75,21% dos usuários. Quanto ao serviço de auto-atendimento, foram 46 que discordaram da afirmação de que é fácil a localização de decisões e que marcaram exclusivamente os problemas de informática. Outros 25 na mesma situação marcaram discordo totalmente. Se estivessem satisfeitos: Satisfação no auto-atendimento simulada, sem problemas de informática na página Número de respostas à questão facilidade na localização das decisões Concordam totalmente 93 20,81 Concordam 236 ( ) 52,80 73,61 Discordam 70 (116-46) 15,66 Discordam totalmente 48 (73-25) 10,74 26,40 32

33 Teríamos a satisfação de 73,61% dos usuários quanto ao auto-atendimento. TODOS OS USUÁRIOS Satisfação geral 56,85% Satisfação geral inferindo-se a satisfação 75,21% Satisfação com o auto atendimento 57,47% Satisfação com o auto atendimento inferindo-se a satisfação 79,50% As análises abaixo trazem o índice de satisfação dos usuários freqüentes, dos usuários com formação superior, e dos usuários com formação jurídica, inferindo-se que os insatisfeitos que apontaram exclusivamente que a página estava fora do ar ou com problemas técnicos estariam satisfeitos caso esses problemas não se manifestassem durante as consultas. I - Satisfação geral: a) Total de usuários freqüentes: 285 b) Número de respostas sobre a satisfação geral: 283; c) Muito satisfeitos: 67 (23,51%); d) Satisfeitos: = 160 (56,14%); e) Pouco satisfeitos: = 31 (10,88%); f) Insatisfeitos: = 25 (8,77%) g) Não responderam essa questão: 2 (0,7%). II - Satisfação na pesquisa realizada pelo próprio usuário: a) Número de respostas sobre a satisfação do serviço: 284; b) Concordam totalmente com a facilidade de localização das decisões: 62 (21,75%); c) Concordam: = 164 (57,75%) d) Discordam: = 22 (7,75%); 33