TESTES DO COEFICIENTE DE FIDEDIGNIDADE ESCOLHIDO PARA SER UTILIZADO NA AVALIAÇÃO QUALITATIVA PARACONSISTENTE

Transcrição

1 ! "#$ " %'&)(*&)+,.- C)D 5.,.5FE)5.G.+ &4- (IHJ&?,.+ /?<>=)5.KA:.+5MLN&OHJ5F&4E)*EOHJ&)(IHJ/)G.- D - ;./);.& TESTES DO COEFICIENTE DE FIDEDIGNIDADE ESCOLHIDO PARA SER UTILIZADO NA AVALIAÇÃO QUALITATIVA PARACONSISTENTE Carlos Alberto Ferreira Bispo (EESC-USP) cafbispo@sc.usp.br Edson Walmir Cazarini (EESC-USP) cazarini@sc.usp.br O objetivo deste artigo é apresentar alguns testes realizados com o coeficiente de fidedignidade escolhido para ser utilizado na técnica da avaliação qualitativa paraconsistente. Realizaram-se testes empregando uma metodologia desenvolvidaa para essa finalidade. Dois pares de amostras de dados, chamados de x e y, foram necessários para a realização de cada teste, as amostras x foram obtidas por meio de simulação, empregando o aplicativo Matlab 7., gerando 3. dados em cada teste. A amostra y foi calculada em relação aos dados da amostra x, permitindo a elaboração de cenários em cada bateria de testes, simulando os mais variados tipos de comportamento dos dados em avaliações qualitativas. Foram realizadas 3 baterias de testes, respectivamente, empregando as distribuições uniforme, normal e assimétrica. A escolha dessas distribuições foi por serem as mais próximas da realidade das mensurações qualitativas. Palavras-chaves: Coeficiente de Fidedignidade, Avaliação Qualitativa Paraconsistente, Dados Qualitativos

2 . Introdução Em Bispo & Cazarini (4, 5, 6) e em Bispo & Gibertoni (5) foi apresentada a técnica da avaliação qualitativa paraconsistente que facilita a averiguação da presença de erros de mensuração em uma avaliação qualitativa. Nesses artigos, foi afirmado que a avaliação qualitativa tradicional atribui um escore qualitativo sempre tentando averiguar o grau de intensidade da característica, propriedade ou comportamento do objeto avaliado. Como a avaliação é qualitativa, está sujeita aos erros delineados nessas publicações. A avaliação qualitativa paraconsistente complementa a avaliação qualitativa tradicional realizando uma segunda avaliação, onde se medem exatamente os mesmos itens, porém, dentro dos conceitos da Lógica Paraconsistente Anotada de Dois Valores LPAV (COSTA et al., 999), busca-se outra linha de raciocínio ao avaliar o mesmo objeto. Neste artigo, estão sendo empregados os termos mais recentes adotados pela LPAV (CARVALHO, BRUNSTEIN & ABE, 3). Na técnica da avaliação qualitativa paraconsistente e de acordo com a LPAV, além de obter-se o grau de evidências favoráveis, por meio da avaliação tradicional (primeira avaliação), obtêm-se também o grau de evidências contrárias (segunda avaliação). Nos quatro artigos publicados anteriormente, o termo empregado para o grau de evidência favorável foi grau de certeza ou grau de crença. O grau de incerteza ou grau de descrença foi atualizado nesse artigo para grau de evidência contrária. A idéia da dupla avaliação funciona semelhante a um julgamento judicial. Há a necessidade de que o grau de evidência favorável seja avaliado por uma pessoa ou uma equipe que obtém um escore para cada atributo do objeto avaliado (propriedades, características, efeitos, comportamentos, etc.). Essa pessoa ou equipe faz o papel do advogado de defesa do objeto, defendendo sua credibilidade. Uma outra pessoa ou equipe faz uma avaliação semelhante, porém, obtendo os graus de evidências contrárias exatamente para os mesmos itens avaliados anteriormente. Essa outra pessoa ou equipe faz o papel do advogado de acusação do objeto, defendendo a sua falta de credibilidade. O confronto entre as duas avaliações permite uma maior aproximação com a realidade do objeto, diferente de quando se trabalha apenas com o levantamento dos graus de evidências favoráveis, como na avaliação qualitativa tradicional. Os fundamentos da avaliação qualitativa paraconsistente foram obtidos a partir da Lógica Paraconsistente Anotada de Dois Valores LPAV. Segundo Costa et al. (999) e Carvalho & Brunstein & Abe (3), essa é uma ramificação da Lógica Paraconsistente Anotada, elaborada por Abe (99), que por sua vez é uma ramificação da Lógica Paraconsistente, elaborada por Costa & Subrahmaniam (989) e aperfeiçoada em Costa & Abe & Subrahmaniam (99), Costa & Vago & Subrahmaniam (99) e Costa & Abe (). A LPAV é uma lógica bivalorada, onde são adotados para cada variável os valores do grau de evidência favorável e de evidência contrária: p(µ, µ ), sendo que µ, µ pertencem ao intervalo fechado [;]. A variável p representa o item que está sendo avaliado, a anotação µ representa seu grau de evidência favorável e µ o seu grau de evidência contrária. Após a obtenção dos pares de dados p(µ, µ ), a LPAV possui um diagrama chamado quadrado unitário do plano cartesiano QUPC, onde é possível plotar os pares de dados p(µ, µ ), facilitando a visualização gráfica desses escores e classificando-os em doze resultados distintos: v (verdade); f (falsidade); (indeterminação ou paracompleteza); T (inconsistência); QT f (quase inconsistência tendendo à falsidade); QT v (quase inconsistência tendendo à verdade); Q f (quase paracompleteza tendendo à falsidade);

3 Q v (quase paracompleteza tendendo à verdade); Qf T (quase falsidade tendendo à inconsistência); Qf (quase falsidade tendendo ao paracompleteza); Qv T (quase verdade tendendo à inconsistência); Qv (quase verdade tendendo à paracompleteza). A Figura apresenta um QUPC com suas classificações. A Figura apresenta os resultados da avaliação qualitativa paraconsistente, baseado em Bispo & Cazarini (6), devidamente plotados no QUPC. É possível notar dentro da elipse vermelha (inferior) os resultados da avaliação qualitativa tradicional, já na elipse azul (superior) aparecem os resultados da avaliação qualitativa paraconsistente. Aquele artigo concluiu que, devido a localização dos pontos no diagrama, tratam-se de dois cenários distintos ao se realizar a avaliação da norma OHSAS 8 empregando as duas técnicas, portanto mostrando duas realidades distintas para um mesmo objeto avaliado. 9 8 G ra u d e ev id ên cia co n trá ria F B N J D L H distância M G A K C E Grau de e vidência fa voráve l Figura - Dados resultantes das avaliações qualitativas tradicional e paraconsistente de um Sistema de Gestão de Segurança e Saúde no Trabalho, baseado na norma OHSAS 8: 999, conforme Bispo & Cazarini (6) O que ficou faltando nos quatro artigos anteriores, e que está sendo estudado neste artigo, é a elaboração de um indicador para quantificar a distância entre os dados obtidos nas duas avaliações, conforme indicado na Figura. Quanto maior for essa distância, mais discrepâncias entre as duas avaliações estaria ocorrendo, indicando a presença de mais erros de mensuração qualitativa e, portanto, tornando menos confiáveis os dados obtidos. A recíproca também é verdadeira, quanto mais próximos estiverem aqueles dados, maior é a confiança nos mesmos. Investigando-se mais profundamente as mensurações qualitativas e seus métodos de estimação de validade e fidedignidade, buscou-se uma fórmula para estimar aquela distância, ou seja, a fidedignidade dos dados obtidos. Para Erthal (3), três aspectos podem ser mensurados na fidedignidade dos dados obtidos em mensurações qualitativas: ) precisão atingir a menor quantidade possível de erros 3

4 durante as mensurações; ) estabilidade repetir várias vezes a mesma mensuração no mesmo conjunto de dados qualitativos e obter resultados praticamente idênticos; 3) consistência interna ou homogeneidade indica que todos os itens da investigação qualitativa mensuram o mesmo aspecto do objeto previsto nos objetivos daquela investigação. Richardson (999), Bunchaft & Cavas (), Erthal (3) e Silva & Ribeiro Filho (6) afirmam que há fórmulas para estimar os aspectos da fidedignidade, podendo obter-se mais de um coeficiente de fidedignidade para o mesmo conjunto de dados, cada um avaliando um aspecto distinto. A meta dos estudos realizados foi escolher a fórmula mais apropriada para ser empregada pela avaliação qualitativa paraconsistente, dentro do aspecto precisão. Várias fórmulas candidatas a coeficiente de fidedignidade da técnica da avaliação qualitativa paraconsistente foram testadas. Devido à limitação de espaço deste artigo, estão sendo apresentados apenas os testes com a fórmula desenvolvida especialmente para a técnica. Para realizar esses testes, foi necessário elaborar uma metodologia apropriada.. Metodologia Em cada teste foram obtidas duas amostras contendo 3. dados cada, chamadas de x e y, respectivamente, representando os graus de evidência favorável (µ ) e de evidência contrária (µ ), gerando 3. pares de dados p ( µ, µ ). Os nomes x e y das amostras foram empregados para facilitar a referenciação delas durante os trabalhos. A amostra x foi gerada de forma aleatória, utilizando uma distribuição diferente em cada bateria de testes. A amostra y foi gerada por cálculos controlados criando cenários delineados nos próximos parágrafos. Em cada teste realizado, os 3. pares de dados p ( µ, µ ) foram divididos em 3 itens, simulando um instrumento de mensuração contendo essa quantidade de itens, ou seja, para cada item foram gerados. pares de dados, simulando a avaliação de. pares de pessoas distintas (. pessoas). Cada teste com esses 3. pares de dados p ( µ, µ ) permitiu a elaboração de um cenário e a obtenção de um coeficiente de fidedignidade, conforme os próximos parágrafos. As simulações se deram por meio da atribuição simulada de notas em uma escala com intervalo fechado [;], com um casa decimal. A quantia de. simulações para cada item foi escolhida após testes preliminares com quantias menores, até se obter resultados estáveis ao se repetir o teste diversas vezes, facilitando as comparações entre as fórmulas candidatas testadas. Para realizar as simulações necessárias, o aplicativo escolhido foi o Matlab, versão acadêmica 7.. Devido ao emprego desse aplicativo para gerar as simulações das amostras x e devido à quantidade de dados gerados (3. em cada teste), não foi considerado necessário realizar testes de nível de confiança para cada amostra gerada. Foram gerados cenários em cada bateria de testes (três), ou seja, foram geradas 63 amostras x. A técnica prevê que só podem ser comparados os graus de evidências favoráveis p ( µ, - µ ) ou os graus de evidências contrárias p (- µ, µ ). Não é possível fazer comparações entre os graus de evidências favoráveis e os graus de evidências contrárias. Neste artigo, foram comparados os graus de evidências contrárias p (- µ, µ ). Pretendia-se obter um coeficiente que conseguisse captar os diversos comportamentos dos dados das duas amostras. Quando fossem coincidentes, ou seja, quando os valores do grau de evidências contrárias fossem coincidentes com os respectivos complementos de do grau de evidências favoráveis (-µ ), alcançando a diferença mínima (zero), o valor do coeficiente deveria ser máximo, isto é,. ou %. No outro caso extremo, quando os valores de p (- 4

5 P PQ RSRUT8V W XYVAZ\[ XVA]W RSXYVA]^F_Y`6`.aYbY`8aYcY% dye %f_y`6gud hy_yi jk% h µ, µ ) alcançassem a diferença máxima (dez), o valor do coeficiente deveria ser mínimo, isto é,. ou %. Os valores dos coeficientes intermediários deveriam decrescer gradativamente e proporcionalmente do valor mínimo até o valor máximo. Para testar esses comportamentos, foram simulados cenários onde a diferença entre p (- µ, µ ) fosse controlada por meio da dispersão progressiva de cada valor do grau de evidência contrária (calculado) em relação ao seu respectivo grau de evidência favorável (gerado aleatoriamente). Essa dispersão controlada iniciou com o valor mínimo (zero), formando o primeiro cenário. Na seqüência, a dispersão progressiva foi aumentando em.5 ponto a cada cenário, ou seja, a dispersão (diferença) entre os escores das evidências contrárias foi aumentando em.5 em relação às respectivas evidências favoráveis (aleatoriamente para mais ou para menos) a cada cenário até alcançarem o valor máximo (dez), formando o último cenário. Formaram-se então cenários distintos com as seguintes dispersões: {,.5,.,.5,.,.5, 3., 3.5, 4., 4.5, 5., 5.5, 6., 6.5, 7., 7.5, 8., 8.5, 9., 9.5, }. Cada cenário gerou o seu próprio coeficiente de fidedignidade e, portanto, gerando um conjunto de coeficientes: {r, r,..., r }. Foram empregados limitadores com o máximo de dez e o mínimo de zero para os escores calculados para as evidências contrárias, uma vez que as notas simuladas pertencem a uma escala com intervalo fechado [;]. Os valores das evidências favoráveis não necessitam desses limitadores, uma vez que foram obtidas por simulação já empregando este intervalo. Portanto, pretendia-se que os coeficientes decrescessem gradativamente e proporcionalmente com a evolução do cenário até o cenário, decaindo próximo de.5 por cenário. Porém, ao testarem-se as várias fórmulas candidatas, percebeu-se que isso não era possível e, na prática, esse valor seria o limite superior. Como limite inferior passou-se a adotar.3. Porém, quanto mais próximo de.5 estiver a média final, melhor é o coeficiente testado. Assim, tem-se como hipótese nula H e hipótese alternativa H, respectivamente: H n i i i= : n = n r i= [.3,.5 ], n = ; H : [.3,.5 ],. Para testar a estabilidade dos coeficientes obtidos, permitindo comparar as diferentes fórmulas testadas anteriormente e não apresentadas nesse artigo, foram realizados 5 conjuntos de testes completos, onde já se obteve êxito, conseguindo-se praticamente os mesmos coeficientes para cada cenário nas três baterias de testes, conforme próxima seção. 3. Os testes realizados Uma fórmula foi escolhida, após aplicar os testes em várias outras que também foram candidatas ao coeficiente de fidedignidade. Essa fórmula foi a que apresentou os melhores resultados, sendo desenvolvida especialmente para mensurar a distância apresentada na Figura. A fórmula desenvolvida, baseada no modelo estrutural de mensurações de erros, delineado em Cheng & van Ness (999) e Dunn (4), é: n n r r = j i j i ( µ i j ˆ µ ( m µ i j i j ) ), () onde m é o valor máximo da escala; µ i é o escore de cada grau de evidência contrária de j 5

6 cada item i do instrumento de mensuração atribuído por cada avaliador j; ˆµ i é a estimativa j de escore de cada grau de evidência contrária de cada item i do instrumento de mensuração atribuído por cada avaliador j, calculado pela fórmula do modelo estrutural: y ˆ ij = β + β x ij + ξ A primeira bateria de testes foi realizada empregando a distribuição uniforme para os graus de evidências favoráveis, conforme a Figura a. Nessa e nas outras duas figuras (3a e 4a), os dados estão aparecendo multicoloridos porque o aplicativo (Matlab) está dando uma cor distinta para um dos trinta itens do instrumento de mensuração. Os valores dos graus de evidências contrárias foram devidamente calculados e controlados, formando os cenários previstos na metodologia. Os valores dos coeficientes, das diferenças entre eles e as médias estão sendo apresentados na Tabela. Os valores dos coeficientes dos cenários em cada teste foram estáveis, portanto, estão praticamente coincidentes no gráfico da Figura b. Cenário Teste Teste Teste 3 Teste 4 Teste 5 Coefic. Coefic. Coefic. Coefic. Coefic., -, -, -, -, -,95,49,95,49,95,49,95,49,95,49 3,9,48,9,48,9,48,9,48,9,48 4,855,47,855,47,855,47,855,46,855,47 5,89,45,8,45,89,45,89,46,89,45 6,765,44,764,45,764,45,765,44,765,44 7,7,43,7,43,7,43,7,43,7,43 8,679,4,678,4,678,4,679,4,68,4 9,638,4,638,4,638,4,639,4,638,4,598,39,598,39,598,4,598,4,598,39,56,38,559,39,559,38,559,39,559,39,53,36,5,36,5,37,5,36,53,35 3,486,36,487,35,487,34,487,35,488,35 4,45,34,45,35,45,35,45,34,45,36 5,48,34,49,3,4,3,4,3,4,39 6,388,9,39,9,39,9,389,,39,3 7,36,6,36,9,36,7,36,8,36,8 8,334,7,335,6,336,5,333,7,334,7 9,39,4,39,5,3,6,3,3,3,,9,9,87,,88,,9,9,89,,7,8,69,7,7,7,68,,7,8 média,364,365,364,365,364 Diferença média dos cinco testes realizados :,364 Tabela Valores dos coeficientes e as diferenças entre eles, obtidos na primeira bateria de testes ( ) 6

7 D ensidade Coeficientes de Fidedignidade Teste Teste Teste 3 Teste 4 Teste Figura a - Distribuição uniforme da amostra x Figura b - Cenários Figura Testes completos ( cenários cada Figura b) empregando distribuição uniforme para a amostra x contendo os graus de evidências favoráveis (Figura a) Na segunda bateria de testes foi empregada a distribuição normal, com os valores das evidências favoráveis com média sete e amplitude de três, ou seja, variando entre quatro e dez, com uma casa decimal, conforme a Figura 3a. Devido à limitação de 5 Kb para o tamanho do arquivo, somente os valores dos coeficientes e as médias das diferenças entre eles estão sendo apresentados na Tabela. Os valores dos coeficientes dos cenários em cada teste também foram estáveis, obtendo-se praticamente os mesmos valores, portanto, também estão praticamente coincidentes no gráfico da Figura 3b. Cenário Coefic. Coefic. Coefic. Coefic. Coefic. Teste Teste Teste 3 Teste 4 Teste 5,999,999,999,999,999,958,958,958,958,958 3,95,95,95,95,95 4,865,865,865,865,865 5,86,86,86,86,86 6,736,737,736,736,735 7,655,656,657,658,658 8,577,577,576,576,577 9,5,5,54,54,54,438,44,44,44,438,39,388,387,388,388,346,346,346,346,345 3,3,3,3,38,3 4,8,8,79,8,8 5,5,54,57,54,56 6,3,3,8,3,3 7,,9,9,, 8,9,9,95,9,9 9,77,78,76,75,75,64,64,64,66,6,54,54,55,54,5 média,4,4,4,4,43 Diferença média dos cinco testes realizados :,4 Tabela Valores dos coeficientes e as diferenças entre eles, obtidos na segunda bateria de testes 7

8 D ensidade Coeficientes de Fidedignidade Teste Teste Teste 3 Teste 4 Teste Figura 3a - Distribuiçao normal da amostra x Figura 3b - Cenários Figura 3 Testes completos ( cenários cada Figura 3b) empregando distribuição normal para a amostra x contendo os graus de evidências favoráveis (Figura 3a) Na terceira bateria de testes, foi empregada uma distribuição assimétrica, conforme Figura 4a. Também devido à limitação de 5 Kb para o tamanho do arquivo, somente os valores dos coeficientes e as médias das diferenças entre eles estão sendo apresentados na Tabela 3. Também se obteve praticamente os mesmos valores dos coeficientes dos cenários de cada teste, portanto, também estão praticamente coincidentes no gráfico da Figura 4b. Cenário Coefic. Coefic. Coefic. Coefic. Coefic. Teste Teste Teste 3 Teste 4 Teste 5,963,963,963,96,96,944,944,944,944,944 3,99,99,99,99,99 4,87,87,87,87,87 5,833,833,833,834,833 6,795,796,796,795,796 7,758,758,758,758,758 8,7,7,7,7,7 9,684,685,684,685,684,648,649,648,648,649,64,64,64,64,63,58,58,578,579,58 3,546,546,547,545,546 4,5,55,53,53,54 5,483,483,48,48,48 6,45,454,454,45,455 7,45,46,47,46,45 8,4,4,4,4,4 9,377,377,378,377,379,358,358,358,358,359,34,34,339,34,34 média,3,3,3,3,3 Diferença média dos cinco testes realizados :,3 8

9 Tabela 3 Valores dos coeficientes e as diferenças entre eles, obtidos na terceira bateria de testes 5 D ensidade 5 5 Coeficientes de Fidedignidade Teste Teste Teste 3 Teste 4 Teste Figura 4a - Distribuição assimétrica da amostra x Figura 4b - Cenários Figura 4 Testes completos ( cenários cada Figura 4b) empregando distribuição assimétrica para a amostra x contendo os graus de evidências favoráveis (Figura 4a) 3. Aplicando o coeficiente de fidedignidade escolhido Uma vez que a fórmula foi a escolhida até o momento como coeficiente de fidedignidade da técnica da avaliação qualitativa paraconsistente, esta foi testada empregando os dados obtidos em Bispo & Cazarini (4, 5, 6) e em Bispo & Gibertoni (5), obtendo-se, respectivamente, os seguintes coeficientes:,886;,6447;,683;,6348. Os três últimos artigos tiveram seus respectivos coeficientes de precisão abaixo de,7 e, portanto, se aquelas avaliações fossem reais, os dados estariam abaixo do índice considerado como mínimo, demonstrando que não poderiam ser considerados confiáveis e que inferências, conclusões e decisões tomadas a partir deles poderiam estar comprometidas. Apenas o primeiro artigo obteve o coeficiente acima do índice mínimo. Se tivesse sido empregada apenas a avaliação qualitativa tradicional, essas discrepâncias não seriam detectadas. 4. Conclusões A média final das três baterias de testes apresentou-se dentro do intervalo fechado [.3,.5]. Portanto, nessas três baterias de testes a hipótese nula H não foi refutada, confirmando que a fórmula é, até o momento, apropriada para ser utilizada pela avaliação qualitativa paraconsistente, reforçando sua utilidade já apresentada nos artigos publicados anteriormente. Apesar dos resultados dos estudos obtidos até o momento, apresentados nesse artigo, ainda serem insuficientes para declarar definitivamente a fórmula como sendo o coeficiente de fidedignidade ideal para ser empregado pela técnica desenvolvida, esses resultados já são um grande avanço e merecem ser divulgados para a comunidade acadêmica e produtiva para debates, discussões e propostas de aperfeiçoamentos. Referências ABE, J. M. Fundamentos da lógica anotada. São Paulo, Faculdade de Filosofia, Ciências e Letras da Universidade de São Paulo, p. Tese (Doutorado em Filosofia). BISPO, C. A. F. & CAZARINI, E. W. A paraconsistent evaluation of software quality according to the McCall factors. In: Proceedings, X International Conference on Industrial Engineering and Operation Management, 4. Florianópolis: Associação Brasileira de Engenharia de Produção, 4. p BISPO, C. A. F. & CAZARINI, E. W. Paraconsistent qualitative evaluation of occupational health and safety assessment system. In: Proceedings, XI International Conference on Industrial Engineering and Operation Management, 5. Porto Alegre: Associação Brasileira de Engenharia de Produção, 5. p

10 BISPO, C. A. F. & GIBERTONI, D. Uma avaliação paraconsistente da qualidade de um sítio de comércio eletrônico. In: Actas, Conferência IADIS Ibero-Americana WWW/Internet 5. Lisboa - Portugal, International Association for Development of the Information Society - IADIS, 5. p BISPO, C. A. F. & CAZARINI, E. W. Avaliação qualitativa paraconsistente do processo de implantação de um Sistema de Gestão Ambiental. Revista Gestão & Produção, Universidade Federal de São Carlos, 6, vol. 3, n., p. 7-7, jan.-abr. BUNCHAFT, G. & CAVAS, C. S. T. Sob Medida: um guia sobre a elaboração de medidas do comportamento e suas aplicações. São Paulo, Vetor,. CARVALHO, F. R. & BRUNSTEIN, I. & ABE, J. M. Um estudo de tomada de decisão baseado em lógica paraconsistente anotada: avaliação do projeto de uma fábrica. Revista Pesquisa e Desenvolvimento em Engenharia de Produção, 3, n., p CHENG, C. L. & Van NESS, J. W. Statistical Regression with measurement error. London, Arnold; New York, Oxford University Press, 999. COSTA, N. C. A. & SUBRAHMANIAM, V. S. Paraconsisntent logics as a formalism for reasoning about inconsistent knowledge bases. Journal of Artificial Intelligence in Medicine, 989, v., p COSTA, N. C. A. & ABE, J. M. & SUBRAHMANIAM, V. S. Remarks on annotated logic. Zeitschrift für Mathematische Logik und Grundlagen der Mathematik, Berlin, 99, v. 37, p COSTA, N. C. A. & SUBRAHMANIAM, V. S. & VAGO, C. The paraconsistent logic Pτ. Zeitschrift für Mathematische Logik und Grundlagen der Mathematik, Berlin, 99, v. 37, p COSTA, N. C. A. & ABE, J. M. & SILVA F o & J. I. & MUROLO, A. C. & LEITE, C. F. S. Lógica paraconsistente aplicada. São Paulo, Atlas, 999. COSTA, N. C. A. & ABE, J. M. Paraconsistência em informática e inteligência artificial. Estudos Avançados,, v. 4, n. 39, p DUNN, G. Statistical evaluation of measurement errors.. ed. New York, Oxford University Press, 4. ERTHAL, T. C. Manual de Psicometria. 7. ed. Rio de Janeiro: Zahar, 3. RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. 3. ed. São Paulo, Atlas, 999. SILVA, J. Ap. & RIBEIRO FILHO, N. P. Avaliação e mensuração da dor: pesquisa, teoria e prática. Ribeirão Preto, FUNPEC Editora, 6.