ESTUDO DA CONFIABILIDADE DE UM NOVO INSTRUMENTO NEUROPSICOLÓGICO COMPUTADORIZADO: COMPCOG VERSÃO PARA IPAD Aluna: Ana Mercedes de Figueiredo Orientadora: Helenice Charchat Fichman Introdução Alterações nas funções executivas têm se mostrado relacionadas a vários transtornos cognitivos e psiquiátricos, decorrentes de lesões ou de disfunções neurológicas, como por exemplo, esquizofrenia (Gil, 2002), autismo (Bosa, 2001; Duncan, 1986) e Transtorno de Déficit de Atenção e Hiperatividade (Barkley, 1997), como também da doença degenerativa de Alzheimer. Diante disso, a Neuropsicologia se utiliza de instrumentos para delinear o perfil cognitivo e comportamental do indivíduo e, a introdução de testes computadorizados possibilita uma padronização e maior precisão da mensuração, qualidades indispensáveis para a validade e confiabilidade de um teste. Nesse contexto, as baterias computadorizadas trazem grandes vantagens para a quantificação de variáveis de tempo, como tempo de reação e duração da resposta, pois permitem registrar precisamente o tempo em milésimos de segundos, aumentando a sensibilidade dos testes. De acordo com Charchat et al. (2001), o tempo de reação em milisegundos (TR) é uma medida que permite uma avaliação mais minuciosa e refinada do funcionamento cognitivo, além disso, ajuda a impedir o efeito da aprendizagem, tornando o teste replicável e facilitando a monitorização de possíveis alterações. As baterias computadorizadas trazem grandes vantagens para a quantificação de variáveis de tempo, como tempo de reação e duração da resposta, pois permitem registrar precisamente o tempo em milésimos de segundos, aumentando a sensibilidade dos testes. Além disso, os testes computadorizados auxiliam a padronização das condições de apresentação de estímulos e o registro das respostas, permitindo maior rigor no controle das condições de avaliação, gerando maior confiabilidade psicométrica (Capovilla, 2006; Ritsner, Blumenkrantz, Dubinsky & Dwolatzky, 2006; Schatz & Browndyke, 2002).
Vale mencionar que os testes psicológicos são instrumentos para observação do comportamento usados em pesquisas e na prática clínica. A eficácia de um teste depende de sua validação e confiabilidade (Raymundo, 2009). Segundo Martins (2006), validade e confiabilidade demonstram que as medidas são replicáveis, e, portanto, mostram consistência. A validação de um teste busca avaliar se este consegue medir o que foi proposto em sua construção. Para um teste ser considerado validado, ele precisa passar por alguns processos, neste sentido, observam-se diferentes tipos de validação: (a) validade aparente, (b) validade de conteúdo, (c) validade de critério e (d) validade de constructo (Martins, 2006; Pasquali, 2009; Raymundo, 2009). A validade de construto refere-se à constatação de se está medindo aquilo a que se propõe medir. Ela é realizada através de estudos que inter-relacionem as variáveis que pretendem ser medidas (Raymundo, 2009). No contexto da Neuropsicologia, a busca pela validação de testes e medidas computadorizadas é essencial e a constatação da utilidade da avaliação computadorizada na investigação dos prejuízos cognitivos em doenças neurológicas e psiquiátricas (Johnson, Vincent, Johnson, Gilliland & Schlegel, 2008). Em se tratando da confiabilidade, esta refere-se à constância do instrumento e isto se dá através da comparação dos resultados em situações semelhantes e sucessivas. A confiabilidade pode ser avaliada por diversos procedimentos: (a) teste e reteste (quando a mesma medida é aplicada duas vezes nos mesmos sujeitos e observa-se correlações entre os dois momentos); (b) formas equivalentes (aplica-se instrumentos próximos a um mesmo grupo de indivíduos e verifica se há correlação entre eles); (c) confiabilidade a partir de avaliadores, dentre outros (Martins, 2006). Levando-se em consideração o exposto acima, muitos estudos sobre baterias e testes computadorizados têm sido realizados com adultos e idosos, e têm mostrado a validade e utilidade inclusive em pessoas acima de 85 anos (Collerton et al., 2007) e em idosos não usuários de computadores (Fillit, Simon, Doniger & Cummings, 2008). Menciona-se que clinicamente, estes instrumentos conseguem identificar o comprometimento cognitivo leve e as demências (Fillit et al., 2008; Woo, 2008). Segundo estudos prévios (Clark et al., 2006; Elwood, 2001; Wild et al., 2008), observa-se que essas baterias têm sido úteis para a detecção precoce da demência em idosos, além de distinguir entre demência e depressão (Elwood, 2001). Outros estudos realizados no Brasil encontraram uma especificidade de 92% e sensibilidade de 88% no diagnóstico de DA utilizando a BTNC (Charchat, 1999) e a sensibilidade diagnóstica do TCA (Zerbini, Calomeni, da Silva, Cabral & Schmidt, 2009) e do
Tese Computadorizado da Memória TCM (Cabral et al., 2005) para o comprometimento cognitivo leve. As baterias de testes computadorizados podem e têm sido aplicadas em diversas populações clínicas, como crianças, jovens, adultos e idosos, e isso auxilia na elaboracão dos diagnósticos, intervenções medicamentosas bem como psicoeducativas. Isto confirma a relevância quanto à validação de baterias computadorizadas se beneficiando com as novas tecnologias aplicadas à Psicologia. Diante do exposto, o presente relatório de pesquisa tem o objetivo de descrever minha participação no projeto que visa a construção de um conjunto de instrumentos neuropsicológicos, o CompCog. Este, avalia as principais funções cognitivas utilizando uma nova tecnologia como interface: o ipad. Tal instrumento utiliza exclusivamente a tela sensível ao toque, o que torna a automatização dos comandos acessível a indivíduos que habitualmente não utilizam os computadores tradicionais. Além disso, o ipad é um tablet pequeno e facilmente transportado para diferentes lugares, tornando o seu uso ainda mais prático. A utilização de tablets, especialmente o ipad, tem aumentado consideravelmente nos últimos anos. Apesar do uso do equipamento para jogos, a sua aplicação como avaliação neuropsicológica está ainda em desenvolvimento, reforçando a relevância deste primeiro estudo com o CompCog-versão ipad. Dentro desta perspectiva, é fundamental dispor de instrumentos de avaliação neuropsicológicos confiáveis e válidos. Os testes computadorizados têm se mostrado ferramentas úteis para avaliação de diferentes domínios cognitivos aproveitando as vantagens das inovações tecnológicas da atualidade. Então, o presente projeto de pesquisa propõe uma nova bateria computadorizada utilizando os recursos do ipad para apresentação e registro dos dados e da internet para armazenamento e manipulação das informações obtidas durante a avaliação neuropsicológica. Neste contexto, conforme citado acima, está sendo desenvolvido estudo de validação de uma nova bateria de testes neuropsicológicos no ipad, o CompCog, que avalia diversas funções cognitivas, tais como: atenção, memória, funções executivas, percepção e velocidade de processamento de informações. Para tanto, apresenta oito testes: tempo de reação simples, tempo de reação de escolha, teste de aprendizagem implícita, memória de curto-prazo visuoespacial, reconhecimento e memória de faces, teste do controle inibitório, teste Stroop e, por fim, sondagem. Os resultados deste projeto e relatório de pesquisa visam contribuir para a validação dessa bateria computadorizada, CompCog. Ressalta-se que venho me dedicado principalmente no estudo do teste de Stroop, e por isso, exponho resultados do referido teste.
Objetivos O principal objetivo deste projeto será avaliar a confiabilidade (fidedignidade) de uma nova bateria de testes neuropsicológicos computadorizados denominada CompCog, que utiliza como interface o ipad. A bateria de testes proposta é ampla e flexível. O CompCog avalia diferentes domínios cognitivos: atenção, memória, funções executivas, percepção e velocidade de processamento de informações. Metodologia No 1º ano de bolsa, participaram desta pesquisa 50 estudantes universitários com média de idade de 20,3 anos. A participação foi voluntária e aconteceu mediante a assinatura de um termo de consentimento livre e esclarecido. No 2º ano de bolsa, participaram do estudo de 95 sujeitos, 50 adultos jovens e 45 idosos saudáveis. Os adultos jovens apresentaram idade média de 21,18 anos e os idosos apresentaram idade média de 72,09 anos. Menciona-se que os idosos são frequentadores das casas de convivência da prefeitura do Rio de Janeiro. Novamente, a participação foi voluntária e aconteceu apenas mediante a assinatura de um termo de consentimento livre e esclarecido. Este projeto está dividido em três etapas. participação no projeto será conduzir a etapa da confiabilidade (teste-reteste - fidedignidade). Os sujeitos serão avaliados com o CompCog duas vezes com intervalo de três meses entre as aplicações. A aplicação do instrumento será realizada pelo mesmo examinador. Os resultados das duas aplicações serão correlacionadas com o testes não-paramêtrico de Spearman e as médias serão testadas por medidas repetidas. CompCog versão ipad O CompCog foi produzido utilizando um software de desenvolvimento de aplicativos da Apple para ipad. Para tal, foi aberta uma conta na Apple para desenvolver e disponibilizar aplicativos. Os testes do CompCog utilizam a interface do ipad e todas as respostas são emitidas utilizando a tela sensível ao toque. A cada teste são registrados o tipo de resposta e o tempo de reação em milissegundos. Os resultados de cada teste são apresentados no final de cada aplicação ou no final de toda a bateria. Os dados são armazenados em um site específico para a pesquisa interligados ao ipad pela internet. A bateria de testes que compõe o CompCog é ampla e flexível. Existe uma ordem de aplicação sugerida, mas o examinador pode selecionar apenas um grupo de testes a ser aplicado ou modificar a ordem de aplicação. O CompCog avalia diferentes domínios
cognitivos, tais como: atenção, memória, funções executivas, percepção e velocidade de processamento de informações. Em todos os testes os estímulos são vísuo-espaciais. Apenas no Stroop são apresentadas palavras escritas para não modificar a base fundamental do paradigma original. São aplicados os seguintes testes: 1) Tempo de Reação Simples; 2) Tempo de Reação de Escolha; 3) Sondagem; 4) Aprendizagem Implícita; 5) Teste Stroop; 6) Controle Inibitório; 7) Memória de Trabalho Visuo-Espacial e 8) Aprendizagem e evocação tardia de um Teste de Reconhecimento de Faces. Descrição dos resultados No primeiro ano da bolsa foram testados e participaram do estudo 50 adultos jovens, na faixa etária de 18 a 33 (média de idade: 20,3 +3,5) anos, universitários, com média de 13,5 (+1,7) anos de escolaridade. Os resultados mostraram consistência entre a primeira e segunda avaliação com intervalo de três meses na maior parte das variáveis estudadas do CompCog, especialmente nas medidas de tempo de reação. Este resultado aponta para uma confiabilidade e fidedignidade do novo instrumento. Ao analisar o desempenho dos universitários na primeira aplicação do CompCog com a segunda aplicação após 3 meses, observa-se os seguintes resultados de correlação conforme a tabela abaixo: TABELA 1 Variáveis do CompCog Valor de r Nível de significância Tempo de reação Simples 0,592 <0,01 Tempo de reação de Escolha 0,581 <0,01 Aprendizagem implícita 0,763 <0,01 Memória de curto prazo 0,316 0,02 Span em ordem direta 0,303 0,03 Span em ordem inversa 0,288 0,04 Memória de faces tempo 0,678 <0,01 Evocação memória de faces acerto 0,316 0,02
Evocação memória de faces tempo 0,678 <0,01 Stroop total 0,783 <0,01 Sondagem 0,449 <0,01 Controle inibitório 0,523 <0,01 No segundo ano de bolsa, participaram do estudo de 95 sujeitos, 50 adultos jovens e 45 idosos saudáveis. Os adultos jovens apresentaram idade média de 21,18 anos com 4,02 desvios padrões; escolaridade média 13,32 anos de escolaridade com 2,29 desvios padrões. Os adultos jovens apresentaram tempo de reação mediano 345,45 ms com 96,8% de acertos. Os idosos apresentaram idade média de 72,09 anos com 5,76 desvios padrões; escolaridade média 13,72 anos de escolaridade com 5,58 desvios padrões. Os idosos apresentaram tempo de reação mediano 428,51 ms com 62,89 de acertos. Os resultados apontam diferença significativa entre adultos e idosos tanto no tempo de reação mediano e porcentagem de acertos. Os idosos apresentam lentificação na velocidade de processamento e maior número de erros quando comparado com os adultos jovens. O processo de envelhecimento gera uma lentificação na velocidade de processamento em testes de tempo de reação simples. Ao analisar o desempenho dos idosos no CompCog, pela média e desvio padrão nas variáveis cognitivas, observa-se os seguintes resultados de correlação conforme a tabela abaixo: TABELA 2 Teste - variável Média Desvio padrão Tempo de reação simples - TR 438,91 193,34 Tempo de reação de escolha - TR 657,06 294,58 Tempo de reação de escolha - acertos 60,72% 47,04% Memória implícita fixa 1 TR 755,04 148,19 Memória implícita fixa 2 TR 691,63 131,85 Memória implícita fixa 3 TR 667,69 131,77 Memória implícita fixa 4 TR 653,12 139,11 Memória implícita fixa 5 TR alea 671,59 109,08 Sequencia direta visuo-espacial 3,46 1,69 Sequencia inversa vísuo-espacial 3,03 1,14 Reconhecimento de faces acerto 54,15 46,62 Reconhecimento de face TR 1574,1 614,77 Reconhecimento de face tardio acerto 58,92 46,64
Reconhecimento de face tardio TR 1572,6 573,84 Controle inibitório TR 541,17 287,93 Controle inibitório acerto 59,93 46,54 Sondagem branco TR 661,33 132,25 Sondagem branco acerto 60,86 47,06 Stroop cores TR 895,27 222,69 Stroop cores acerto 62,5 48,20 Stroop frutas TR 1013,5 234,55 Stroop frutas acerto 61,63 47,59 Stroop nomeação cores TR 1163,4 400,44 Stroop nomeação cores acerto 56,2 46,02 Atividades realizadas Neste período em que participei do presente projeto de pesquisa como aluna bolsista, colaborei com o estudo da confiabilidade de um novo instrumento neuropsicológico computadorizado: CompCog- versão para ipad. Me envolvi com todo o grupo de Neuropsicologia da PUC-Rio e pude me apropriar de muito conhecimento relativo ao desenvolvimento e aplicação de testes, bem como do manejo clínico. Necessário destacar que no primeiro ano da bolsa, além da supervisão da Profa Helenice Charchat, tive assistência e orientação da pós-doutoranda, Profa Liana Chaves, que me direcionava e ensinava muito das técnicas e manejo clínico imprescindíveis para o desenvolvimento desta pesquisa e para a minha participação neste projeto. Vale mencionar que desenvolvi trabalho juntamente com a equipe da Profa Helenice Charchat, que foi apresentado na IV mostra carioca de neuropsicologia clínica, intitulado Teste de Stroop computadorizado para avaliar jovens universitários, recebendo inclusive o prêmio do terceiro melhor trabalho apresentado como pôster na mostra e na reunião anual de neurociências e comportamento em 2015 (ANEXO 1). Segue a descrição do trabalho: Dentre os testes neuropsicológicos, o paradigma de Stroop apresenta situações com estímulos sensoriais conflitantes que demandam um maior tempo para o processamento da informação e requer que o indivíduo responda a elementos específicos de um estímulo enquanto inibe processos mais automatizados. O objetivo deste trabalho foi avaliar o tempo de reação da resposta a um estímulo apresentado, através do teste de Stroop computadorizado, que compõe o CompCog (uma bateria de testes neuropsicológicos no ipad que avalia diversas
funções cognitivas). Participaram do estudo 27 universitários, saudáveis, na faixa de 18 a 35 (19,4 +1,5) anos, de ambos os sexos. Foi utilizado o Teste de Stroop computadorizado que está dividido em três etapas: na primeira, o participante tem que tocar em um dos quatro retângulos coloridos (verde, vermelho, azul ou amarelo), localizados na parte inferior da tela, de acordo com a cor do quadrado que aparece no centro da tela; na segunda, o participante tem que tocar em um dos quatro retângulos (verde, vermelho, azul ou amarelo), que tem a mesma localização da tarefa anterior, de acordo com a cor da palavra colorida (nome de fruta:abacate, maçã, amora ou banana) que aparece no centro da tela; na terceira, o participante tem que tocar em um dos quatro retângulos (verde, vermelho, azul ou amarelo), que tem a mesma localização das tarefas anteriores de acordo com a cor da palavra colorida (nome de cores: verde, vermelho, azul ou amarelo) que aparece no centro da tela. Para a análise dos resultados, foram observados o tempo de reação medido em milissegundos e a média da porcentagem de acertos para cada tarefa: 684,19 (+ 42,4) e 98% de acertos (tarefa 1), 748,43 (+ 58,5) e 97,8% de acertos (tarefa 2), e 786,33 (+ 87,1) e 98,2% de acertos (tarefa 3). Portanto, foi verificado que há uma mudança, um tempo de reação maior na terceira em relação a segunda e em relação a primeira tentativa, mostrando a presença do efeito Stroop nesse teste computadorizado. No ano de 2016, apresentei trabalho na V mostra carioca de neuropsicologia clínica intitulado Desempenho de jovens universitários em uma tarefa computadorizada de atenção seletiva (ANEXO 2). A seguir, o resumo do trabalho apresentado: As inovações tecnológicas possibilitam o uso de dispositivos móveis para medir a atenção seletiva (capacidade de uma pessoa focar a atenção em estímulo-alvo e ignorar outros) mensurando com precisão o tempo de reação em milésimo de segundos aumentando a sensibilidade dos instrumentos. O objetivo desta pesquisa foi investigar o desempenho de jovens universitários em uma tarefa computadorizada de atenção seletiva. Participaram do estudo 50 adultos jovens, na faixa etária de 18 a 33 (média de idade: 20,3 +3,5) anos, universitários, com média de 13,5 (+1,7) anos de escolaridade. Foram utilizados os testes: Tempo de Reação Simples (TRS) e Tempo de Reação de Escolha (TRE) integrantes do CompCog (uma bateria de testes neuropsicológicos que avalia diversas funções cognitivas e utiliza como interface o ipad). Na primeira tarefa, o participante foi orientado a tocar no retângulo branco localizado na parte inferior da tela toda vez que o quadrado branco aparecesse no centro da tela do ipad (tarefa controle); na segunda, foi solicitado que o participante tocasse em um dos dois retângulos (branco ou laranja), localizados na parte inferior da tela, de acordo com a cor do quadrado que aparecesse no centro (branco ou
laranja). Para a análise dos resultados, foram observados o tempo mediano de reação (em milissegundos) e a média da porcentagem de acertos do segundo teste. A média do tempo de reação foi de 345,52 ms no teste TRS e 525,32 ms no teste TRE. A média de acertos foi de 96,8% no teste TRE. Foi utilizado o teste t de Student para comparar os tempos de reação, que demostrou diferença estatisticamente significativa (p<0,05). O tempo de reação no TRE foi maior que no TRS, demostrando a diferença do tempo de reação na execução da tarefa de atenção seletiva (TRE) em relação a tarefa controle (TRS). Este resultado indica capacidade de atenção seletiva dos jovens universitários, relevante para o processo de aprendizagem e resolução de problemas. No presente ano de 2017, 2º ano da bolsa, auxiliei no estudo de validade clínica da bateria de testes computadorizados com idosos saudáveis e com idosos com comprometimento cognitivo leve e estágios iniciais de Alzheimer. Esta etapa do estudo de validação clínica foram trabalhados e planilhados os dados obtidos durante a pesquisa e reunidos, bem como calculados os resultados. Cabe mencionar que apresentei trabalho na VI mostra carioca de neuropsicologia clínica intitulado Teste de Stroop computadorizado: diferenciando o efeito para adultos e idosos (ANEXO 3). A seguir, o resumo do trabalho apresentado: Dentre os testes neuropsicológicos, o paradigma de Stroop apresenta situações com estímulos sensoriais conflitantes que demandam um maior tempo para o processamento da informação e requer que o indivíduo responda a elementos específicos de um estímulo enquanto inibe processos mais automatizados. O objetivo deste trabalho foi avaliar o tempo de reação da resposta a um estímulo apresentado, através do teste de Stroop computadorizado, que compõe o CompCog (uma bateria de testes neuropsicológicos no ipad que avalia diversas funções cognitivas). Participaram do estudo 95 sujeitos, sendo 50 jovens adultos e 45 idosos saudáveis. Foi utilizado o Teste de Stroop computadorizado que está dividido em três etapas: na primeira, o participante tem que tocar em um dos quatro retângulos coloridos (verde, vermelho, azul ou amarelo), localizados na parte inferior da tela, de acordo com a cor do quadrado que aparece no centro da tela; na segunda, o participante tem que tocar em um dos quatro retângulos (verde, vermelho, azul ou amarelo), que tem a mesma localização da tarefa anterior, de acordo com a cor da palavra colorida (nome de fruta: abacate, maçã, amora ou banana) que aparece no centro da tela; na terceira, o participante tem que tocar em um dos quatro retângulos (verde, vermelho, azul ou amarelo), que tem a mesma localização das tarefas anteriores de acordo com a cor da palavra colorida (nome de cores: verde, vermelho, azul ou amarelo) que aparece no centro da tela. Para a análise dos resultados, foram
observados o tempo de reação mediano em milissegundos e a média da porcentagem de acertos para cada tarefa. Os resultados para os jovens foi: média do tempo de reação de 696,27ms e 98,38% de acertos (tarefa 1), 767,97ms e 96,08% de acertos (tarefa 2), e 808,56ms e 96,14% de acertos (tarefa 3); e para os idosos: média do tempo de reação de 877,72ms e 63,93% de acertos (tarefa 1), e 997,28ms e 63,28% de acertos (tarefa 2) e 1116,84ms e 57,48% de acertos (tarefa 3). Observa-se diferença significativa entre os grupos nos três blocos. O maior efeito é observado no terceiro bloco. O resultado mostra que os idosos apresentam maior dificuldade de controle inibitório quando comparado com os jovens. O efeito é observado tanto nas respostas corretas, bem como no tempo de reação mediano. Por fim vale destacar minha participação na aplicação dos testes de reabilitação do grupo de idosos e dos protocolos de pesquisa; foi um grupo com 10 idosos, os quais haviam também participado da primeira parte do estudo estudo da confiabilidade de um novo instrumento neuropsicológico computadorizado: compcog versão para ipad. Da já referida bateria de testes, nessa etapa da reabilitação, faziam parte os seguintes testes: Teste de figuras, Teste de nomes e faces, Símbolos, WASR III, Fig Rey cop, Mattis, Dígitos, Meem e Teste de memorias de figuras nomeação e CompCog. Menciona-se que como os demais participantes, para integrar essa parte da pesquisa da bateria de testes para grupos de reabilitação em idosos, estes assinaram um termo de compromisso e compareceram ao Serviço de Psicologia da PUC-Rio; a duração da aplicação dos testes era de aproximadamente uma hora e meia. Esta etapa foi um adicional muito importante em minha bolsa. Conclusão O presente projeto teve como finalidade avaliar a confiabilidade (fidedignidade) da já mencionada e explicada nova bateria de testes neuropsicológicos computadorizados denominada CompCog, instrumento que utiliza como interface o ipad. A bateria de testes proposta é ampla e flexível e avalia diferentes domínios cognitivos: atenção, memória, funções executivas, percepção e velocidade de processamento de informações. No primeiro ano da bolsa foram testados 50 adultos jovens universitários. Os resultados mostraram consistência entre a primeira e segunda avaliação com intervalo de três meses na maior parte das variáveis estudadas do CompCog, especialmente nas medidas de tempo de reação. Este resultado aponta para uma confiabilidade e fidedignidade do novo instrumento. Diante disso, a partir da análise dos dados do desempenho dos universitários na primeira aplicação do CompCog com a segunda aplicação após 3 meses, observa-se o resultado de
correlação, que pode ser verificada conforme a já apresentada tabela 1 acima apresentada. No segundo ano de bolsa, foram testados 95 sujeitos, 50 adultos jovens e 45 idosos saudáveis. Como demonstrado anteriormente, os resultados apontam diferença significativa entre adultos e idosos tanto no tempo de reação mediano e porcentagem de acertos. Os idosos apresentam lentificação na velocidade de processamento e maior número de erros quando comparado com os adultos jovens. O processo de envelhecimento gera uma lentificação na velocidade de processamento em testes de tempo de reação simples. Nestes termos, diante do que foi apresentado neste relatório e conforme os resultados até então obtidos nesta pesquisa, evidências apontam para uma confiabilidade e fidedignidade do novo instrumento, o CompCog.
Referências 1. CAPOVILLA, Alessandra Gotuzo Seabra. Desenvolvimento e validação de instrumentos neuropsicológicos para avaliar funções executivas. Aval. psicol., Porto Alegre, v. 5, n. 2, p. 239-241, dez. 2006. Disponível em <http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=s1677-04712006000200014&lng=pt&nrm=iso>. Acesso em: 25 de jul. 2016. 2. CECCHETTO, Fátima H.; PELLANDA, Lucia C.. Construção e validação de um questionário sobre conhecimento de hábitos saudáveis e fatores de risco para doenças cardiovasculares em estudantes. J. Pediatr. (Rio J.), Porto Alegre, v. 90, n. 4, p. 415-419, Aug. 2014. Disponível em <http://www.scielo.br/scielo.php?script=sci_arttext&pid=s0021-75572014000400415&lng=en&nrm=iso>. Acesso em: 24 de jul. 2016. 3. CHARCHAT, H., Nitrini, R., Caramelli, P., & Sameshima, K. Investigação de Marcadores Clínicos dos Estágios Iniciais da Doença de Alzheimer com Testes Neuropsicológicos Computadorizados. Psicologia: Reflexão e Crítica, v. 14, n. 2, p. 305-316. 2001. 4. COLIN M. Macleod. Haifa Century of Research on the Stroop Effect: An Integrative Review. Psychological Bulletin, v. 109, n. 2, p. 163-203. 1991. 5. MARTINS, G. A.Sobre confiabilidade e validade. Revista Brasileira de Gestão de Negócios, v. 8, n. 20, p. 1-12, 2006. 6. STROOP, J. R. Studies of interference in serial verbal reactions. Journal of Experimental Psychology, v. 18, p. 643-662. 1935.
ANEXO1
ANEXO 2
ANEXO 3