The Pursuit of Ignorance. The Pursuit of Ignorance. Definição de. Revisão da Literatura. Revisão da Literatura

Transcrição

1 The Pursuit of Ignorance The Pursuit of Ignorance Stuart Firestein (Neuroscientist) TED2013, feb. É preciso conhecer bem sobre algo, para saber o que não se conhece sobre ele. (Firestein 2013) - 1/ /40 - Definição de Pesquisa Bibliográfica Tradicional Para alguns autores, pode ser considerada como uma metodologia de pesquisa por sí só (Jesson, Matheson, Lacey, posicao 271) Marcelo da Silva Hounsell, PhD Março

2 Metodologia Método Técnica Tecnologia - 5/40 - é uma metodologia básica de pesquisa científica O Método utilizado é a Pesquisa Bibliográfica (que se divide em tradicional ou sistemática) Que usa várias técnicas (PICO/RARE, fichamento/marcação, leitura, ) E, várias tecnologias (ASE, Editores de Texto, Gerenciadores de Pesquisa, ) - 6/40 - Pesquisa Bibliográfica Tradicional RARE, 5W2H, Bottom-Up, Fichamento Definição de É a etapa em que o pesquisador levantará o corpo do conhecimento (BOK) de uma determinada área (fundamental e atual) É uma das diversas etapas de uma pesquisa como um todo Não gera conhecimento por si só ASE, Mendeley, EndNote - 7/40-2

3 Definição de Pesquisa Bibliográfica Definição de Pesquisa Bibliográfica É a etapa responsável por identificar e buscar o estado da arte de uma determinada área É a primeira etapa a ser cumprida em qualquer projeto de pesquisa É preciso que o tema e objetivo estejam claros para o pesquisador Quanto mais claro, melhor e mais produtiva será a PB e, portanto, a RL Definição de Definição de RL não é considerada uma Pesquisa Primária Primária: Secundária: Terciária: RL não é considerada uma Pesquisa Primária Primária: projeto de investigação sobre um novo conhecimento. A grande maioria dos artigos/pesquisas. Secundária: projeto de levantamento sobre pesquisas primárias. Os survey, review, overview, mapping, etc.. Terciária: Projeto de levantamento sobre pesquisas secundárias. Revisões sobre revisões. Exemplos: (Detroz, Hinz e Hounsell, RBIE); (Kitchenham et alli, 2009) 3

4 Resultados de uma RL/PB 1ª DICA para RL: Antes de fazer a SUA Revisão de Literatura, verifique se já não existe alguma já pronta! Resultados de uma RL/PB Entendimento/Identificação dos Fundamentos...artigos e conceitos clássicos e fundamentais Entendimento/Identificação dos Atores pessoas, países, grupos e instituições mais importantes e atuantes Entendimento/Identificação do Estado da Arte técnicas, aplicações, limitações, vantagens e lacunas mais atuais, tendências Macro Etapas da RL Uma se divide em 3 grandes etapas: Quais são as atividades (qual o plano de ação para executar) uma? I Planejamento II Execução III Agregação - 16/40-4

5 Macro Etapas da RL Uma se divide em 3 grandes etapas: I Planejamento 5W2H - método II Execução da PB ASE - tecnologia III Agregação Análise e Síntese - técnicas - 17/40 - I - Planejamento 5W2H da a) Why Por que será feito (justificativa) b) When Quando será feito (tempo) c) Who Por quem será feito (responsabilidade) d) What O que deve ser feito (etapas) e) How much O quanto pesquisar (custo) f) Where Onde será feita (local) g) How Como será feito (método) II Execução da III Agregação da Objetivo: Obter os materiais para leitura É a fase operacional, manual Resultado depende da qualidade da fonte Pode envolver mais de uma pessoa portanto, precisa estar detalhado e ser registrado É a fase intelectual Requer: análise: pela leitura crítica, fichamento e obtenção de dados, e; síntese : com resultado na forma escrita 5

6 (I.a.Why) I - Planejando uma Porquê Fazer uma RL? - 21/40 - Nenhuma descoberta científica é obra de uma única pessoa. (Louis Pasteur) O inteligente é aquele que aprende com seus erros. O sábio é aquele que aprende com os erros dos outros. (Autor Desconhecido) 6

7 If I have seen a little further it is by standing on the shoulders of giants If I have seen a little further it is by standing on the shoulders of giants Isaac Newton in a letter to his rival Robert Hooke, in Original: John of Salisbury. Metalogicon, Um dos mais usados métodos de busca de conhecimentos e informações Quanto melhor a sua RL/PB, melhor será a SUA pesquisa/contribuição (I.b.When) Quando fazer a RL? 7

8 Quando se faz a Não se faz tudo de uma vez! Dê tempo para você conhecer a área, os termos, o problema Vá aprofundando / afunilando nos temas e técnicas ao que interessa Precisa de maturidade mínima na área Quando se faz a Não se faz tudo de uma vez! Dê tempo para você conhecer a área, os termos, o problema Vá aprofundando / afunilando nos temas e técnicas ao que interessa A RL é uma atividade em curva Quem faz a RL? (I.c.Who) Quem deve fazer a? Pode ser feita por uma única pessoa (você) Ou Pode ser feita por mais de uma pessoa (você +IC + +orientador) 8

9 Quem faz a RL? Pode ser feita por uma única pessoa (você) Ou Pode ser feita por mais de uma pessoa (você +IC + +orientador) (I.d.What) O que deve ser pesquisado? Em ambos os casos, registrar procedimentos e informações é importantíssimo!!!!!! O que procurar numa RL? Trabalhos do Mesmo Nível ou + Monografias (de TCC) Dissertação (de Mestrado) Teses (de Doutorado) Uso de Teses e Dissertações Ajudam a se aprender o estilo da área e profundidade do trabalho almejado São ótimas fontes de informações sobre os fundamentos (técnicos, metodológicos, conceituais) Mais atualizadas que livros Indicam atores envolvidos na área (nem sempre encontrados em artigos) - 35/ /40-9

10 Uso de Teses e Dissertações MAS São muito extensas Têm propósitos diferentes de artigos Trazem a tentação de usar os mesmos argumentos (cópia): procure os seus Oque procurar numa RL? Procurar artigos de Congressos, Simpósios e Conferencias Revistas (periódicos)!!!!! - 38/40 - Oque procurar numa RL? Procurar artigos de Congressos, Simpósios e Conferencias Revisão é feita por 1 a 3 pessoas em pouco tempo, conhecedoras da área Corpo revisor variável Artigo de razoável a bom (Qualis!) Revistas (periódicos)!!!!! - 39/40 - Oque procurar numa RL? Procurar artigos de Congressos, Simpósios e Conferencias Revisão é feita por 1 a 3 pessoas em pouco tempo, conhecedoras da área Corpo revisor variável Artigo de razoável a bom (Qualis!) Revistas (periódicos)!!!!! Revisão é feita por 3 a 5 pessoas com bastante tempo e especialistas na área Corpo revisor fixo Artigo de bom a excelente (Qualis!) - 40/40-10

11 Porque confiar neste tipo de avaliação (revisão pelos pares peer review)? Why we should trust scientists? Naomi Oreskes (Historian of Science) TEDSalon NY, may, / /40 - Referências de Qualidade É por isso que artigos de revistas (Super Interessante, Exame-Informática) ou jornais (Diário Catarinense, A Notícia) ou programas de televisão (Fantástico, Discovery)... não são referências científicas! (I.e.How Much) O Quanto Pesquisar? - 43/40-11

12 Quantas Referências Obter? Depende da Profundidade do estudo IC, TCC, MST ou DR Da área Clássicas ou Inovadoras Tipo de estudo Primário, secundário ou terciário Quantas Referências Obter? I.d.HOW MUCH Converse com o orientador Quantas Referências Obter? I.d.HOW MUCH Quantas Referências Obter? I.d.HOW MUCH Critério de Parada: Deve-se parar a RL/PB quando as buscas começarem a não trazer novidades (autores ou conteúdo) Rule of Thumb: Se for uma tradicional para MST na área Gráfica FOCO = de 10 a 15 Outras = 25 a 60 12

13 (I.f.Where) Onde encontrar as informações? I N T E R N E T!!!!!!!!! Google, Yahoo, etc /87 - Pesquisas na Web PROBLEMAS: Inundação de Informações Qualidade Inundação de Informações Sites de Busca Genéricos Google, Bing, Yahoo, Baidu, etc... retornam uma variedade muito grande de tipos de informação: Ementas de Disciplinas Textos Comerciais Artigos abertos Sites Produtos PPT, PDF, TXT, DOC, HTML 13

14 Problemas de Qualidade Nem sempre tem autoria dos trabalhos Nem sempre tem responsabilidade Nem sempre tem cronologia Nem sempre tem credibilidade Nem sempre tem confiabilidade Problemas de Qualidade Nem sempre tem autoria dos trabalhos Quem está assinando/escrevendo? Que competência tem o autor? Nem sempre tem responsabilidade Quem está dando suporte à publicação? (empresa, instituto, universidade, editora,...) Nem sempre tem cronologia Quando foi publicado? Qual o contexto histórico associado? Nem sempre tem credibilidade Quem avaliou e avalizou o trabalho? Nem sempre tem confiabilidade Até quando o link/site vai ficar no ar? Busca Científica Normalmente nos mecanismos de busca Web convencionais não se tem controle sobre o contexto específico da busca (autor, ano, veículo, tipo de material), então esses são menos apropriados Recursos disponível na WEB Bases de Dados Muito Especializadas, Interface fraca, para Pagantes ($) Controlada por Associações/Fontes específicas Bases Abertas Bases de Universidades, Bases de Sociedades Mecanismos de Busca Acadêmica - MBA ASE (Academic Search Engines) Mais Abrangentes Pode contemplar várias fontes distintas - 55/40-14

15 Bases Específicas (Scholary or Academic Repositories) SIAM Society for Industrial And Applied Mathematics DBLP Computer Science Library BDBComp Biblioteca Digital Brasileira da Computação CSDL - Computer Society Digital Library OUTRAS: ChildData, Emerald, Cambridge Journals Online, Oxford University Press, Information Science and technology Abstract, ERIC - Education Resources Information Certer, CINAHL, MEDLINE, EMBASE, DARE, CINAHL, Cochrane, PEDro, PubMed, Sports Discuss, PsychoInfo, ASSIA - Applied Social Sciences Index and Abstracts, AMI, /40 - Bancos de Informações Banco de (resumos) de teses e dissertações apresentadas no Brasil desde 1987: Bando das próprias IES: USP: UFSC: teses.eps.ufsc.br UNICAMP: libdigi.unicamp.br MIT : theses.mit.edu (a mais antiga é de 1888) ProQuest Digital Dissertations - sistema para pesquisar resumos de teses e de dissertações: wwwlib.umi.com/dissertations Sites de Busca de Artigos Científicos Academic Search Engines ASE Específicos por área Linguagem Científica (estilo e formato) Credibilidade avaliado pelos pares Autoria, Cronologia, Confiabilidade Responsabilidade (filiação, editora) Academic Search Engines CiteSeerX (o PRIMEIRO) Google Scholar / Google Acadêmico NSDL National Science Digital Library Portal Periódicos da CAPES ScienceDirect (Elsevier) Engineering Village (Elsevier) SciFinder Arqxiv... [40+ ao todo! Ver wikipedia] 15

16 Qual o melhor ASE? Qual o melhor ASE? a) Recursos b) Preferência c) Experiência Quantidade de Recursos Adaptado de (OPPENHEIM, C. et al. The Evaluation of WWW Search Engines. Journal of Documentation, 56(2): , 2000) Recursos de Busca RB1: permite usar filtros booleanos na frase de busca? RB2 : permite usar filtros que restringem um período de data de publicações? RB3 : permite usar caracteres coringa? RB4 : inclui automaticamente sinônimos e variações gramaticais das palavras de busca? RB5 : permite consultar com uso de uma frase exata? RB6 : permite consultar por autores (nome/sobrenome)? RB7 : permite consultar por filiação (universidade ou grupo)? RB8 : permite consultar pelo (ISBN) - para livros ou (ISSN) - para periódicos? RB9 : Permite consultar pela localização (cidade, país,..) onde ocorreu a publicação? RB10 : permite consultar por um tipo específico de material (e.g. artigo, livro etc.)? RB11 : permite consultar por artigos publicados em journals e conferências, específicas? RB12 : permite consultar por artigos escritos em um determinado idioma? - 63/40 - Quantidade de Recursos Adaptado de (OPPENHEIM, C. et al. The Evaluation of WWW Search Engines. Journal of Documentation, 56(2): , 2000) Recursos de Refinamento RR1 : permite realizar filtragens subsequentes nos resultados de uma busca? RR2 : permite ordenar documentos por relevância em relação à frase de busca? RR3 : permite ordenar documentos pela data em que foram publicados? RR4 : permite ordenar documentos pelo número de citações contabilizadas? RR5 : indica se o documento foi revisado por uma banca de avaliadora? RR6 : indica o número de citações feitas à um determinado documento? RR7 : indica o número de referências utilizadas no documento? Recursos Auxiliares RA1 : apresenta os resumos dos documentos disponíveis? RA2 : apresenta o conjunto de palavras-chaves dos documentos disponíveis? RA3 : permite criar lista temporária de documentos ou gera histórico de consultas? RA4 : permite ativar opção de alerta, avisando atualizações específicas por ? RA5 : o MBA sugere conteúdo relacionado à frase de busca ou à um determinado artigo? RA6 : o MBA possui uma seção de ajuda? 16

17 Melhores ASEs (BUCHINGER; CAVALCANTI; HOUNSELL, 2014) Mecanismos de Busca Acadêmica: Análise Quantitativa BUCHINGER, D.; CAVALCANTI, G. A. S.; HOUNSELL, M. da S. RBCA, 6(1):1-10, Baixar do ResearchGate - 66/40 - Seminário: Análise de ASE Qual o melhor ASE? a) Recursos b) Preferência c) Experiência - 67/40-17

18 Preferência de ASEs - CCT 23 Portal da CAPES 17 Google Scholar 15 Google 10 IEEExplore 07 ISI Web of Science 06 SciELO 05 Science Direct 03 SciFinder 02 SCOPUS, SiteCeerX, Portal ACM 01 Springer, arqxiv, Genesis Library Preferência de ASE DCC 08 Google Scholar 05 IEEExplore 02 CiteSeerX, Portal ACM 01 Portal CAPES, SciELO, Google, ISI Web of Science, SCOPUS, SciFinder Experiência Qual o melhor ASE? a) Recursos b) Preferência c) Experiência As fontes de dados mais relevantes para a área da ciência da computação são: ISI-WoS, SCOPUS, ACM DL, IEEEXplore, SpringerLink, InterScience, Science Direct e SciELO. Documento de Área CA-CC, CAPES, pag 16, /40-18

19 Melhor ASE Qual o melhor ASE? - Nenhum ASE cobre tudo - Não use somente UM ASE - ADAT [EARNEY 2009] compara Bases a) Recursos b) Preferência c) Experiência Fonte: DataSalon 2007 Converse com o orientador para saber quantas dissertações, quais ASEs e até patentes!!! (I.g.How) Como Pesquisar? - 75/40-19

20 Como Pesquisar? Inicie com pesquisa a Dissertações Isso ajuda a entender melhor a área Dá tempo para amadurecer Ajuda a identificar Keywords Como Pesquisar? Já pesquisou Dissertações Isso lhe deu maturidade Refine as Keywords - 77/ /40 - Como Pesquisar? Já pesquisou Dissertações Isso lhe deu maturidade Refine as Keywords Agora pesquise em ASEs Trabalhos Secundários Trabalhos Primários Como Buscar nos ASEs? Planejamento de Filtros Gerais (Objetivo) Recurso do ASE!? Específicos (Subjetivo) Usando as Keywords Experiência - 79/40-20

21 Filtros Gerais Restrição do Tipo de Material Artigos Conferências Periódicos Filtros Gerais Restrição pela Idade Use referências recentes Mas, não muito (os ASE demandam tempo para adaptar os artigos) Filtros Gerais ZHANG; LIU, 2010 Filtros Gerais Restrição pela Idade Depende da área BUCHINGER; JURASZEK; HOUNSELL, 2012 Exemplo Na área do Processamento Gráfico: Até 5 anos de idade para Proceedings Até 10 anos de idade para Journals 21

22 Filtros Gerais Filtros Gerais Reflexão Uma pesquisa muito boa escrita em mandarim tem a mesma difusão de uma outra pesquisa mais simples, escrita em inglês? Um artigo que tem referências em mandarim lhe convida a conhecê-los? Se você usa referências da sua própria língua, um evento/periódico do exterior vai aceitar seu artigo? Restrição pela Língua Use preferencialmente referências em inglês Filtros Gerais Restrição pela Língua Use preferencialmente referências em inglês DICA: Crie seu software inicialmente em inglês e, se sobrar tempo, bilíngue (acrescente o português) Filtros Gerais Critérios objetivos: - Idade (de quando a quando, mês/ano) - Tipo de Material (artigo, patente, ) - Língua (Inglês +? ) - Disponibilidade (imediata ou qualquer) - Acesso (gratuito ou qualquer) - Revisado (enfatizar se houver dúvida) - Tamanho (full, short, mais que X pgs) 22

23 Filtros Específicos Numa Pesquisa Bibliográfica Tradicional, os Filtros Específicos Dependem da experiência Consulte o orientador Filtros Específicos Keywords Palavras-Chaves Dependem do trabalho Automatizam o uso dos MBA/ASE Precisa definir Keywords Palavras-Chaves Critério de Seleção dos Artigos TCC sobre LOFTING! - 89/ /40 - Filtros Específicos Desenvolvendo o Keywording O Termo Quantidade de Termos Sinônimos Filtros Específicos O Tema Jogos Sérios Leva ao termo: - KW = Jogos Sérios - 91/ /40-23

24 Filtros Específicos O Tema Jogos Sérios Leva ao termo: - KW = Jogos Sérios - KW = Jogos Filtros Específicos O Tema Jogos Sérios Leva ao termo: - KW = Jogos Sérios - KW = Jogos - KW = Jogo - 93/ /40 - Filtros Específicos O Tema Jogos Sérios Leva ao termo: - KW = Jogos Sérios - KW = Jogos - KW = Jogo - KW = Jogo* Filtros Específicos Quantidade Quanto mais termos, menor o número de resultados da busca Sinônimos Quanto mais sinônimos, maior o número de resultados da busca - 95/ /40-24

25 Quantidade e Sinônimos Filtros Específicos REFINAMENTO Aplique as Keyword nas suas buscas e vá verificando Quantidade (é gerenciável?) Qualidade (é relevante?) - 97/ /40 - Filtros Específicos REFINAMENTO Aplique as Keyword nas suas buscas e vá verificando Quantidade (é gerenciável?) Qualidade (é relevante?) PROCESSO REQUER TEMPO - 99/40 - Como Pesquisar? Já pesquisou Dissertações Isso lhe deu maturidade Refine as Keywords Agora faça pesquisa de Artigos Secundários Use survey, review, overview, etc. Devem aparecer no TÍTULO!!!! - 100/40-25

26 Como Pesquisar? Já pesquisou Dissertações Isso lhe deu maturidade Já definiu as Keywords Já fez pesquisa de Artigos Secundários Agora faça pesquisa por Artigos Primários Filtros Específicos Seleção de Artigos por Experiência (PB Tradicional) Eliminar Duplicatas Traduções, Extensões, Atualizações (mais novo!) - 101/40 - Filtros Específicos Filtros Específicos Seleção de Artigos por Experiência (PB Tradicional) Eliminar Duplicatas Traduções, Extensões, Atualizações (mais novo!) Leitura do título e resumo Introdução e conclusão Metodos e resultados Seleção de Artigos por Experiência (PB Tradicional) Eliminar Duplicatas Traduções, Extensões, Atualizações (mais novo!) Leitura do título e resumo Introdução e conclusão Metodos e resultados Analisar aspectos como: Veículo (Journal ou Evento) Responsabilidade: Autor, IES e Grupo Idade e Citações - 104/40-26

27 Revisão de como fazer a busca? Revisão de como fazer a busca? Materiais Dissertações Artigos Secundários Artigos Primários - 105/87 - Filtros para Artigos Primários Gerais Língua: Inglês Idade: Quase Recente Etc.. Específicos Keywording Seleção pela Experiência Etc. I - Planejamento 5W2H da Porque : evolução Quando : começo Quem: você (!) + O que : artigos Como : estratégias, filtros Quantos : nível Onde : vários ASEs Agora é só II - Executar e depois III Agregar - 108/40-27

28 II Execução da II Execução da É a fase operacional, manual Objetivo: Obter os materiais para leitura Resultado depende da qualidade da fonte Pode envolver mais de uma pessoa portanto, precisa ser detalhado e registrado CONSISTÊNCIA Semantica da Busca Aplicar a Busca nas Bases/ASE, conforme a ESTRATÉGIA Aprofundar ou Atualizar no material mais RELEVANTE - 110/40 - II Execução da Preocupação com a consistência semântica da frase de busca nas várias bases. Como garantir que a frase de busca seja interpretada / executada com o mesmo escopo em vários ASE com várias regras diferentes? ESTRATÉGIAS DE ABRANGÊNCIA para execução uma Pesquisa Bibliográfica Conheça bem os ASE e REGISTRE tudo - 112/40-28

29 Estratégias para Pesquisa Bibliográfica Estratégias para Pesquisa Bibliográfica Bottom Up Começar pelos periódicos (se já conhecidos) mais específicos, depois expandir para os artigos e repositórios mais abrangentes. Top - Down Começar pelos repositórios abrangentes, depois ir/acompanhar as revistas mais específicas. Bottom-Up Áreas mais aplicadas com foco na técnica Quando se tem bom conhecimento da área Top Down Estratégias para Pesquisa Bibliográfica Estratégias para Pesquisa Bibliográfica Bottom-Up Áreas mais aplicadas com foco na técnica Quando se tem bom conhecimento da área Top Down Áreas mais teóricas com foco no problema Quando área ou técnica não são completamente dominadas Bottom-Up Áreas mais aplicadas com foco na técnica Quando se tem bom conhecimento da área Top Down Áreas mais teóricas com foco no problema Quando área ou técnica não são completamente dominadas Converse com seu orientador... 29

30 ENTORNO Aprofundando ou Atualizando através de uma PESQUISA DO ENTORNO Selecionado um artigo específico considerado RELEVANTE, execute uma Pesquisa Recursiva De uma referência RELEVANTE para seu trabalho: Veja se o autor não produziu outras referências mais recentes ou complementares; Verifique os artigos referenciados; Verifique artigos com um conjunto semelhante de referências (similar) ; Verifique artigos que referenciam este trabalho (cited by) ; - 117/40 - ENTORNO Obtêm-se mais referências também RELEVANTES Obtêm-se materiais mais novos dos mesmos autores RELEVANTES Obtêm-se melhor clareza da amplitude do trabalho RELEVANTE Obtêm-se visão crítica do trabalho e da tendência na área ENTORNO É um processo que cresce rapidamente Cada artigo leva a várias referências, assemelhados e citados Fazer somente com os RELEVANTES! É difícil de reproduzir pois é muito sensível à questão temporal cited_by e a produção mais recente dos autores mudam constantemente 30

31 Obtendo as Referências Já sei o que quero e onde encontrar mas, não tem disponível na íntegra na Internet! As vezes, um artigo não está disponível por um ASE mas pode estar disponível por outro ASE!!! Usar Google, Bing, Scholar Google?!?!?!? - 121/87 - Obtendo as Referências As vezes, um artigo não está disponível por um ASE mas pode estar disponível por outro ASE!!! Muitas vezes o site do autor, do departamento, do grupo de pesquisa, do projeto, é uma ótima fonte de artigos publicados E ainda pode trazer indicações de outros trabalhos Obtendo as Referências As vezes, um artigo não está disponível por um ASE mas pode estar disponível por outro ASE!!! Muitas vezes o site do autor, do departamento, do grupo de pesquisa, do projeto, é uma ótima fonte de artigos publicados Verifique os sites de relacionamento científicos Research Gate Microsoft Academic Academia 31

32 Obtendo as Referências As vezes, um artigo não está disponível por um ASE mas pode estar disponível por outro ASE!!! Muitas vezes o site do autor, do departamento, do grupo de pesquisa, do projeto, é uma ótima fonte de artigos publicados Verifique os sites de relacionamento científicos Research Gate Microsoft Academic Academia Contacte o próprio autor Free, quase sempre consegue Comprando Referências Full text ordering ($$$, t) Caro e Rápido ver professores afastados Comprando Referências Full text ordering ($$$, t) Caro e Rápido ver professores afastados COMUT (Comutação) e British Library ($, T) Mais barato que site, tempo médio Nacional e Internacional Serviço foi Unificado R$ 1,82 para cada 5 páginas do artigo Referências Extras DATASALON (2007b). Jisc academic database assessment tool: Compere titles. DataSalon. Dispon ıvel em form.pl. Acessado em 11/09/2012. EARNEY, L. (2009). An introduction to the jisc academic database assessment tool. Serials: The Journal for the Serials Community, 22(3): PETERSEN, K. FELDT, R.; MUJTABA, S.; MATTSSON, M. (2008) Systematic Mapping Studies in Software Engineering. PETERSEN, K. e ALI, N. B. (2011). Identifying Strategies for Study Selection in Systematic Reviews and Maps. IEEE International Symposium on Empirical Software Engineering and Measumrement. Pp KITCHENHAM, B.; BRERETON, O. P.; BUDGEN, D.; TURNER, M.; BAILEY. John.; LINKMAN. S. (2009) Systematica Literature Reviews in Software Engineering A systematic literature review. Information and Software Technology. 51: Ainda existem em 05/2015!!!! 32

33 Pesquisa Bibliográfica Tradicional Marcelo da Silva Hounsell, PhD 33