O LIVRO NA AVALIAÇÃO DA PRODUÇÃO INTELECTUAL DOS PROGRAMAS DE PÓS-GRADUAÇÃO DA ÁREA 21

1 O LIVRO NA AVALIAÇÃO DA PRODUÇÃO INTELECTUAL DOS PROGRAMAS DE PÓS-GRADUAÇÃO DA ÁREA 21 Documento final aprovado pelo Fórum Nacional de Pós-Graduação da Área 21 (Educação Física, Fonoaudiologia, Fisioterapia e Terapia Ocupacional) COMISSÃO DE AVALIAÇÃO DO LIVRO Beatriz C. Novaes (PUC-SP), Yara M. Carvalho (USP), Valter Bracht (UFES), Edison J. Manoel (USP), Rinaldo J. Guirro (UNIMEP) Rio Claro SP 26 de outubro de 2007

2 INTRODUÇÃO Esse documento apresenta os critérios de qualificação do livro no âmbito da avaliação da produção intelectual dos programas de pós-graduação da Área 21, dada sua importância na formação de recursos humanos de nível superior e produção de conhecimento. A produção intelectual publicada no formato de livro será considerada a partir dos livros enviados pelos programas de pós-graduação e incluídos no Coleta CAPES. A comissão de consultores será indicada a partir de acordo entre as representações de área, as associações científicas da Área 21 e o Fórum Nacional de Pós-Graduação da Área 21 com vistas a contemplar as especificidades das áreas e garantir a escolha de pessoas que tenham experiência com publicação e avaliação de livros. Neste sentido, sugere-se que a comissão responsável pela avaliação do triênio contemple membros da comissão anterior para não se perder a memória da sistematização, organização e operacionalização dos trabalhos e da proposta. PRINCÍPIOS E DIRETRIZES 1. A avaliação do livro e do capítulo só é possível com o original em mãos; 2. A avaliação do livro demanda indicadores de qualidade diferentes dos do artigo. A construção de critérios de avaliação para LIVRO é distinta da do ARTIGO. Em síntese, não são produções equivalentes; 3. A avaliação do livro compõe avaliação da produção intelectual do programa sem vinculação com a avaliação do artigo; 4. Dada a ênfase na qualidade da produção para o processo de avaliação do livro solicitase que cada docente, discente e seu respectivo programa indiquem as três produções mias relevantes em livros ou capítulos de livros no triênio por docente/discente. 5. O docente em comum acordo com o programa, é responsável pela indicação das produções mais relevantes do triênio.

3 CRITÉRIOS DE AVALIAÇÃO DO LIVRO A avaliação dos livros será feita com base nos seguintes critérios: (a) relevância/impacto (sete pontos) e (b) processo editorial (três pontos), totalizando um máximo de dez pontos. A pontuação é definida com base em apreciação qualitativa do livro. a. Relevância/impacto (7 pontos) O material apresentado é ou não pertinente ao formato de livro? Considerando a natureza do livro espera-se que ele instigue o leitor à reflexão e a questões teórico-conceituais e metodológicas que possam subsidiar novas pesquisas, ou ainda que remeta à análise crítica acerca de um tema ou área de investigação. Por essa razão seu tempo de vida tende a ser mais longo se comparado ao artigo em periódico. Considerando essa característica, espera-se que o conteúdo divulgado por meio do livro esteja fundamentado em um projeto claramente definido em termos de conteúdo, objetivo, justificativa (informações geralmente encontradas na apresentação do livro). O espaço que o autor destina à interpretação e reflexão acerca de um tema, ao desenvolvimento de idéias, ou ainda a uma tese determina o formato do texto em livro, diferente do artigo veiculado por meio de periódico impresso ou eletrônico, por exemplo. Não raro encontramos textos que se apresentam no formato de livro, ainda que esse espaço seja reduzido ou até inexistente posto que o autor se ocupa em apresentar um relatório de pesquisa com dados tratados a partir de testes estatísticos cujos resultados subsidiam as interpretações do autor a respeito do comportamento da amostra investigada. Esse seria um exemplo de texto que se apresenta na forma de livro, mas não é pertinente a esse formato. Face à diversidade do material em formato livro é possível identificar duas categorias de produção: PRODUÇÃO FORMATIVA: é aquela caracterizada pela proposição de novas idéias, novas reflexões, novas perspectivas teóricas e metodológicas sobre diferentes temas, tem efeito gerador de teorias e metodologias, além de subsidiar o desenvolvimento de tecnologias. É nessa categoria que se encontra de fato o que se denomina produção de conhecimento acadêmico. Obras nessa categoria são pensadas para ter longo alcance e impacto duradouro. Por essas razões, os materiais dessa categoria vão desempenhar papel preponderante na formação do estudante de pós-graduação. São considerados como produção formativa os livros que forem considerados como pertencentes das seguintes categorias:

4 Livro/texto integral (L): obra geralmente de um, eventualmente de dois ou mais autores que apresenta análise crítica acerca de um tema ou área de investigação, de natureza reflexiva ao abordar questões teóricas, conceituais e metodológicas. Tratado (T): obra desenvolvida a respeito de uma ciência ou ramo de uma ciência visando identificar e discutir os seus avanços e consensos em relação a temas e especialidades que a constituem. Pode reunir vários autores, especialistas renomados e reconhecidos pela associação científica que os representa. Coletânea (C): obra com contribuição de diferentes autores que discorrem sobre um ou mais temas. Embora haja grande diversidade de produções nessa categoria têm mais valor aquelas que resultam de um eixo temático norteador a partir do qual são agregados e integrados os capítulos. PRODUÇÃO TÉCNICA: é caracterizada por materiais que resultam da aplicação de idéias, reflexões e teorias para a resolução de problemas imediatos e específicos, ou para a realização de atividades em diferentes contextos (educação, saúde, lazer). Ela fornece ainda ao estudante e ao leigo interessado ferramentas para apreender conceitos básicos de cada área. Dicionário (D): obra que apresenta um conjunto de termos específicos de uma área com respeito aos seus significados. Em forma de verbetes, essa obra é realizada por vários autores responsáveis por um ou mais verbetes. Ela oferece instrumentos conceituais para que o estudante ou qualquer interessado possa ter elementos para se familiarizar com diferentes aspectos de uma área ou campo de conhecimento. Atlas (A): obra similar ao dicionário que traz como especificidade coleção de imagens, figuras, estampas, mapas, ou quadros acompanhados de textos elucidativos. O Atlas instrumentaliza o interessado em sua trajetória por um campo ou por temas específicos. Manual (M): obra que contém noções operacionais acerca de determinada técnica ou conjunto de técnicas. Guia (G): obra que contém instruções preliminares acerca de um campo ou serviço a ele relacionado.

5 Programa: obra que traz orientações e subsídios sobre a elaboração e implementação de ações específicas. Compilação de material já publicado (CP): obra que reúne trabalhos, geralmente artigos, já publicados por outro veículo de comunicação/informação, numa encadernação que pode ou não vir acompanhada de uma apresentação. Anais de congresso (AC): textos que resultam das apresentações de conferencistas, debatedores, mediadores e outros participantes de evento científico e são organizados em forma de livro. Esse tipo de produção se contrapõe àquelas Coletâneas que embora resultem de um conjunto de contribuições de um dado evento científico, não se limitam à transcrição do que foi falado. Os textos dessas coletâneas usualmente expandem as falas e agregam reflexões decorrentes dos debates e discussões que as mesmas suscitaram. Suporte didático (SD): texto pontual, quadros, sinopses, com o intuito de servir de apoio ao ensino ou ainda para informar a população sobre determinado tema. Difere do livro texto porque não requer abrangência e profundidade na discussão. O objetivo é apresentar de forma sucinta informações que venham a complementar uma aula, uma palestra ou idéias e conceitos de domínio público. Carta (Ct): comunicação impressa endereçada a uma comunidade com o propósito de orientar acerca de uma atividade, de uma profissão, ou ainda de apresentar o resultado de uma discussão de um grupo. Texto expandido (TE): texto que ultrapassa o número de páginas de um artigo mas não se caracteriza como livro no que se refere a abrangência e profundidade. Catálogo (Ctl): lista organizada de instituições, pessoas, assuntos, etc., sendo cada entrada na lista acompanhada, ou não, de textos descritivos breves. Com base nessa distinção, a avaliação da produção intelectual será realizada para os livros pertencentes à classe da Produção Formativa. No caso de Produção Técnica, os livros deverão ser avaliados com critérios pertinentes a esse tipo de produção.

6 O livro resulta da produção de uma linha de pesquisa ou área de conhecimento vinculada a um programa de pós-graduação? A vinculação a uma linha de pesquisa ou área de conhecimento remete a um projeto ou uma política científica institucional. Entretanto, pode acontecer que não exista vínculo entre o livro e a área de concentração ou linha de pesquisa, nesse caso é importante verificar se há vinculação com a proposta do programa de pós-graduação. Deve-se destacar que uma produção que aparentemente é isolada ou independente pode vir a caracterizar o início de uma nova linha de investigação, aspecto que poderá ser avaliado no contexto da produção do pesquisador. No caso do livro apresentar vinculação com o programa a sua pontuação poderá variar da seguinte forma: 2,0 pontos para o vínculo pleno à linha de pesquisa via projeto de pesquisa; 1,5 pontos para o vínculo identificado apenas com a linha de pesquisa; 1,0 ponto para vínculo identificado apenas em relação à área de concentração; e 0,5 ponto para vínculo identificado apenas em relação à área de básica do programa. Qual a natureza do livro? Um livro que emerge de um projeto ou uma política editorial difere de um livro-texto, por exemplo. No primeiro caso, geralmente, é o conselho editorial que assume a autoria do projeto algumas vezes convidando pesquisadores para escreverem a respeito de determinado tema: é o caso dos livros que introduzem um assunto, ou ainda dos denominados Tratados, publicados na Área 21. O que é importante destacar aqui é que o livro vinculado a uma política ou projeto editorial, ou ainda a uma coleção, tem impacto diferente daquele publicado independente. Também freqüentes na Área 21, o livro-texto, assim como o manual, implica em análise distinta já que ele pode ser dirigido à preparação e orientação profissional, ou ser parte de uma estratégia de ação pública, entre outras possibilidades. Livros com essa orientação podem, a partir de análise de contexto, desempenhar papel importante na integração entre a graduação e a pós-graduação, por exemplo, à medida que pode ser um instrumento de mediação entre o estudante e o professor em determinada área do conhecimento e investigação científica. De acordo com a categoria do livro serão atribuídos os seguintes pontos: Livro/Texto Integral Tratado Coletânea até 2,5 pontos até 2,0 pontos até 1,0 ponto

7 Qual o impacto do livro? Para um livro recém publicado a análise do impacto carece de indicadores fidedignos. Ainda que se possa utilizar a tiragem, no caso da primeira impressão esse número é bastante questionável porque na maioria das vezes a tiragem é definida pelo caráter comercial do livro que é outra questão cuja natureza não nos cabe aqui. O impacto pode ser avaliado no caso dos livros que permanecem para além da primeira edição, ou reimpressão. A existência de uma segunda, terceira ou mais edições denota a permanência do livro para a comunidade e assim o seu impacto. É importante destacar que a re-edição se difere da reimpressão: a primeira implica na modificação do texto anterior, caracterizando uma nova produção no período em que essas atualizações ocorrem; no caso da reimpressão, o texto continua igual ao texto original. A análise do impacto toma por base, portanto, o poder de difusão do livro, bem como o de sua permanência no âmbito do sistema nacional de pós-graduação. Caberá aos programas mostrar, por meio de formulário específico, a veiculação do livro como bibliografia básica de disciplinas de outros programas; em concursos públicos; nas referências a ele, por meio de outros livros, artigos, teses e dissertações. Nos casos de mais de uma reedição/reimpressão de um mesmo título ao longo do triênio será considerada a última informação. O impacto do livro será pontuado de acordo com as re-edições/reimpressão de acordo com o seguinte quadro: Categoria 2ª. Edição/Reimpressão 3ª. Edição/Reimpressão 4ª. Edição/Reimpressão ou mais Livro 1 ponto 2,5 pontos 3,5 pontos Tratado 1 ponto 2 pontos 3 pontos Coletânea 2 pontos 3 pontos 4 pontos b. Processo Editoral (3 pontos) Há análise de mérito realizada por pares? É desejável que a qualidade do material seja avaliada por consultores ad hoc que integram a comunidade acadêmica. E esse é um dos principais aspectos a serem considerados na avaliação do livro. Livros que fazem parte de coleções, por exemplo, são avaliados pelos diretores de coleção e, muitas vezes, por especialistas externos. Geralmente, esse tipo de

8 procedimento está informado nas primeiras páginas do livro indicação do corpo de consultores, denominação da Coleção e nomes dos diretores responsáveis. Há menção de parceria ou financiamento de agências de fomento? Não é raro o pesquisador solicitar auxílio para financiamento de publicações, exemplos podem ser as FAPs, CNPq, departamentos, associações científicas e institutos de pesquisa. Quais as características do projeto gráfico do livro? A forma do livro pode indicar o caminho do livro. Ainda que a definição das características do livro como formato, número de páginas, tipo de papel, impressão, capa, acabamento (costurado ou colado), seja muitas vezes realizada com base em critérios de custo para torná-lo economicamente viável, o projeto gráfico pode estar vinculado ao projeto editorial da coleção onde se situa e ao destino do livro. Por exemplo, um livro com capa dura e costurado tem custo mais elevado, entretanto, essas características são indicadores de que esse material tem estrutura para ser um livro de consulta permanente e prolongada (os Tratados podem ser exemplos). Há o livro-texto, para o aluno de graduação e de pós-graduação, cujo custo final é determinante para o acesso ao livro, nesse caso ele tende a ter capa mole e papel mais barato (algumas vezes jornal). Esse tipo de projeto pode caracterizar um livro de vida mais curta e, nessa perspectiva, o livro pode denotar que o assunto tende a ser atualizado, por meio de outras edições ou outros livros com as mesmas características, na mesma temática. Com base nas respostas às perguntas acima serão atribuídos os seguintes pontos: Análise por pares Compor coleção Fomento e parceria Projeto gráfico até 1,0 pt. ate 1,0 pt. até 1,0 pt. até 0,5 pt. Essas informações podem ser obtidas no prefácio, na apresentação, na nota do editor, na folha de rosto, na quarta capa, ou ainda na orelha do livro.

9 ATRIBUIÇÃO DE CONCEITOS A partir da pontuação atribuída a cada livro o mesmo será enquadrado em uma das cinco faixas de conceito conforme o quadro abaixo: Pontuação Conceitos 10,0 a 8,9 Excelente (E) 8,8 a 7,0 Muito Bom (MB) 6,9 a 4,9 Bom (B) 4,8 a 3,9 Regular (R) 3,8 ou menos Fraco (F)

10 INSTRUMENTO PARA REGISTRO DE INFORMAÇÕES E ATRIBUIÇÕES DE PONTOS A avaliação dos quesitos apresentados até aqui será uniformizada a partir do preenchimento de uma súmula que é apresentada a seguir: PROGRAMA: Ano e No. da edição atual: Título: Autor(es): Editora: Ano da Primeira Edição: Local: ISBN: Edição enviada: Número de Re-impressão: PARA USO EXCLUSIVO DA COMISSÃO Relevância e Impacto (7 pontos) 1- O material apresentado é pertinente aos critérios de avaliação desta comissão? SIM /NÃO Se NÃO, motivo da não apreciação pela comissão: 2- O livro resulta da produção de uma linha de pesquisa ou área de conhecimento vinculada a um programa de pós-graduação? SIM/NÃO; Qual a natureza da publicação (livro, tratado, coletânea)? Análise qualitativa/quantitativa 3- Qual o impacto do livro? Análise qualitativa/quantitativa Total de Pontos: Perfil da Editora (3 pontos) 1- A editora tem histórico de envolvimento na produção de livros voltados à formação acadêmica? Quanto tempo? 2- A editora congrega representantes da comunidade científica para definição de política editorial? A editora decide sobre a publicação de um livro com base em análise de mérito realizada por representantes da comunidade científica? 3- No volume apresentado: (a) há menção de parceria ou financiamento de agências de fomento? (b) o volume faz parte de Coleção? 4- Projeto gráfico do livro (Análise qualitativa) Total de Pontos:

11 ENCAMINHAMENTO DOS DADOS RELATIVOS À PRODUÇÃO INTELECTUAL DO PROGRAMA PARA A CAPES: 1. Caberá ao docente junto ao programa a decisão sobre a composição da sua produção intelectual: livros e/ou artigos. Isso significa que o programa poderá encaminhar a produção de cada docente no formato de artigos, livros, ou livros e artigos; 2. Cada docente indicará as produções mais relevantes no formato de livro, ou capítulo de livro (é recomendável que esse número não ultrapasse a três); 3. A comissão só avaliará o material original encaminhado até a DATA LIMITE DO COLETA CAPES, acompanhado do formulário devidamente preenchido para cada livro ou capítulo de livro.

12 Pontuação do Livro para o Programa Programa - conceito Produção esperada por docente permanente no triênio 6/7 (Excelente) 1 Livro com conceito Excelente ou 2 Capítulos com conceito Excelente ou 3 Capítulos com conceito Muito Bom 5 (Muito Bom) 1 Livro com conceito Muito Bom ou 2 Capítulos com conceito Muito Bom ou 3 Capítulos com conceito Bom 4 (Bom) 1 Livro com conceito Bom ou 2 Capítulos com conceito Bom 3 (Regular) 1 Livro com conceito Regular ou 3 Capítulos com conceito Regular ou 2 (Fraco) 1 Livro com conceito Fraco ou 3 Capítulos com conceito Fraco 1 (Deficiente) Demais situações... Obs.: no caso de livros, coletâneas e tratados

13 CONSIDERAÇÕES FINAIS No que concerne à avaliação do livro caberá revisão da atribuição de conceito caso o programa entenda que o conceito atribuído não corresponde ao mérito do livro. Nesse caso, a revisão seguirá os procedimentos operacionais da CAPES em situações similares. Há uma série de situações a serem consideradas na avaliação da produção intelectual, como é discriminado a seguir: 1. Toda produção é em livro vale os critérios do Qualis Livro 2. Toda produção é em artigo vale os critérios do Qualis Periódico 3. A produção é parte em livro, parte em artigo, sendo que cada uma preenche isoladamente os critérios para o artigo e para o livro. Nesse caso, cabe ao docente optar por qual produção ele deseja ser julgado, não havendo essa manifestação, vale o conjunto da produção cujos indicadores levarem a uma melhor avaliação. Nos casos em que o docente apresentar produção em livro e artigo e nenhuma delas atingir os critérios mínimos para cada tipo de produção recomenda-se os seguintes procedimentos: 1º. Passo: olhar o conceito do livro e considerar sua correspondência na faixa de conceitos apresentados acima; 2º. Passo: olhar a qualificação da produção em artigo e verificar sua correspondência na qualificação dos periódicos; 3º. Passo: comparar as proporções para a definição da qualidade da produção. A título de ilustração, apresentamos alguns exemplos: 1º. Exemplo: O docente apresenta um Capítulo de Livro BOM que corresponde a 1/3 do conceito 5 no critério de avaliação de livro e dois artigos, um Internacional B e outro Internacional C. De acordo com os critérios de avaliação do artigo, um artigo IB corresponde a 1/3 do conceito 6, enquanto que os dois artigos juntos correspondem a 2/3 do conceito 5. Assim, a produção desse docente seria correspondente ao Conceito 5, ela tem o condicionante de artigo para o conceito 5, um IB, e este corresponde a 1/3 do conceito 6, além disso ele tem um Capítulo BOM que corresponde a 1/3 do conceito 5.

14 2º. Exemplo: O docente apresenta um Capítulo de livro BOM que corresponde a 1/3 do conceito 5 e a ½ do conceito 4, segundo os critérios do Qualis Livro. O docente também apresenta dois artigos Internacional C que correspondem a 2/3 do conceito 5, de acordo com os critérios de avaliação do artigo. A produção seria equivalente ao Conceito 5. Apesar de não ter o condicionante de artigo para conceito 5 (IA/IB), ela tem dois IC que correspondem a 2/3 do conceito 5 e um Capítulo BOM corresponde a 1/3 do conceito 5. 3º. Exemplo: O docente apresenta um Capítulo de livro BOM que corresponde a 1/3 do conceito 5 e a ½ do conceito 4, segundo os critérios de avaliação do livro. O docente também apresenta dois artigos Nacional B que correspondem a 2/3 do conceito 3, de acordo com os critérios de avaliação do artigo. Nesse caso, a produção seria considerada como equivalente ao Conceito 4 já que o Capítulo BOM está próximo do conceito 4 (1/2 do total) e do conceito 5 (1/3 do total), por isso puxa para cima a produção em artigo que é predominantemente correspondente ao conceito 3. 4º. Exemplo: O docente apresenta um Capítulo de livro BOM que corresponde a 1/3 do conceito 5 e a ½ do conceito 4, segundo os critérios de avaliação do livro. Ele tem também um artigo Nacional A correspondente a 1/3 para o requisitado no conceito 4 e um artigo Nacional B que corresponde a 1/3 do exigido para o conceito 4. Juntos, os artigos correspondem a 2/3 do exigido para o conceito 3. A produção seria correspondente ao Conceito 4 pois há predomínio de produções nessa faixa de conceito. 5º. Exemplo: O docente apresenta um Capítulo de livro REGULAR que equivale a 1/3 do exigido para o conceito 3. Há também dois artigos Nacional B que correspondem a 2/3 do exigido para uma produção com conceito 3. Nesse caso, a produção seria equivalente ao exigido para o Conceito 3 pois as duas produções, em livro e artigo, se agregam nesse conceito.

15 6º. Exemplo: O docente apresenta um Capítulo de livro REGULAR que equivale a 1/3 do exigido para o Conceito 3. Há também dois artigos, um Nacional B que correspondem a 1/3 do exigido para uma produção com conceito 3, e Internacional C que equivale a 1/3 do exigido para o Conceito 5. Nesse caso, a produção seria equivalente ao exigido para o Conceito 3 pois a predomínios produções, em livro e artigo, nessa faixa de conceito. Com relação à Produção Técnica: 1. A qualificação da produção não avaliada dependerá da construção de indicadores específicos; 2. A definição desses critérios é premente dada a importância desta produção no quesito inserção social;