Autoria: George Alba, Fernanda Kraemer, Luiz Antônio Slongo

Transcrição

1 Panorama da Pesquisa Experimental em Marketing no Brasil Autoria: George Alba, Fernanda Kraemer, Luiz Antônio Slongo RESUMO Este estudo busca identificar o quanto a academia brasileira utiliza métodos experimentais na busca pelo avanço do conhecimento em marketing. Para tanto, foi realizada uma análise bibliométrica das publicações nacionais de maior prestígio na área de Administração, entre os anos 2000 e meados de totalizando dezoito periódicos. Os resultados indicam que a pesquisa experimental é concentrada em três estados (RS, RJ, SP) e em quatro universidades (UFRGS, UFRJ, USP, UFMG), com destaque para a UFRGS. Quanto aos veículos de publicação, apesar da liderança da RAUSP, não há grande concentração de artigos com experimentos em nenhum periódico. 1

2 1. Introdução Jacob Jacques Gelman alertou em 1971 que a pesquisa experimental, notável por suas contribuições ao desenvolvimento das ciências físicas e biológicas, pouca utilidade vinha oferecendo ao cientista social. De fato, até o início do século XXI, a importância do método experimental para a pesquisa em marketing no Brasil foi negligenciada. Gelman identificou que a dificuldade de aceitar o ceteris paribus do cientista físico, bem como o reconhecimento da influência da interação de diversos fatores no resultado final de qualquer fenômeno social, não permitia que o método experimental fosse utilizado para a compreensão desses fenômenos. Essa interpretação foi coerente no ano de 1971 e seria, pelo menos no Brasil, até os anos Depois dessa época, a utilização do método experimental em artigos de marketing começou a aparecer nos principais periódicos e eventos de Administração nacionais. Este fato, porém, não significou que os artigos que utilizaram esse método estavam sequer próximos do estado da arte em pesquisa experimental em marketing. A importância de pesquisas experimentais para a evolução do conhecimento na disciplina de marketing já foi ressaltada por diversos autores (HOLLOWAY; WHITE, 1964; RYALS; WILSON, 2005). Outros pesquisadores vão mais longe, afirmando que a realização de experimentos é fundamental para a produção científica, através da realização de descrições causais (SHADISH; COOK; CAMPBELL, 2001). Contudo, um rápido contato com publicações e eventos brasileiros da disciplina parece mostrar que tal concepção parece não estar sendo levada a cabo pelos pesquisadores nacionais. Dentre os diversos artigos publicados anualmente sobre o tema, poucos fazem uso de técnicas experimentais. Nesse ponto, surge um questionamento: como uma área de estudos, que possui a ambição de se tornar uma ciência, pode estar abrindo mão da utilização de um método de pesquisa que tanto teria a contribuir para a extensão da fronteira do conhecimento? Se estamos em busca do status de ciência, não seria necessário, então, que a comunidade acadêmica buscasse investir justamente em abordagens de pesquisa que estivessem mais próximas de uma lógica científica? Dessa forma, o presente estudo tem como objetivo identificar o quanto a academia brasileira está fazendo uso dos métodos experimentais na busca pelo avanço do conhecimento em marketing. Para atingir esse objetivo, foi realizada uma análise bibliométrica da produção científica nacional de marketing, em busca de artigos que façam uso de experimentos. 2. Revisão teórica A revisão teórica do presente artigo passa pela compreensão acerca da utilização do método experimental em marketing, utilização recomendada, vantagens e limitações. Através deste entendimento, acredita-se que será possível lançar um olhar crítico sobre quais fatores podem influenciar ou não os resultados encontrados na análise realizada Método experimental em marketing Royne (2008) descreve os designs de pesquisas experimentais como aqueles onde uma ou mais variáveis de interesse são manipuladas para gerar uma variação (geralmente designada como tratamento ). Assim, a força única da experimentação está em descrever as consequências que podem ser atribuídas à variação deliberada de um tratamento (descrição causal) (SHADISH; COOK; CAMPBELL, 2001). Neste tipo de método, os resultados são obtidos com base na 2

3 mensuração das diferenças entre as variáveis dependentes, que determinam qual tratamento causou cada efeito. Os experimentos, então, seriam recomendados para avaliar relações entre variáveis que foram identificadas em outros estudos como críticas. Dessa forma, enquanto surveys e análises de conteúdo, por exemplo, poderiam levantar hipóteses, os experimentos poderiam testar tais evidências (ROYNE, 2008). Amaldoss et al. (2008) ressaltam que o controle de variáveis independentes obtido na experimentação faz com que o método seja recomendado para a realização de claros testes de teoria. Assim, a realização de experimentos contribuiu para a solidificação teórica do campo de marketing, podendo permitir o teste de diversas suposiçõeschave para a área. Contudo, Aronson et al. (1990) ressaltam que, apesar do fato de que somente experimentos podem fornecer uma base adequada para o desenho de inferências causais, não há garantia de que sempre tais tipos de pesquisa sejam bem-sucedidas. Para Shadish, Cook e Campbell (2001), quando falamos de ciência, a realização de experimentos é, fundamental. Isso se deveria, basicamente, a quatro motivos: 1) muitas explanações causais são cadeias de descrições causais ligadas, onde um evento causa o próximo; 2) experimentos ajudam a distinguir entre a validade de teorias explanatórias competitivas; 3) alguns experimentos testam se um relação causal descritiva varia em força ou direção sob diferentes condições, e 4) alguns experimentos adicionam observações quantitativas e qualitativas sobre as ligações na cadeia explanatória (variáveis mediadoras) para gerar e estudar explanações para efeitos causais descritivos. A utilização de pesquisas experimentais em marketing é ressaltada no meio acadêmico desde os primórdios da disciplina. Em 1964, Holloway e White, publicaram um artigo no Journal of Marketing já ressaltando os benefícios que tal método pode trazer para os avanços teóricos na área. Para os autores, a necessidade do desenvolvimento de um corpo teoria em marketing já era flagrante, tanto para os acadêmicos quanto para os práticos da área. Boas teorias, por sua vez, seriam mais provavelmente obtidas através de métodos experimentais (mas não somente pelos mesmos), justamente devido ao controle de variáveis que pode ser alcançado neste tipo de pesquisas. Para estes autores, a área de pesquisas sobre o comportamento do consumidor se destcava por ser aquela que mais poderia tirar proveito de abordagens experimentais. Em 1996, Kardes escreveu uma espécie de manifesto no Journal of Consumer Psychology, defendendo a utilização de pesquisas experimentais na área de psicologia do consumidor. Para o autor, o método experimental vinha sido excessivamente criticado pelos pesquisadores, principalmente pela utilização de ambientes artificiais e estudantes como amostra. Kardes argumenta que, em paralelo, pesquisas realizadas em ambientes naturais vinham sendo excessivamente valorizadas, não tendo seus pontos negativos levados em consideração. Kardes argumenta que observações realizadas em ambientes podem levar a conclusões equivocadas, baseadas no que o autor chama de correlações ilusórias. Assim, análises realizadas em um formato que não o experimental podem fazer com que crenças pré-existentes nos pesquisadores levem a conclusões precipitadas, com uma validade muitas vezes exagerada. Consequentemente, uma vantagem que os experimentos apresentam sobre os demais métodos de pesquisa reside justamente na possibilidade de distinguir melhor o que são percepções pessoais dos cientistas do que são fatos e correlações realmente existentes. Dessa forma, Kardes (1996) sugere a necessidade de que se trabalhe no sentido de derrubar os mitos existentes acerca dos métodos experimentais, para que este tipo de pesquisa passe a ser mais utilizada tanto por diferentes profissionais da área. Justamente por lidar com informações mais palpáveis, os experimentos seriam um gênero de pesquisa cujos retornos 3

4 poderiam beneficiar tanto cientistas (que tendem a preferir dados mais complexos e abstratos, mas ricos em aplicação) quanto práticos da disciplina. A importância da utilização de métodos experimentais, assim como uma tendência no crescimento do seu uso, também foi apontada por Wyner (1997), especialmente pela possibilidade de gerar insights de uso prático, devido ao caráter sistemático e rigoroso característico da abordagem. Além disso, experimentos auxiliariam a responder perguntas críticas para decisões estratégicas e táticas. Dessa forma, o design experimental poderia mensurar qual, dentre uma série de alternativas pré-definidas, seria aquela que deveria ser seguida. Contudo, parece que as previsões de Kardes (1996) e Wyner (1997) não foram totalmente cumpridas. Segundo Ryals e Wilson (2005), os métodos experimentais possuem pouca penetração nas pesquisas de mercado, voltadas para a prática de marketing. Segundo ele, os pesquisadores de mercado não estariam totalmente desinformados sobre esse tipo de abordagem, mas ainda a restringiriam a sua utilização a áreas como a de pesquisa sobre o efeito de publicidade e propaganda, por exemplo. Assim, estaria destacada a necessidade de que os profissionais de marketing passassem a ampliar seus conhecimentos sobre métodos de pesquisa. Afinal, nem todas as perguntas poderiam ser respondidas com surveys e focus groups. A concepção de que a utilização de pesquisas experimentais tem estado aquém do ideal também é compartilhada por Amaldoss et al. (2008), que destacam as contribuições que o método pode trazer para a disciplina, na teoria e na prática, principalmente no campo de tomadas de decisões estratégicas. 3. Método de pesquisa O método de pesquisa utilizado neste trabalho é bibliométrico, buscando aspectos quantitativos da produção científica sobre a utilização de experimentos em pesquisas na área de marketing. Gil (2008) explica que a pesquisa bibliométrica é desenvolvida de acordo com material já elaborado mediante a utilização de termos-chave. Para corroborar, Guedes e Borschiver (2005) explicam que a bibliometria é um conjunto de leis e princípios que contribuem para estabelecer fundamentos teóricos da ciência da informação. Diante do presente problema de pesquisa, as fontes de dados utilizadas foram os periódicos nacionais de Administração, classificados pela CAPES como B3 ou superior, os Anais dos Enanpads e dos Encontros de Marketing da Anpad a partir do ano Os artigos foram selecionados por meio de busca dos termos experimento ou experimental localizado no título, resumo ou palavras-chave. O processo de análise dos artigos constituiu-se da verificação dos elementos metodológicos básicos de investigações utilizando experimentos, que refletem a qualidade científica de uma pesquisa. As variáveis avaliadas para cada artigo selecionado foram as seguintes: Periódicos e encontros; Ano de publicação; Autores; Universidades; Número de experimentos por artigo; Delineamento do experimento (within-subjects/between-subjects); 4

5 Categoria. Este trabalho se caracteriza por ser um estudo descritivo com abordagem quantitativa. Gil (2008) relata que as pesquisas descritivas têm por objetivo básico descrever as características de determinado fenômeno, neste caso a produção científica de marketing brasileira com a utilização de experimentos. 4. Apresentação e análise dos resultados O capítulo de apresentação e análise dos resultados divide-se em cinco segmentos: 1) evolução histórica; 2) veículos de publicação; 3) autores mais produtivos; 4) universidades mais produtivas; e 5) categorização e delineamento dos experimentos. Para fins de contagem, caso um mesmo artigo tenha sido publicado nos Anais de um dos dois encontros e também em um dos periódicos, foi considerada apenas a publicação no periódico Evolução histórica Em 1971, Jacob Jacques Gelman, em um artigo publicado na Revista de Administração de Empresas (RAE), afirmava que pouco se tinha feito para incrementar a utilização de experimentos em marketing. Para ele, o desconhecimento da importância do método experimental bem como das técnicas estatísticas necessárias para sua aplicação e posterior análise, por parte do homem de marketing encontravam-se entre as principais razões para essa atitude. Apesar dessa constatação de Gelman, nos 30 anos seguintes a publicação do artigo, a utilização de experimentos em estudos de marketing no Brasil foi praticamente inexplorada. Ao buscar artigos de marketing em periódicos nacionais que utilizaram o método experimental anterior ao ano de 2000, se verificou que apenas dois artigos tinham sido publicados, ambos na Revista de Administração da Universidade de São Paulo (RAUSP). Um dos artigos foi publicado pelo professor Paulo Cesar Motta da PUC-RJ em 1989 e o outro pelo professor Silvio Popadiuk da USP em Sendo assim, a publicação científica de marketing com a utilização de experimentos pode ser considerada recente no Brasil. A partir do ano 2000 as pesquisas que utilizaram o método experimental na área de marketing começaram a se tornar mais frequentes. Desde então, somam-se 60 artigos publicados, considerando-se os periódicos de administração com avaliação igual ou superior a B3 pela Capes e os Anais do Enanpad e do EMA. Como pode ser verificada no gráfico, a produção científica em marketing utilizando experimentos não foi bem distribuída no período analisado. Juntos, os anos 2004 e 2010, com 14 e 16 artigos respectivamente, são responsáveis por 50% da produção total neste período e a média anual dos outros anos é cerca de três artigos, o que pode ser considerado baixo. Um fator que pode indicar esses picos de publicação é a realização dos Encontros de Marketing da Anpad nos anos de 2004, 2006, 2008 e Os anos de 2008 e 2006 têm sete e cinco artigos, respectivamente, indicando que a presença desses encontros contribuiu para que mais com essa abordagem metodológica fossem publicados. Figura 1 - Número de artigos publicados por ano nas publicações analisadas 5

6 4.2. Veículos de publicação Foram analisados neste quesito, dezoito periódicos da área de Administração classificados como B3 pelo sistema Qualis da Capes, disponível no portal da internet da Capes em junho de Foram também analisados Anais do Enanpad de 2000 até 2010 e os quatro Encontros de Marketing da Anpad (EMA) realizados em 2004, 2006, 2008 e A produção brasileira científica de marketing com a utilização de experimentos não é concentrada em nenhum grupo específico de periódicos. A Revista de Administração da Universidade de São Paulo (RAUSP) é a que possui maior presença de artigos de Marketing com utilização de experimentos, totalizando quatro no período analisado (tabela 1). Além disso, ela é a única que publicou experimentos no período anterior a 2000, com dois artigos (1989 e 1993). O Encontro da Anpad (Enanpad), realiza-se anualmente, no mês de setembro e é hoje o maior evento da comunidade científica e acadêmica de administração no país, constituindo-se no principal fórum acadêmico da área (VIEIRA, 1998). Especificamente, na área de marketing, o Encontro de Marketing da Anpad EMA é considerado, desde a sua criação em 2004, um veículo de disseminação acadêmica em marketing consolidado. O Enanpad possui mais artigos de marketing com experimentos, entretanto o EMA tem uma média de artigos publicado por encontro maior (tabela 2). Tabela 1 - Distribuição da produção científica de marketing com experimentos PERIÓDICO QUALIS ARTIGOS Revista de Administração da Universidade de São Paulo (RAUSP) B2 4 Revista de Administração Contemporânea (RAC) B1 3 Revista de Administração Contemporânea - eletrônica (RAC-e) B1 2 Revista de Administração de Empresas - eletrônica (RAE-e) B1 2 Revista de Administração Mackenzie (RAM) B1 2 6

7 Revista de Gestão (REGE) B3 2 Revista de Negócios (RN/FURB) B3 2 Brazilian Administration Review (BAR) A2 1 Revista de Administração Pública (RAP) A2 1 Revista de Administração e Contabilidade da Unisinos (BASE) B2 1 Revista Eletrônica de Administração (REAd) B2 1 Revista Eletrônica de Gestão Organizacional (GESTAO.ORG) B3 1 Revista Brasileira de Gestão de Negócios (RBGN) B3 1 Cadernos EBAPE.BR B1 0 Revista de Administração de Empresas (RAE) B1 0 Brazilian Business Review (BBR) B2 0 Revista de Administração FACES Journal (FACES) B3 0 Revista de Administração e Inovação (RAI) B3 0 TOTAL 23 Tabela 2 Média de artigos por encontro ENCONTRO ARTIGOS % Nº DE ENCONTROS MÉDIA POR ENCONTRO EMA (2004, 2006, 2008 e 2010) 14 37,8% 4 3,50 ENANPAD (2000 a 2010) 23 62,2% 11 2,09 TOTAL % 15 2, Autores mais produtivos No período analisado, foram publicados 60 artigos de marketing com utilização de experimentos no Brasil, totalizando 154 co-autorias e 124 autores diferentes. A média de autores por artigo publicado é 2,6, sendo que 50% dos artigos foram desenvolvidos por dois pesquisadores. Tabela 3 Número de autores por artigo Nº DE AUTORES ENCONTROS PERÍODICOS ARTIGOS % UM ,3% DOIS ,0% TRÊS ,0% QUATRO ,7% CINCO ,3% SEIS ,7% TOTAL % Foram identificados sete autores com produção igual ou superior a três artigos no período, com destaque para o professor Marcos Gonçalves Ávila (Coppead/UFRJ) com um total de sete artigos diferentes. O PPGA/UFRGS também se destaca, com a participação de três autores nesse grupo. Foi realizada uma classificação dos autores mais produtivos, sendo que, em caso de mesmo número de artigos publicados, o critério de desempate utilizado foi o número de artigos 7

8 publicados em periódicos. Como se podem observar na tabela 4, sete pesquisadores foram responsáveis por 26 artigos diferentes, indicando uma concentração de 43% da produção científica experimental total em um pequeno grupo de autores. Tabela 4 Autores mais produtivos POS AUTORES MAIS PRODUTIVOS ARTIGOS PERIÓDICOS ENCONTROS 1º Marcos Gonçalves Ávila (COPPEAD/UFRJ) º Francine da Silveira Espinoza (PPGA/UFRGS)² º Cristiane Pizzutti dos Santos (PPGA/UFRGS)¹² º Celso Augusto de Matos (CEPEAD/UFMG)² º Daniel Von Der Heyde Fernandes (PPGA/UFRGS)¹² º André Torres Urdan (EAESP/FGV) º Danielle M. de Oliveira Arruda (PPGA/UNIFOR) ¹ Esses autores possuem dois artigos em co-autoria ² Esses autores estavam vinculados à universidade em parênteses no período de publicação dos artigos, entretanto não estão mais vinculados a estas instituições Universidades mais produtivas Ao analisar as instituições nas quais os 60 artigos de marketing com utilização de experimentos foram produzidos, foram encontradas dezenove organizações diferentes. No caso de artigos com a participação de autores de diferentes universidades, o critério de desempate utilizado foi o maior número de co-autores de uma instituição. Em caso de empate, a universidade na qual o primeiro autor estava vinculado na data de publicação do artigo recebeu a autoria. Para fins de classificação das universidades mais produtivas, foram considerados os mesmos critérios utilizados no segmento anterior para a classificação dos autores mais produtivos. Em caso de empate no número de artigos publicados e artigos publicados em periódicos, o número de co-autorias foi utilizado para desempatar as universidades. Tabela 5 Universidades mais produtivas POS UNIVERSIDADE ARTIGOS PERIÓDICOS ENCONTROS CO-AUTORIAS 1º UFRGS º UFRJ º USP º UFMG º EBAPE/FGV º EAESP/FGV º UFPE º UNISINOS º UNIFOR º PUC-RS º UNB º UFBA º UFMS

9 14º UFPR º UFSC º UFSM OUTRAS TOTAL A UFRGS é a instituição mais produtiva no desenvolvimento de artigos de marketing com utilização de experimentos, com ¼ da produção total. A UFRGS, em conjunto com a UFRJ, a USP e a UFMG, detêm a autoria de mais da metade dessa produção (55%), e as nove universidades mais produtivas detêm a autoria de 80% dessa produção, o que indica alta concentração na utilização do método experimental. Outro ponto interessante, quando se separou a publicação por estados, é que a concentração se torna ainda mais acentuada. Os estados do Rio Grande do Sul, Rio de Janeiro e São Paulo detêm 70% da produção científica em marketing com a utilização de experimentos. Tabela 6 Distribuição por estados ESTADO ARTIGOS % CO-AUTORIAS % RS 21 35,0% 58 37,7% RJ 11 18,3% 24 15,6% SP 10 16,7% 23 14,9% MG 5 8,3% 8 5,2% PE 3 5,0% 8 5,2% CE 3 5,0% 12 7,8% DF 2 3,3% 4 2,6% SC 1 1,7% 5 3,2% PR 1 1,7% 5 3,2% MS 1 1,7% 2 1,3% BA 1 1,7% 3 1,9% ESTRANGEIRO 1 1,7% 2 1,3% TOTAL % % 4.5. Categorização e delineamento experimental dos artigos A demanda específica de cada pesquisa exige diferentes delineamentos. Nesse aspecto, os artigos podem ser classificados como within-subjects (intrassujeitos), between-subjects (entressujeitos) ou mistos (utilização das duas abordagens). A tabela 7 apresenta o delineamento dos experimentos da produção científica nacional de marketing. Tabela 7 Delineamento dos experimentos DELINEAMENTO ENCONTROS PERIÓDICOS ARTIGOS % BETWEEN-SUBJECTS ,3% WITHIN-SUBJECTS ,7% MISTO ,0% 9

10 TOTAL % A tabela 8 abaixo indica a categoria dos artigos nacionais de marketing utilizando experimentos de acordo com o tema de pesquisa. As categorias foram deduzidas de acordo com análise dos artigos, sendo baseadas nos grandes temas de interesse da área de marketing da Anpad. A distribuição entre as categorias pode ser considerada bastante equilibrada. Tabela 8 Categorização dos artigos CATEGORIA ENCONTROS PERIÓDICOS ARTIGOS % PRODUTOS E MARCAS ,3% PREÇO ,7% COMUNICAÇÃO E PUBLICIDADE ,0% AMBIENTES DE COMPRA/CONSUMO ,3% SATISFAÇÃO, LEALDADE E ,7% RELACIONAMENTOS TOTAL % 5. Avaliação geral da pesquisa experimental em marketing no Brasil Na contramão de periódicos internacionais como o Journal of Consumer Research e o Journal of Marketing Research, que publicam mais constantemente artigos de marketing utilizando experimentos, as publicações brasileiras apresentam características bem destoantes no que tange ao número de experimentos por artigo, nível de descoberta e perspectiva de análise. Enquanto os artigos internacionais têm de três a cinco experimentos cada, os artigos nacionais possuem apenas um experimento, com exceção de dois artigos com dois experimentos cada. Principalmente na última década, os revisores dos periódicos internacionais têm valorizado artigos com descobertas contraintuitivas, ou seja, proposições que não parecem prováveis se analisarmos intuitivamente sob os pressupostos teóricos. No editorial de junho de 2001 do Journal of Consumer Research, o editor David Glen Mick indicava que as pesquisas utilizando experimentos deveriam preocupar-se em encontrar evidências contraintuitivas e surpreendentes sobre um fenômeno ou comportamento frequentemente observado na vida diária do consumidor. Apesar da revisão teórica dos artigos nacionais ser mais extensa do que a dos artigos internacionais, ela não tem credenciado os autores para serem capazes de obter descobertas contraintuitivas. Em sua absoluta maioria, os experimentos dos artigos brasileiros de marketing tratam de uma perspectiva de análise mais ampla que os artigos estrangeiros, que normalmente analisam aspectos bem específicos do comportamento do consumidor. Esse é um importante motivo pelo qual os pesquisadores brasileiros parecem não estar aptos a publicar artigos com experimentos nos periódicos mais importantes da área, inclusive internacionalmente. A combinação dessas três principais diferenças entre os artigos utilizando experimentos no Brasil e nos periódicos estrangeiros produz uma série de consequências para a qualidade dos artigos nacionais. Primeiro, ao utilizarem apenas um experimento em suas pesquisas, os autores perdem a oportunidade de testar explicações alternativas para os achados do primeiro experimento e gerar avanços teóricos significativos sobre um determinado fenômeno. Além disso, para que as evidências contraintuitivas possam surgir, é necessário que se desafie o estado 10

11 da arte da teoria, e para tal, é importante que os pesquisadores dominem os pressupostos teóricos com os quais estão trabalhando. Não menos importante, é necessário que os pesquisadores de marketing que ensejam figurar com artigos utilizando experimentos nos periódicos mais importantes da área tenham consciência de que, quanto mais focada a abordagem dos fenômenos de consumo, maiores são suas chances de obterem avanços teóricos, de proporem explicações alternativas e consequentemente, de encontrarem resultados contraintuitivos. 6. Referências ALMADOSS, W.; HO, T. H.; KRISHNA, A.; CHEN, K. Y.; JAIN, S.; LIM, N.; OPREA, R.; SRIVASATAVA, J. Experiments on strategic choices and markets. Marketing Letters, n. 19, p , ARONSON, E.; ELLSWORTH, P.; CARLSMITH, J.; GONZALEZ, M. Methods of research in social psychology. Reading, MA: Addison-Wesley, Second Edition, GELMAN, J. J. Pesquisa experimental: um instrumento para decisões mercadológicas. Revista de Administração de Empresas, v. 11, n. 2, p , GIL, A. C. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, GUEDES, V. L. S.; BORSCHIVER, S. Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento, em sistemas de informação, de comunicação e de avaliação científica e tecnológica. In: Encontro Nacional de Ciências da Informação, 6., Salvador/BA, junho de HOLLOWAY, R.; WHITE, T. Advancing the experimental method in marketing. Journal of Marketing, v.1, n.1, p. 25-9, feb KARDES, F. In defense of experimental consumer psychology. Journal of Consumer Psychology, v. 5, n.3, p , 1996 MEDEIROS, J. B. Redação científica: a prática de fichamentos, resumos, resenhas. São Paulo: Atlas, p. MICK, D. G. From the editor. Journal of Consumer Research, v. 28, n. 1, p. 3-7, MOTTA, P. C. Dimensões subjacentes para definição e discriminação de produtos. Revista de Administração da Universidade de São Paulo - RAUSP, v. 24, n. 4, p , POPADIUK, S. O processo de envolvimento na compra de um produto. Revista de Administração da Universidade de São Paulo - RAUSP, v. 28, n. 2, p , ROYNE, M. Cautions and concerns in experimental research on the consumer interest. The Journal of Consumer Affairs, v. 42, n.3, p , RYALS, L.; WILSON, H. Experimental methods in market research - From information to insight. International Journal of Market Research, v. 47, n. 4, p , SHADISH, W.; COOK, T.; CAMPBELL, D. Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin,

12 VIEIRA, F. G. D. Por quem os sinos dobram? Uma Análise da Publicação Científica na Área de Marketing do ENANPAD. In: Enanpad, 22º, 1998, Foz do Iguaçu. Anais... Foz do Iguaçu: Anpad, WYNER, G. A. Experimental design. Marketing Research: A Magazine of Management & Applications, v. 9, n. 3,