À Linda Ao Francisco e à Catarina

À Linda Ao Francisco e à Catarina i

Agradecimentos Realizar um trabalho como este implica empenhamento, concentração, rigor, e o acompanhamento e estímulo das pessoas que estão mais próximas. Na conclusão desta etapa da minha formação académica fico muito grato ao Professor Manuel Filipe Santos, orientador, amigo e solidário. Ao meu colega e amigo Pedro Gago, um agradecimento muito especial pelas ajudas, conselhos e disponibilidade incondicional que sempre demonstrou com um companheiro assim as coisas ficam e são mais fáceis. Não posso deixar neste momento de agradecer à minha esposa, mulher de M grande que suportou com paciência cada fase desta caminhada as minhas ausências e as minhas falhas. Muito Obrigado Linda. ii

Resumo Resumo A existência de bases de dados nas empresas nunca foi tão relevante como nos últimos anos, sendo fácil constatar a sua presença em qualquer projecto ou investimento desenvolvido. Uma base de dados poderá ainda ser considerada, como um repositório de conhecimento potencialmente relevante, mas escondido. De facto o seu conteúdo muitas vezes não é explorado em profundidade, pese embora existam numerosas actividades desenvolvidas sobre elas, como é o caso do marketing directo ou do marketing relacional. As diversas contribuições e trabalhos realizados no âmbito da exploração de bases de dados com recurso a procedimentos estatísticos e a processos de interrogação, têm-se revelado insuficientes pelo facto dos modelos desenvolvidos não captarem convenientemente o conhecimento implícito nem revelaram as acuidades desejáveis. As técnicas de Descoberta de Conhecimento em Bases de Dados surgem assim como alternativa a explorar, uma vez que apresentam características que permitem o estudo de problemas complexos, de difícil resolução através das abordagens mais convencionais, sendo por isso cada vez mais utilizadas nas diferentes áreas da gestão, em particular no marketing. Neste trabalho é apresentada uma proposta para a sistematização das actividades de Descoberta de Conhecimento em Bases de Dados como suporte às actividades de Business Intelligence, com aplicação concreta num caso na área da distribuição. iii

Abstract Abstract Databases have never been as relevant for organizations as they are nowadays. It is easy to see how widespread they are, being used in every project or investment. A database may also be seen as a repository for hidden but potentially useful knowledge. In fact, its contents are seldom thoroughly explored even though there are a number of activities like direct marketing that depend on the information in the database. Past approaches to database contents study by means of database queries or statistical procedures have been proven unsatisfactory as the resulting models often not only lack the ability to uncover the implicit hidden knowledge but also present low predictive accuracies. Thus, Knowledge Discovery in Databases techniques present an interesting alternative as they can be used on complex problems where the more conventional approaches usually fail and their use is growing especially in marketing. In this work a framework systematizing the Knowledge Discovery in Databases activities for Business Intelligent activities support is presented. This framework is show in action through a case study. iv

Abstract Conteúdo RESUMO...III ABSTRACT...IV ÍNDICE DE FIGURAS...XI ÍNDICE DE TABELAS...XIII ACRÓNIMOS E ABREVIATURAS...XIV ACRÓNIMOS E ABREVIATURAS...XIV 1 INTRODUÇÃO... 1 1.1 MOTIVAÇÃO... 6 1.2 OBJECTIVOS... 8 1.3 ORGANIZAÇÃO DA DISSERTAÇÃO... 10 2 BUSINESS INTELLIGENCE E DATABASE MARKETING... 13 2.1 BUSINESS INTELLIGENCE... 13 2.1.1 Definição... 14 2.1.2 Aplicações organizacionais de BI... 16 2.1.3 Formalização da actividade Business Intelligence... 17 2.1.4 Suporte tecnológico de BI... 19 v

Abstract 2.1.5 Sistemas de Apoio à Decisão... 21 2.2 DATABASE MARKETING... 24 2.2.1 Definição de Database Marketing... 25 2.2.2 Estrutura do Database Marketing... 26 2.2.2.1 Componente Operativa do DBM... 27 2.2.2.2 Componente Analítica do DBM... 28 2.2.3 Catalisadores e Obstáculos do Database Marketing... 33 2.3 BUSINESS INTELLIGENCE VERSUS DATABASE MARKETING... 36 3 DESCOBERTA DE CONHECIMENTO EM BASES DE DADOS... 39 3.1 INTRODUÇÃO... 39 3.2 HIERARQUIA DO CONHECIMENTO EM BASES DADOS... 40 3.3 PRINCÍPIOS DA DESCOBERTA DE CONHECIMENTO EM BASE DADOS... 41 3.4 FASES DO PROCESSO DE DCBD... 46 3.4.1 Exploração e Selecção de dados... 46 3.4.2 Pré-Processamento... 48 3.4.2.1 Tratamento de valores omissos... 49 3.4.2.2 Avaliação de excepções (outliers)... 50 3.4.2.3 Derivação de novos atributos... 51 3.4.2.4 Dispersão de valores... 51 3.4.2.5 Integridade da informação do registo... 53 3.4.2.6 Identificação de atributos duplicados e redundantes... 53 3.4.2.7 Identificação de inconsistências... 54 3.4.2.8 Identificação de ruído ou poluição dos dados... 54 3.4.2.9 Identificação de valores atribuídos por definição (defaults)... 54 3.4.3 Transformação dos dados... 55 3.4.3.1 Normalização dos Dados... 55 3.4.3.2 Discretização de atributos quantitativos em qualitativos... 56 3.4.3.3 Discretização de atributos qualitativos em quantitativos... 56 3.4.3.4 Transposição de tabelas... 57 vi

Abstract 3.4.4 Data Mining... 58 3.5 METODOLOGIAS DE DATA MINING... 60 3.5.1 CRISP-DM... 60 3.5.2 SEMMA... 61 4 PROBLEMAS E ABORDAGENS EM DATA MINING... 63 4.1 INTRODUÇÃO... 63 4.2 TIPOS DE OBJECTIVOS EM DATA MINING... 64 4.2.1 Previsão... 64 4.2.1.1 Classificação... 64 4.2.1.2 Regressão... 65 4.2.2 Descrição... 66 4.2.2.1 Segmentação... 66 4.2.2.2 Associação ou análise de dependências... 67 4.2.2.3 Sumariação... 67 4.2.2.4 Visualização... 67 4.3 MÉTODOS DE ABORDAGEM EM DATA MINING... 68 4.3.1 Regras de Associação Indução de regras... 69 4.3.2 Redes Neuronais... 74 4.3.3 Árvores de Decisão... 88 4.4 AVALIAÇÃO DOS RESULTADOS... 98 5 DM4DBM - PROPOSTA DE UMA METODOLOGIA DE DATA MINING PARA DATABASE MARKETING... 101 5.1 INTRODUÇÃO... 101 5.2 CARACTERÍSTICAS DAS ACTIVIDADES DE MARKETING... 102 5.3 SUPORTE ÀS ACTIVIDADES DE MARKETING COM MODELOS DE DATA MINING... 104 5.4 DATA MINING PARA DATABASE MARKETING... 106 5.4.1 Recolha de Informação... 108 5.4.1.1 Recolha de Dados... 108 5.4.1.2 Constituição da Base de dados de Marketing... 110 vii

Abstract 5.4.2 Extracção de Conhecimento... 112 5.4.2.1 Análise e Selecção dos Dados... 113 5.4.2.2 Pré-processamento e Transformação de Dados... 114 5.4.2.3 Modelação... 117 5.4.2.4 Exemplos de Aplicação em projectos de DCBD em Acções de Marketing... 118 5.4.3 Desenvolvimento de Acções de Marketing... 122 5.4.3.1 Medição dos Resultados e da Eficácia dos Modelos... 125 5.5 DM4DBM VERSUS CRISP-DM... 126 6 DATABASE MARKETING APLICADO À DISTRIBUIÇÃO... 131 6.1 INTRODUÇÃO... 131 6.2 (A) OBJECTIVOS DE NEGÓCIO E DE MARKETING... 134 6.2.1 (a1) Enquadramento... 134 6.2.2 (a2) Objectivos do Estudo e Abordagens Consideradas... 135 6.2.3 (a3) Recolha e Exploração dos Dados... 136 6.2.3.1 Avaliação dos dados internos disponíveis... 136 6.2.3.2 Importação e criação da BD inicial... 137 6.2.3.3 Filtragem e Limpeza de dados... 140 6.2.4 Constituição da Base Dados de Marketing... 141 6.2.4.1 Sistematização da Angariação de dados... 142 6.2.4.2 Selecção dos registos elegíveis... 142 6.3 (B)DESCOBERTA DE CONHECIMENTO EM BASES DADOS... 144 6.3.1 (b1) Compreensão dos dados... 144 6.3.2 (b2) Análise dos dados... 145 6.3.3 Pré-Processamento dos Dados (b3)... 146 6.3.4 (b4) Modelação... 164 6.3.4.1 Selecção de dados para treino... 164 6.3.4.2 Aplicação de Algoritmos... 165 6.3.5 (C) Desenvolvimento de Acções de Marketing... 179 viii

Abstract 6.3.6 (D) Discussão de resultados... 182 7 CONCLUSÕES E TRABALHO FUTURO... 185 7.1 SINOPSE... 185 7.2 CONCLUSÕES... 187 7.3 TRABALHO FUTURO... 189 ANEXO A... 192 8 METODOLOGIA CRISP-DM... 192 ANEXO B... 200 9 METODOLOGIA SEMMA... 200 ANEXO C... 203 10 PSEUDO CÓDIGO PARA TRANSPOSIÇÃO DE TABELAS... 203 ANEXO D...205 11 MODELOS DE DATA MINING: MODELO 1... 205 ANEXO E... 209 12 MODELOS DE DATA MINING: MODELO 2... 209 ANEXO F... 212 13 MODELO DE DATA MINING: MODELO 3... 212 ANEXO G...221 14 MODELO DE DATA MINING : MODELO 4... 221 ANEXO H...225 ix

Abstract 15 MODELO ENTIDADE RELACIONAMENTO DA BD... 225 ANEXO I... 230 16 DESCRIÇÃO DOS DADOS... 230 ANEXO J... 234 17 COMPREENSÃO DOS DADOS... 234 ANEXO K... 239 18 MODELO DE DADOS... 239 BIBLIOGRAFIA... 240 GLOSSÁRIO DE TERMOS... 255 x

Índice de Figuras Índice de Figuras FIGURA 1 MARKETING TRADICIONAL (ADAPTADO DE [DROZDENKO ET AL., 2002]). 3 FIGURA 2 - PROCESSO DE MARKETING RELACIONAL. 4 FIGURA 3 - ESTRUTURA DA DISSERTAÇÃO 10 FIGURA 4 SUPORTE TECNOLÓGICO DA ACTIVIDADE DE BUSINESS INTELLIGENCE 19 FIGURA 5 - BUSINESS INTELLIGENCE EM SISTEMAS DE APOIO À DECISÃO. 22 FIGURA 6- CONSTITUIÇÃO DO DBM [ADAPTADO DE [SIQUEIRA ET AL., 2002]). 27 FIGURA 7 - FASES DO PROCESSO DE DCBD (ADAPTADO DE [FAYYAD ET AL., 1996]). 43 FIGURA 8 - PERCENTAGEM DE TEMPO DESPENDIDO EM CADA FASE DO PROCESSO DE DCBD. 44 FIGURA 9 - RELAÇÃO ENTRE O NÚMERO DE MAILINGS E O NÚMERO DE RESPOSTAS. 45 FIGURA 10 REPRESENTAÇÃO DAS TABELAS INICIAS. 57 FIGURA 11 REPRESENTAÇÃO DA TABELA FINAL APÓS TRANSPOSIÇÃO. 57 FIGURA 12 METODOLOGIA CRISP-DM (ADAPTADO DE [CHAPMAN ET AL., 2000]). 61 FIGURA 13 METODOLOGIA SEMMA (ADAPTADO DE [SAS, 2005]). 62 FIGURA 14 MATRIZ PARA CLASSIFICAÇÃO (ADAPTADO DE [RODRIGUES, 2000]). 63 FIGURA 15 ESTRUTURA DO NEURÓNIO ARTIFICIAL (NODO) [QUINTELA, 2005]. 76 FIGURA 16 ESQUEMAS COM AS FUNÇÕES DE ACTIVAÇÃO. 77 FIGURA 17 REDE DE UMA SÓ CAMADA. 78 FIGURA 18 ARQUITECTURA DE UMA REDE FEEDFORWARD MULTICAMADA 79 FIGURA 19 ARQUITECTURA DE UMA REDE COMPETITIVA OU RECORRENTE. 79 FIGURA 20 PARADIGMA DE APRENDIZAGEM SUPERVISIONADA. 81 FIGURA 21 PARADIGMA DA APRENDIZAGEM NÃO SUPERVISIONADA. 81 FIGURA 22 REDE PERCEPTRON. 82 FIGURA 23 ESQUEMA DAS REDES DE KOHONEN [KOHONEN, 1989]. 87 FIGURA 24 EXEMPLO DE UMA ÁRVORE DE DECISÃO. 89 FIGURA 25 - ÁRVORE DE DECISÃO OBTIDA PELO ALGORITMO ID3. 94 FIGURA 26 - ENQUADRAMENTO DO DBM NA ORGANIZAÇÃO (ADAPTADO [HUGHES, 1995]). 102 xi

Índice de Figuras FIGURA 27 PROPOSTA DA METODOLOGIA DE DATA MINING PARA DATABASE MARKETING 107 FIGURA 28 RECOLHA DE INFORMAÇÃO DE FONTES DIVERSAS 111 FIGURA 29 - PROCESSO DE DCBD (ADAPTADO DE [FAYYAD ET AL., 1996]) 112 FIGURA 30 ORGANIZAÇÃO ACTIVIDADES PRÉ-PROCESSAMENTO E TRANSFORMAÇÃO DE DADOS 115 FIGURA 31 - RECOMPENSAS DA APLICAÇÃO DE DBM 123 FIGURA 32 PARALELISMO ENTRE AS METODOLOGIAS DM4DBM E CRISP-DM 128 FIGURA 33 - FLUXO DE INFORMAÇÃO RELATIVO AO PROJECTO DE MARKETING RELACIONAL 132 FIGURA 34 CRIAÇÃO DA BD INICIAL IMPORTAÇÃO DE DADOS 137 FIGURA 35 DUPLICAÇÃO NA CODIFICAÇÃO PARA O MESMO ATRIBUTO. 139 FIGURA 36 - REPRESENTAÇÃO ESQUEMÁTICA DA FORMAÇÃO DA BD DO PROJECTO. 146 FIGURA 37 - DISTRIBUIÇÃO APÓS A REDUÇÃO DE CLASSES 152 FIGURA 38 - TRANSPOSIÇÃO DA TABELA VALE PARA UMA NOVA TABELA CLIENTE-VALE. 153 FIGURA 39 REPRESENTAÇÃO DA TRANSPOSIÇÃO DAS TABELAS PERGUNTA E QUESTIONÁRIO. 154 FIGURA 40 - ORGANIZAÇÃO DOS DADOS DAS TABELAS QUESTIONÁRIOS E QUESTÕES. 155 FIGURA 41 - TABELA RESULTANTE DA TRANSPOSIÇÃO DAS TABELAS. 155 FIGURA 42 - DISTRIBUIÇÃO DE CASOS DENTRO DE CADA CLUSTER. 176 FIGURA 43 - CLUSTERS VS REBATE DE VALES. 178 xii

Índice de Tabelas Índice de Tabelas TABELA 1- RESULTADOS DE ACTIVIDADES DE DBM EM MARKETING 33 TABELA 2- EXEMPLIFICAÇÃO DE CODIFICAÇÕES DISTINTAS PARA O MESMO REGISTO. 47 TABELA 3- EXEMPLO DE TABELA DE FREQUÊNCIAS PARA O VALOR DE UM ATRIBUTO. 49 TABELA 4- CODIFICAÇÃO DISTINTA PARA O MESMO ATRIBUTO [PINTO ET AL., 2005]. 53 TABELA 5- ALGUMAS DAS TÉCNICAS DISPONÍVEIS PARA CADA TIPO DE PROBLEMA EM DM. 69 TABELA 6 - EVOLUÇÃO DO ALGORITMO ID3. 90 TABELA 7 - DADOS USADOS PELO ALGORITMO. 92 TABELA 8 - MATRIZ DE CONFUSÃO DE UM CLASSIFICADOR. 98 TABELA 9 - ACTIVIDADES DE DM APLICADAS A QUESTÕES DE MARKETING. 105 TABELA 10 EXEMPLOS DE APLICAÇÃO EM CASOS DE MARKETING 117 TABELA 11 - EXEMPLIFICAÇÃO DE CODIFICAÇÕES DISTINTAS PARA O MESMO REGISTO. 139 TABELA 12 INCONGRUÊNCIA NA CODIFICAÇÃO DO MESMO OBJECTO. 140 TABELA 13 - EXEMPLO DE VIOLAÇÃO DE DOMÍNIO NO ATRIBUTO SEXO. 141 TABELA 14 - CLASSIFICAÇÃO EM FUNÇÃO DO VOLUME DE QUESTIONÁRIOS E VALES. 143 TABELA 15 - CLASSIFICAÇÃO EM FUNÇÃO DA DIMENSÃO DA FAMÍLIA E ACESSÓRIOS CONFORTO. 143 TABELA 16 ATRIBUTOS UTILIZADOS NA MODELAÇÃO 144 TABELA 17 DOMÍNIO DOS ATRIBUTOS DE TRABALHO 145 TABELA 18 QUANTIDADE DE RESPOSTAS OBTIDAS PARA A QUESTÃO TÊM FILHOS? 149 TABELA 19 QUANTIDADE DE RESPOSTAS À QUESTÃO NÚMERO DE FILHOS? 149 TABELA 20 - RESPOSTAS ÀS QUESTÕES TÊM FILHOS E NÚMERO DE FILHOS 150 TABELA 21 - RESPOSTAS ÀS QUESTÕES APÓS COERÊNCIA DE DADOS. 151 TABELA 22 TABELA DE FREQUÊNCIA PARA O ATRIBUTO Nº FILHOS. 151 TABELA 23 - ESTABELECIMENTO DA RELAÇÃO CLIENTE VALE. 154 TABELA 24 TAXA DE REBATIMENTO DE CADA VALE EMITIDO. 158 TABELA 25 - DERIVAÇÃO DE NOVAS VARIÁVEIS. 159 TABELA 26 CLASSIFICAÇÃO DE CLIENTES. 160 TABELA 27 - ORDENAÇÃO DE CLIENTES EM FUNÇÃO DO VOLUME DE QUESTÕES RESPONDIDAS: 162 TABELA 28 NÚMERO DE CASOS POR CADA ESCALA DE CLASSIFICAÇÃO. 163 TABELA 29 RESULTADOS DA APLICAÇÃO DO ALGORITMO PARA DE INDUÇÃO DE REGRAS GRI. 170 TABELA 30 DISTRIBUIÇÃO DE INDIVÍDUOS PARA CADA CLUSTER. 177 xiii

Acrónimos e Abreviaturas Acrónimos e Abreviaturas AD BD BP BDM CRISP-DM CRM DCBD DM DW IA ODBC OLAP RNA RMFC SEMMA SGBD SQL W3C WWW Árvores de Decisão Base de Dados Back-Propagation Bases de Dados de Marketing Cross Industry Standard Process for Data Mining Customer Relationship Management Descoberta de Conhecimento em Base de Dados (Knowledge Discovery in Databases) Data Mining Data Warehouse Inteligência Artificial On-line DataBase Connectivity On-Line Analytic Processing Redes Neuronais Artificiais Redes Feedforward Multicamada Sample, Explore, Modify, Model, Assessement Sistema de Gestão de Base de Dados Structured Query Language World Wide Web World Wide Web xiv

Capítulo 1 Introdução Capítulo 1 1 Introdução O marketing é o conjunto de meios de que dispõe uma organização 1 para vender os seus produtos aos seus clientes com rendibilidade 2 [Angelmar et al., 1975]. O termo marketing surge da conjugação das palavra inglesas market e thinking, representando uma preocupação desta ciência em auxiliar as organizações na abordagem aos mercados [Bartels, 1976], [Angelmar et al., 1975]. Outros autores definiram o marketing como o conjunto dos métodos e dos meios de que uma organização dispõe para promover, nos públicos pelos quais se interessa, os comportamentos favoráveis à realização dos seus próprios objectivos" [Lindon et al., 2000]. A investigação realizada em torno da escolha de mercados-alvo ou da integração de funções como captação, manutenção e fidelização de clientes 3 por meio da criação, da entrega e da comunicação de um valor superior para o cliente, confere ao marketing um carácter científico [Kotler, 2002]. Na mesma linha de orientação, a American Marketing Association define o marketing enquadrado com as actividades de negócios das organizações que dirigem o fluxo de bens e serviços do produtor ao consumidor: é o processo de planeamento e execução da estratégia, estabelecimento do preço, promoção e 1 Uma organização consiste numa unidade social deliberadamente construída para alcançar objectivos específicos num determinado contexto social [Etzioni, 1980]. Considerando de modo igual uma empresa como uma unidade social organizada com objectivos, e tendo em atenção os objectivos deste trabalho, ambos os termos, organização e empresa, serão usados indiferentemente para designar o mesmo tipo de actividade. 2 A rendibilidade de um cliente em marketing traduz-se pelo retorno que a empresa obtém em resultado do seu investimento e.g., vendas realizadas ou resposta a acções de marketing. 3 Cliente indivíduo que, num espaço de tempo definido, tem por objectivo adquirir um bem ou um serviço [ Montcel, 1972]. 1

Capítulo 1 Introdução distribuição de ideias, produtos e/ou serviços, com vista a desenvolver os intercâmbios que irão satisfazer as necessidades dos indivíduos e organizações [AMA, 2005]. Num sentido mais lato é possível afirmar que o marketing consiste em gerir a relação entre uma empresa e os seus clientes, no sentido de atingir os objectivos dos primeiros satisfazendo as necessidades dos segundos. O conceito de marketing não é recente, havendo na sua prática e nos seus fundamentos um desenvolvimento ao longo dos anos, sendo possível identificar quatro períodos distintos na sua evolução [Rodrigues, 2000]: Produção: desde a revolução industrial, as organizações, em geral, enfatizavam a eficiência do processo produtivo. Existia uma premissa subjacente a esta filosofia: um bom produto venderá por si mesmo [Munhoz, 2005]; Vendas: a eficácia dos processos produtivos (equipamentos, tecnologias e recursos humanos) conduziu a uma optimização da capacidade produtiva oferta - e esta tornou-se superior à procura, pelo que as preocupações das organizações passaram a centrar-se nas vendas [Lindon et al., 2000]; Mercado: Os esforços de vendas, desenvolvidos e introduzidos no período anterior, necessitavam de uma adequação dos produtos aos mercados onde eram comercializados. Esta necessidade fez surgir nas organizações a preocupação de se orientarem para o mercado, para o seu conhecimento e mesmo, por algumas vezes, para a diversificação do tipo de produtos [Munhoz, 2005]; Cliente: o desenvolvimento exponencial da concorrência entre empresas, com a natural diferenciação dos seus produtos, promoveu a exigência nos consumidores 4, surgindo assim os denominados segmentos de mercado [Kotler, 2002]. O marketing 4 Consumidor indivíduo com informação do mercado de determinado(s) produto(s) ou serviço(s), com potencial de vir a tornar-se cliente [Montcel, 1972]. 2

Capítulo 1 Introdução centrado no cliente desenvolve estratégias de comunicação dirigidas a subconjuntos de consumidores com características comuns [Lindon et al., 2000]. Não obstante a evolução registada, as práticas do marketing tradicional eram todavia mais orientadas para o produto e para a transacção (Figura 1) do que para o cliente e para a relação com este. Na perspectiva da organização, a relação com o cliente resumiase à transacção de produtos ou serviços como meio a seguir para a obtenção dos seus objectivos (na maioria dos casos, o lucro), sendo a preocupação com o cliente apenas ao nível da satisfação das necessidades do momento [Drozdenko et al., 2002]. Figura 1 Marketing Tradicional (adaptado de [Drozdenko et al., 2002]). A constatação da insuficiência das abordagens expostas deu lugar a novas formas de pensar e agir, com as organizações a procurarem não só políticas de marketing mas antes políticas de relacionamento com os seus clientes o marketing relacional. O marketing relacional caracteriza-se por um fluxo significativo de comunicação entre a organização e o cliente (Figura 2), com o objectivo explícito de obter informação actualizada nas suas Bases de Dados (BD). Os meios privilegiados para o conhecimento dos seus clientes são tão diversos como, e.g., a imprensa, a Internet ou correspondência directa. Os dados entretanto registados actualizam os anteriores e são utilizados nas interacções subsequentes para uma optimização dos novos contactos, tendo em vista o reforço da relação entre a organização e os clientes. 3

Capítulo 1 Introdução Base de Dados Actualização e Análise da Base de Dados Media Mail Internet Telefone Outros Feedback Contacto do cliente Compra Uso do feedback recebido Contacto com as vendas Personalizar a relação com cliente Fornecer informação Cliente Figura 2 - Processo de Marketing Relacional (adaptado de [Drozdenko et al., 2002]). Alguns autores apresentam o marketing relacional como a evolução do marketing tradicional (cuja filosofia de desenvolvimento assenta em 4 Ps Place (Mercado), Promotion (Promoção), Product (Producto) e Price (Preço) [Kotler, 2002]), abrindo espaço para uma nova abordagem, com novas variáveis de acção, menos rígidas, em torno das quais são Fórmuladas as estratégias de marketing. Essas variáveis são [Schewe et al., 1995]: Sensibilidade ao consumidor Preocupação na qualidade do atendimento ao cliente; registo das respostas; cuidado no tratamento das reclamações, entre outros aspectos relacionados; Produto Definição das diferentes características do produto em função das necessidades e desejos dos consumidores; Conveniência do consumidor Tornar a oferta do produto num modo atractivo, apresentando-o em função da conveniência do consumidor (e.g., dimensão e tipologia das embalagens dos produtos); 4

Capítulo 1 Introdução Serviço Assegurar serviços ao longo da relação com o cliente, como sejam a prévenda (informações sobre detalhes e características dos produtos), assistência na venda (e.g., facilidades de pagamento ou de entrega) e pós-venda (serviço de manutenção e garantia dos produtos); Preço Definição da política de preços em função das empresas concorrentes e dos mercados onde são comercializados os produtos; Distribuição e acessibilidade Facilitar o acesso aos produtos em termos de locais de oferta (distribuição geográfica de pontos de venda ), prazos de entrega e acessibilidade (e.g., loja generalista ou especializada); Comunicação Utilização dos meios de comunicação em função do perfil dos consumidores (e.g., definição dos veículos publicitários) e dos clientes (e.g., envio de comunicações personalizadas). Este novo conceito de marketing, preocupado em conhecer e em compreender os mercados e os seus consumidores, expande a visão relativamente ao que representa um programa de marketing centrando-se o seu desenvolvimento na utilização das Tecnologias de Informação (TI) [Gonçalves et al., 2002] e, em particular, nas tecnologias orientadas para a utilização de BD [Drozdenko et al., 2002]. Entretanto, graças ao desenvolvimento tecnológico e à diminuição dos custos de armazenamento, as BD aumentaram em número (em qualquer departamento de uma qualquer empresa, o registo da sua actividade é guardado em BD) e no volume de registos guardados (e.g., a BD de clientes de uma cadeia de hipermercados é actualmente na ordem dos Terabytes), abrindo espaço para o aparecimento de uma abordagem sistemática na sua utilização, centrada no processo de preparação dos dados, que permitisse aumentar a confiança no resultado final [Linoff et al., 2000], [Han et al., 2001], [Gago, 2001]. Essa abordagem sistemática, integrando fases de préprocessamento dos dados e pós-processamento dos resultados, é denominada por 5

Capítulo 1 Introdução Knowledge Discovery in Databases (KDD), termo que neste texto é traduzido para Descoberta de Conhecimento em Bases de Dados (DCBD). A DCBD consiste numa série bem definida de passos que vão desde a preparação dos dados até à extracção de padrões sobre esses dados e à avaliação dos mesmos e é aqui apresentada como uma alternativa aos processos tradicionais de utilização de BD (e.g., processos clássicos de inferência estatística ou processos simples de interrogação a BD) para o suporte à definição de estratégias de marketing, uma vez que permitem o estudo/resolução de problemas mais complexos. 1.1 Motivação As actividades de marketing são muitas e diversas, permitindo o seu desenvolvimento em diferentes perspectivas e contextos variados. Contudo, na elaboração deste trabalho, assume particular relevância a utilização de BD no suporte às actividades de marketing no decorrer de acções de marketing relacional. Numa perspectiva científica, o marketing pode ser colocado entre as Tecnologias de Informação e a Gestão [Hughes, 1994], [Shepard, 1998], suportando a tese que o indica como uma das áreas de maior interesse para a aplicação de técnicas de DCBD [Linoff et al., 1997]. Como contributo para esta motivação adicione-se o facto de até ao momento serem desconhecidos casos de sucesso da aplicação desta metodologia em casos de marketing. A existência de BD na maioria das organizações é actualmente um facto inquestionável. Contudo, a sua utilização limita-se às abordagens tradicionais, sugerindo um enorme potencial ainda por explorar [Welge et al., 2001]. Alguns autores, perspectivando uma visão de futuro para o marketing apontam cinco vectores chave para o seu desenvolvimento [McKenna, 2002]: 6

Capítulo 1 Introdução Subestrutura digital - o novo paradigma tecnológico provoca mudanças em toda a cadeia produtiva [Zorrinho, 1991]. A estrutura digital auxilia a comunicação e facilita o acesso da empresa ao cliente e, vice-versa; Desaparecimento da fidelidade à marca a revolução digital estimulou a infidelidade às marcas [Lindon et al., 2000]. A facilidade de acesso à informação (em particular através da internet) tornou o consumidor mais pró-activo com maior volume de informação para poder decidir sobre a aquisição de determinado produto ou serviço; Redefinição do conceito de imagem face à necessidade de adaptação a mercados cada vez mais competitivos, a imagem da empresa ou dos seus produtos tornou-se dinâmica e perdeu o seu carácter mais estático [Lindon et al., 2000]. A imagem passou a ser definida pelos meios de comunicação e nas experiências interactivas com os consumidores; Alteração do papel do Cliente - O cliente deixou de ser um elemento passivo (simples consumidor) para se tornar num elemento activo (consome, analisa e reage) [McKenna, 2002] ; O marketing suportado nas tecnologias da informação são abundantes os indícios de convergência entre a área das tecnologias de informação e as actividades de marketing, e.g,. o marketing directo 5 [Lindon et al., 2000]. A dificuldade em conquistar e manter a fidelidade dos clientes gerou nas empresas a necessidade de adoptarem novas estratégias de relacionamento baseadas em sistemas de informação, que a operar na retaguarda, são capazes de registar toda a informação libertada durante a relação em BD [McKenna, 2002]. 5 O marketing directo pode ser considerado como uma ferramenta de comunicação de marketing utilizada para estabelecer o relacionamento directo entre as empresas e seus consumidores e prospects (tanto pessoas físicas quanto outras empresas) 7

Capítulo 1 Introdução O sistema aglutinador de um conjunto de ferramentas que viabilizam a obtenção, análise e manutenção de dados, possibilitando a obtenção da informação adequada, para a pessoa ideal, no tempo certo, denomina-se por Business Intelligence Systems (BIS) [Negash et al., 2003]. Aproveitar as funcionalidades e conhecimentos que o Business Intelligence (BI) proporciona não é apenas um factor de sucesso, mas essencialmente um factor de sobrevivência [Jackson, et al., 1997]. A expressão da prática do BI em contextos do marketing encontra reflexo nas actividades de utilização das BD de marketing com vista ao suporte e definição das estratégias estas actividades são definidas como processos de DataBase Marketing (DBM), os quais consideram não só as fases do BI como também prevêem a sua aplicação prática. A viabilização de um projecto de DBM depende essencialmente de dois factores: dos dados disponíveis e da sua exploração (suportada pelo processo de DCBD) [Shepard, 1998]. O DBM vem sendo apontado como a ferramenta que permite aos profissionais do marketing obter a informação necessária à formulação das suas estratégias [Shepard, 1998], [Hughes, 1994], [Jackson, et al., 1997], [Drozdenko et al., 2002]. Contudo verifica-se ainda, a falta de um processo sistematizado que explicite todas as fases e requisitos de informação em função dos objectivos estabelecidos e que formalize os modelos para uso posterior. 1.2 Objectivos Tendo sido constatada a ausência de uma metodologia ou um sistema explícito para o desenvolvimento de processos de BIS em marketing. Procura-se com este trabalho preencher esse vazio e apresentar uma sistematização de actividades de DCBD em actividades de BI, com uma aplicação prática na área do DBM. Esta sistematização permitirá uma abordagem eficiente e generalizada no âmbito do desenvolvimento de 8

Capítulo 1 Introdução projectos na área de DBM em diferentes acções de marketing, cujas características e requisitos mais importantes, são: Inclusão de processos de angariação e recolha de dados com vista à criação de BD de marketing, específicas em função dos objectivos de negócio previamente definidos; Função integradora das actividades de DCBD em processos de Marketing, com a consideração de tarefas específicas para o seu desenvolvimento; Alinhamento de técnicas de Data Mining (DM) com as actividades de marketing; Desenvolvimento das acções de marketing suportadas pelo conhecimento extraído em BD após determinação dos modelos de DM para as actividades em estudo; Estabelecimento de limites na utilização dos conceitos propostos na sistematização: a aplicação de acções de DBM varia consoante os objectivos de marketing propostos para o sistema; Caracterização das técnicas a utilizar em função dos objectivos de DCBD propostos. A principal contribuição da dissertação concretiza-se por: (i) propor um sistema para o desenvolvimento do processo de DBM que integre as técnicas de DCBD, e (ii) seguir os passos do sistema proposto no âmbito deste trabalho, demonstrando a sua adequação num contexto real aplicado ao sector da distribuição. A sistematização desenvolvida foi denominada como DM4DBM (Data Mining For Database Marketing) Este sistema é suficientemente genérico, podendo ser utilizado nas mais diversas diferentes áreas do marketing. O estudo de caso levado a cabo situa-se no domínio comercial (retalho), pretendendo-se aproveitar a oportunidade surgida de um caso real e uma vez que neste domínio se pode facilmente evidenciar a sistematização dos passos desenvolvidos e a sua aplicação prática. 9

Capítulo 1 Introdução 1.3 Organização da dissertação A dissertação, para além deste capítulo introdutório, apresenta mais cinco capítulos e um conjunto de anexos considerados de interesse, quer para o trabalho desenvolvido, quer para trabalhos futuros que sobre ele possam vir a ser desenvolvidos. 1. Introdução Revisão de Literatura 2. Business Intelligence Database Marketing 3. Descoberta Conhecimento em Bases de Dados A contribuição da dissertação 4. Metodologia IUBDM 5. Aplicação prática da metodologia IUBDM 6. Conclusões e Trabalho futuro Figura 3 - Estrutura da dissertação Num primeiro grupo (Figura 3), intitulado Revisão da literatura, composto pelos capítulos 2 e 3, existe a preocupação de contextualizar o trabalho desenvolvido quer analisando a posição dos diferentes investigadores da área quer fazendo uma exploração tecnológica da lacuna existente no domínio da DCBD em Marketing. Considera-se que só assim é possível atribuir valor ao trabalho presente. No capítulo 2 é realizada uma revisão da literatura numa abordagem prática aos conceitos de Business Intelligence e Database Marketing, referindo ambos os assuntos numa perspectiva tecnológica. 10