Título Canalização e Visualização de dados em Data Warehouse para Call Centers

Transcrição

1 Título Canalização e Visualização de dados em Data Warehouse para Call Centers Edgar Alexandre Gertrudes Guerreiro Dissertação para obtenção do Grau de Mestre em Engenharia Informática e de Computadores Júri Presidente: Prof. José Tribolet Orientadora: Prof. a Helena Galhardas Vogal: Prof. a Maribel Alves Setembro de 2008

2

3 Resumo A crescente exigência dos clientes ao interagirem com as organizações, bem como o aumento das pressões competitivas entre elas, leva a que se procurem soluções que optimizem os seus processos de negócio. Uma organização onde este facto ganha especial relevo é o Call Center. Ao lidar diariamente com um grande número de clientes, gera-se uma enorme quantidade de dados, que têm de ser rapidamente analisados de um modo correcto, para que continuamente se possam melhorar as operações, quer seja na redução de custos ou no aumento da qualidade dos serviços prestados. Nesta tese é descrito o processo de optimização de um processo de Extracção, Transformação e Carregamento (ETL) de dados, a criação de uma componente de visualização de dados (dashboards) que providencie aos actores do Call Center informação de um modo facilitado e simples e o desenvolvimento de um cubo OLAP sobre o modelo multidimensional de um sistema de Business Intelligence (BI). Estes módulos foram desenvolvido no âmbito de um sistema de BI enquadrado num projecto da Link Consulting, CCDM (Call Center Data Mart) que visa facilitar os processos de tomada de decisão nos call centers. Com os módulos criados, avaliaram-se os processos de ETL, para aferir da performance da solução criada e sua adaptabilidade aos requisitos do negócio. Devido às métricas de benchmark serem ainda escassas neste tipo de processos, procurou-se usar frameworks genéricas, que avaliam o sistema criado como um todo. Com esta avaliação, foi possível ainda estudar a robustez da ferramenta usada na criação destes processos (Microsoft Integration Services). Palavras-chave: Call Center, Business Intelligence, ETL, Dashboards, Microsoft Integration Services. i

4 Abstract The growing demand of customers in their interactions with organizations, as well as the growing competition between these organizations, leads the search for solutions capable of optimizing the organizations business processes. One of these organizations where this fact is especially relevant is the Call Center. By daily dealing with a great number of clients, a huge amount of data is generated. This data has to be rapidly and thoroughly analyzed, so that operations can be improved, by reducing costs or by improving service quality. In this master thesis is described the process of optimizing a extraction, transformation and load process (ETL), the creation of the components responsible for the presentation of the information (dashboards) and the development of an OLAP cube, that retrieves data from the multidimensional model of a Business Intelligence (BI) system. These modules were created on a BI system developed by Link Consulting called CCDM (Call Center Data Mart) which had the objective of facilitate the decision making at the call centers. With al the modules created, the ETL processes were evaluated, to determine their performance and adaptability to the business requirements. Due to the fact that benchmark tests, are still very limited to ETL processes, we opted for the use of generic frameworks, that evaluated the system created as a whole. With this evaluation it was still possible to study the adaptability of Microsoft Integration Services in creating these type of processes. Keywords: Call Center, Business Intelligence, ETL, Dashboards, Microsoft Integration Services. ii

5 Agradecimentos Embora uma tese de mestrado seja, na sua essência, um trabalho individual, existem contributos e apoios que não podem deixar de ser referidos. Aproveito, assim, esta oportunidade para expressar os meus mais sinceros agradecimentos: Antes e acima de todos, à minha irmã, que apesar de ser uma espectacular e ocupada estudante de direito, sempre se disponibilizou para me ajudar na melhoria do conteúdo da minha tese, através de constantes leituras e sugestões, e sem as quais possivelmente não conseguiria ter terminado esta tese dentro do prazo estipulado. À professora Helena Galhardas, pela sua orientação e disponibilidade demonstradas ao longo da duração da tese. É imprescindível destacar o seu constante esforço, através de críticas construtivas e várias sugestões, de forma a que desse de mim o meu melhor e construísse a melhor tese possível, que na minha opinião excederam em muito aquilo que lhe era exigido. Mesmo nos momentos em que me era mais difícil ter reuniões presenciais, a professora encontrou sempre maneiras de continuar a orientar-me de uma forma, que apenas posso classificar como soberba. Enquanto orientadora desta tese, penso sinceramente que não poderia ter feito uma melhor escolha. Ao Engenheiro João Damásio, Director da unidade de CRM & Business Intelligence da Link Consulting e co-orientador, pela excelente forma como me enquadrou na equipa de trabalho, bem como na sua disponibilidade para discutir formas de estruturar o meu trabalho e constante preocupação em que os meus resultados fossem os melhores possíveis. À espectacular equipa da Link Consulting, especialmente à unidade de Business Intelligence, que me acolheu de uma forma soberba e que sempre esteve pronta para me ajudar e contribuir para a melhoria do meu trabalho, bem como providenciar um ambiente de trabalho que penso será difícil igualar em qualquer emprego futuro que venha a ter. À minha família, pela sua ajuda nos momentos mais difíceis, por me fazer procurar em mim o melhor, me motivar, e sem a qual seria completamente impossível ter terminado o trabalho. Lisboa, 30 de Setembro de 2008 Edgar Alexandre Gertrudes Guerreiro iii

6 Índice Resumo Abstract Agradecimentos Lista de Figuras Lista de Tabelas Lista de Acrónimos i ii iii ix x xi 1 Introdução Motivação Os Sistemas de Business Intelligence (BI) Extracção, Transformação e Carregamento de dados - ETL Data Warehouse e Data Marts Cubo OLAP Data Mining Relatórios e Dashboard Objectivos Tecnologias Existentes Tecnologia usada e Metodologia Metodologia Seguida Contribuições Organização da Tese Trabalho Relacionado Ferramentas de BI para Call Centers Características das Ferramentas Classificação das Ferramentas de BI para Call Centers Benchmark em Fluxos de ETL Metodologia ETL Difusão Estrutura de dados de Controlo na Difusão Integração a Fase - Junções dos campos das tabelas do ODS em vistas a Fase - Agrupamentos e Cálculos a Fase - Carregamento dos dados nas tabelas do modelo multidimensional Estrutura de dados de Controlo na Integração iv

7 3.3 Relatórios de Controlo Indicadores e Dashboards Indicadores de Negócio Modelo Multidimensional Cubo OLAP criado a partir do modelo multidimensional Dashboards Considerações sobre os Dashboards Actores dos Dashboards Prototipagem dos Dashboards Primeiro protótipo em Microsoft Sharepoint 2005 Services Protótipo em Microsoft Sharepoint 2005 Services usando dados do modelo multidimensional Validação Experimental Conjunto de dados utilizado Configuração do ambiente de testes Fluxo ETL do trabalho desenvolvido Testes de Eficácia da solução de ETL Eficácia na robustez da solução - Percentagem de workflows ETL retomados com sucesso após uma falha Testes de Eficiência da solução de ETL Tempo de execução da solução Carga adicional de recursos consumidos durante a execução da solução Considerações sobre a solução de ETL desenvolvida Conclusão Trabalho Futuro Referências 69 7 Anexo - Conteúdo das fontes de dados Fontes de Dados - CCS Fontes de Dados - uci Fontes de Dados - Gespluri (WFM) Anexo - Indicadores de Negócio Indicadores de Chamadas Inbound Indicadores de Tempos (Times) Indicadores de Agentes Indicadores de Campanhas Indicadores de KPI s v

8 8.6 Indicadores Financeiros Indicadores de Chamadas Outbound Anexo - Vista F_Times_uCI_V Anexo - Vista F_Times_uCI_V Anexo - Difusão das fontes de dados CCS Dashboards Anexo - Modelos Dimensionais 91 vi

9 Lista de Figuras 1.1 Arquitectura típica de BI Metodologia de Data Warehousing proposta por Ralph Kimball Características distintivas entre as ferramentas de BI analisadas Borboleta genérica de um workflow ETL Arquitectura do sistema CCDM Metodologia do processo de ETL seguida Fases da etapa de Integração Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Times_uCI Estrutura das tabelas de controlo usadas na Difusão Tuplo da tabela CTRL_Diffusions Interligação das várias fontes de dados usadas para criar a vista com todos os dados relevantes que vão popular a tabela F_Times Expressão algébrica que traduz um Inner Join Expressão algébrica que traduz um Inner Join entre as tabelas uci_thread e uci_data_context Expressão algébrica que traduz um Outer Join Expressão algébrica que traduz um Left Outer Join Expressão algébrica que traduz um Right Outer Join Expressão algébrica que traduz um Outer Join entre as tabelas uci_thread e uci_segment da vista F_Times_uCI_V Filtro aplicado à vista F_Times_UCI_V1 para retirar desta vista os campos cujo nome de utilizador (usr_name) é nulo Formatação aplicada na vista F_Times_uCI_V1 para passar o campo duration de décimas de segundo para segundos Vista F_Times_uCI_V1 após a primeira fase da Integração Cálculos efectuados na segunda fase da etapa de Integração Expressão de cálculo para obter os campos TotalCallTime, TotalTalkTime e TotalWait- Time da vista F_Times_uCI_V Vista F_Times_uCI_V2 resultante da segunda fase da Integração Fluxo para popular a tabela de factos F_Times_UCI Estrutura das tabelas de controlo usadas na Integração Excerto da tabela CTRL_DataLog Relatório de Controlo geral, onde se mostram todas as integrações e respectivas difusões Relatório de erros para a tabela de factos F_Times_UCI Primeiro protótipo realizado em Microsoft Sharepoint 2005 Services para o gestor de contas inbound vii

10 4.2 Primeiro protótipo realizado em Microsoft Sharepoint 2005 Services para o director de call center Protótipo realizado em Microsoft Sharepoint 2005 Services para o gestor de contas inbound e devidamente ligado ao modelo multidimensional Protótipo realizado em Microsoft Sharepoint 2005 Services para o director de call center e devidamente ligado ao modelo multidimensional Protótipo realizado em Microsoft Sharepoint 2005 Services para o supervisor inbound e devidamente ligado ao modelo multidimensional Workflow ETL da solução de ETL desenvolvida, seguindo a abordagem do esquema em borboleta proposta por Vassiliadis, Karagiannis, Tziovara e Simitsis [1] Estimativa do tempo necessário para processar a quantidade de dados gerada através dos dias pelo sistema de ETL desenvolvido Percentagem de tempo dispendido em cada componente da solução ETL Percentagem de tempo dispendido em cada componente da solução ETL Fluxo ETL dos ficheiros CCS Protótipo realizado em Microsoft Sharepoint 2005 Services para o Gestor de conta outbound e devidamente ligado ao modelo multidimensional Protótipo realizado em Microsoft Sharepoint 2005 Services para o Coordenador de call center e devidamente ligado ao modelo multidimensional Protótipo realizado em Microsoft Sharepoint 2005 Services para o supervisor outbound e devidamente ligado ao modelo multidimensional Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Agentes Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Calls_Inbound_CCS Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Calls_Inbound_uCI Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Calls_Outbound Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Campaigns Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Finances Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_KPIS Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Times_CCS viii

11 13.9 Subconjunto do modelo multidimensional da DW, que corresponde à estrela da tabela de factos F_Times_uCI ix

12 Lista de Tabelas 1.1 Principais KPI s usados nos call centers Características usadas na classificação das ferramentas de BI para call centers Ferramentas de BI para Call Centers Micro-actividades e correspondentes operadores do Microsoft Integration Services Ligação entre as tabelas que formam a vista F_Times_uCI_V x

13 Lista de Acrónimos BI Business Intelligence CCS Call Center Supervisor CCDM Call Center Data Mart DIP-BENCH Data Intensive Integration Process Benchmark DW Data Warehouse DM Data Mart ETL Extract, Transform and Load KPI Key Performance Indicator ODS Operational Data Store OLAP Online Analytical Processing SAD Sistemas de Apoio à Decisão SLA Service Level Agreement SQL Structured Query Language SI Sistemas de Informação THALIA Test Harness for the Assessment of Legacy Information Integration Approaches WFM Work Force Management xi

14

15 1 Introdução 1.1 Motivação Um call center 1 2 [2] é composto por estruturas físicas, pessoas e onde chamadas telefónicas são efectuadas (chamadas outbound) e/ou recebidas (chamadas de inbound). Dependendo do tamanho do Call Center, este pode ter desde algumas dezenas até centenas de operadores telefónicos e várias campanhas a decorrer em simultâneo. Cada campanha agrega um conjunto de chamadas com objectivos comuns (por exemplo, a campanha de venda de um dado produto). O call center pode existir sob a forma de uma parcela funcional de uma organização maior ou ser ele próprio uma organização independente, prestadora de serviços em regime de outsource a outras organizações. Em qualquer dos casos, as chamadas são efectuadas com um conjunto bem definido de clientes. No caso do call center operar em regime de outsource este conjunto é definido pela organização que contratou os serviços do call center. Para além do tratamento de chamadas inbound e outbound, o call center também providencia serviços de help desk(ajuda/resolução de problemas de clientes), de resposta a cartas, faxes e s. Normalmente, um call center utiliza tecnologias com o intuito de melhorar o mais possível a performance das suas operações. Uma dessas tecnologias é a redistribuição automática de chamadas, onde as chamadas de inbound e/ou outbound são atribuídas aos agentes, pela ordem em que são recebidas ou realizadas. Outra tecnologia comum é a monitorização de chamadas, onde as mesmas são seleccionadas aleatoriamente e, depois, monitorizadas, de forma a assegurar que os agentes cumprem os requisitos de qualidade definidos e, consequentemente, asseguram a satisfação do cliente [3][4]. Existem os seguintes actores com intervenção relevante num call center: Agentes, Supervisor de Campanhas Inbound, Supervisor de Campanhas Outbound, Consultor Interno, Coordenador de Call Center, Gestor de Contas Inbound, Gestor de Contas Outbound, Gestor de Recursos Humanos e Gestor de Call Center. Os operadores ou agentes são quem efectua ou recebe as chamadas. Um Supervisor de Campanhas Inbound supervisiona grupos de métricas (como o tempo de chamada) bem como métricas globais de funcionamento do call center (como o número total de chamadas recebidas) e compara-as com os SLA s definidos com a organização que requereu os serviços do call center. Um Supervisor de Campanhas Outbound, tal como o supervisor de campanhas inbound, faz a monitorização de um grupo de agentes e suas métricas, mas neste caso das métricas associadas a chamadas de outbound (por exemplo: número de vendas). Um Consultor Interno, por sua vez, ajuda na resolução de certos problemas (como a existência de um número baixo de chamadas por hora, para dar um exemplo), os quais os supervisores de inbound e outbound não conseguem solucionar. Um Coordenador de Call Center faz análises diárias às campanhas em execução, de forma a aferir o seu sucesso ou insucesso (analisa, por exemplo, o número de vendas ou o tempo de resolução das chamadas de 1 Embora o termo call center se refira sobretudo ao tratamento de chamadas inbound e outbound, tendo o termo evoluído para a designação contact center, que reflecte o facto de existirem mais interacções a ocorrer do que apenas as chamadas, ao longo desta tese será usado o termo call center indiferentemente, quer se trate de um call center ou contact center [2] 2 Na literatura por vezes o call center aparece referenciado como call centre e o termo contact center pode aparecer como contact centre 1

16 inbound); ele pode, ainda, em situações excepcionais, resolver problemas associados aos operadores, quando os supervisores não os consigam resolver. Um Gestor de Contas Inbound faz análises diárias ou semanais dos SLA s mais relevantes acordados com as organizações que requereram os serviços do call center (por exemplo: tempo médio de chamada e taxa resolução de problemas na primeira chamada) para um grupo de campanhas. Um Gestor de Contas Outbound também faz analise diárias ou semanais de grupos de campanhas, mas sobre os SLA s referentes a chamadas outbound (por exemplo: vendas e taxa de sucesso). Um Gestor de Recursos Humanos ocupa-se das métricas relacionadas com os operadores (o número de operadores necessários por campanha ou a taxa de absentismo, por exemplo). Finalmente, um Gestor de Call Center tem a seu cargo a análise da performance global do call center (como o número de horas trabalhadas nas campanhas ou os tempos médios de chamadas), tomando decisões que podem afectar as operações globais do call center, numa base semanal ou mensal. A organização 3 que requisita os serviços do call center define com este um conjunto de métricas, geralmente denominado Service Level Agreement (SLA), de forma a controlar o bom funcionamento do serviço efectuado pelo call center. Estas métricas correspondem a conjuntos de valores de indicadores de negócio que devem ser atingidos pelo call center. Em sistemas de apoio à decisão, estes indicadores de negócio são normalmente denominados Key Performance Indicators (KPI s). Jonathan Wu [5] define um KPI como sendo um conjunto de medidas pré-definidas que providenciam informação; esta informação é usada depois para quantificar objectivos que reflectem a performance e estratégia da organização. Ou seja, um bom KPI deve simultaneamente, indicar um dado resultado (Indicator), estar relacionado com a performance do negócio da organização (Performance) e ser relevante para o processo de decisão (Key) [6]. Por exemplo um bom KPI no âmbito dos call centers é a taxa do número de vendas ou inquéritos efectuados. Este KPI indica o número de vendas ou inquéritos face à totalidade das chamadas feitas em regime de outbound (Indicator), mede a eficiência na venda de um produto ou inquérito (Performance) e é um factor importante nas tomadas de decisões do call center (Key). A tabela 1.1 lista alguns dos KPI s usados na maior parte dos call centers[3][7][8][9]. OS KPI s da Tabela 1.1 estão classificados segundo quatro categorias: Nível de Serviço e Processamento de Chamadas, Custo, Qualidade e Agentes. O Nível de Serviço e Processamento de Chamadas descreve os aspectos directamente relacionados com as chamadas telefónicas. O Custo descreve os KPI s associados a métricas de custo bem como as vendas/inquéritos efectuados. A Qualidade referese às capacidades dos agentes do call center e a métricas relacionadas com a satisfação dos clientes que interagem com o call center. Os Agentes contêm todos os aspectos relativos aos agentes, nas suas tarefas e rotinas diárias. Algumas das métricas mais importantes identificadas, de acordo com os requisitos do call center são [3][7][8][9]: Taxa de abandono: número de chamadas que foram desligadas antes de chegarem a um agente; Tempo médio de conversação: o tempo médio que os agentes passam em conversação com os clientes; 3 Esta organização pode significar a organização que detém o call center ou que contrata os serviços do call center em regime de outsource 2

17 Nível de Serviço & Proc. de Chamadas Métricas de Qualidade -Tempo médio de conversação -Satisfação do cliente -Tempo médio para terminar a chamada -Satisfação do Staff -Tempo médio de processamento de chamada -Satisfação dos parceiros/distribuidores -Taxa de Abandono -% Chamas que necessitam de nova interacção -Tempo médio de atendimento -Taxa de retenção dos clientes -Taxa de primeiras resoluções -Razões das chamadas -% Chamadas atendidas nos primeiros x segundos -Conhecimento dos produtos -Tempo em trabalho pós-chamada -Conhecimento Técnico -% Chamadas Transferidas -Competências de comunicação -# chamadas feitas/recebidas -Competências na resolução de problemas -Taxa de Bloqueios Custo Agentes -Custo por chamada -Ocupação -Custo por minuto -Rotatividade dos agentes -Custo médio por venda -Absentismo -Total de itens vendidos -Aderência ao Script -Horas de treino -Aderência -Taxa de Comparência -Pontualidade Tabela 1.1: Principais KPI s usados nos call centers. Tempo em trabalho pós-chamada: o tempo médio que os agentes levam a terminar uma chamada; Tempo médio de chamada: a combinação do tempo médio de conversação e tempo em trabalho pós-chamada; Tempo médio de atendimento: o tempo médio que leva a atender uma chamada; Taxa de primeiras resoluções: percentagem de clientes que vêem os seus problemas resolvidos na primeira chamada que fazem; Taxa de Bloqueios: a percentagem de clientes que não conseguem aceder ao call center num dado momento devido a falta de recursos do call center (sinal de ocupado) Aderência: o tempo que o agente passa em trabalho, comparado com o tempo que é pago; Taxa de comparência: taxa de comparecência dos agentes, isto é, se o agente aparece para trabalhar nos dias em que tem trabalho; Ocupação: define se o número de agentes é adequado para o volume de chamadas, isto é, o tempo que passam ocupados em chamadas sobre o tempo total de trabalho (tempo ocupado em chamadas e tempo livre); Custo por chamada: o custo por cada chamada efectuada; 3

18 Rotatividade dos agentes: taxa de rotatividade dos agentes, isto é, número de saídas e entradas sobre o número de agentes empregados no call center; Geralmente, o call center é o primeiro ponto de contacto entre a organização e o cliente, numa comunicação que se faz nos dois sentidos: por um lado, os clientes recorrem ao call center para esclarecer dúvidas e por outro, é através do call center que a organização entra muitas vezes em contacto com os seus clientes. Nestas comunicações com os clientes gera-se um grande volume de informação. Esta informação engloba: dados sobre os clientes (exemplo, histórico de compras, perguntas frequentes), pormenores sobre as chamadas (tal como, tempos de conversação e tempo dispendido após conversação para terminar a chamada) e determinados pormenores sobre os agentes que fazem a chamada (exemplo, tempo dispendido em chamadas, horas de trabalho). Toda esta informação desorganizada e apreendida dispersamente no call center deve depois ser devidamente processada e analisada à luz dos KPI s predefinidos. Note-se que, aqui, a exigência crescente dos clientes (que esperam ver as suas dúvidas rapidamente respondidas) e o maior ritmo com que os principais indicadores de negócio têm que ser monitorizados são determinantes para que tanto a quantidade de informação como a rapidez com que esta tem de ser processada sejam cada vez maiores. Percebe-se assim, que a capacidade de integrar e tratar esta informação de um modo rápido e coerente seja pontos fulcrais em qualquer call center. A necessidade constante de tratamento de informação aliada ao seu grande volume leva a que um sistema de Business Intelligence (BI) (ver secção 1.2) possa ajudar em muito as necessidades de um call center. O uso de um sistema de BI no call center pode trazer as seguintes vantagens: Optimizar as operações diárias e minimizar os riscos operacionais, através da constante monitorização dos principais indicadores de negócio (por exemplo; tempo de chamadas) e decidir de acordo com estes indicadores quais as acções mais apropriadas (por exemplo, o número ideal de agentes que devem estar a trabalhar numa dada campanha). Melhorar a qualidade do serviço prestado/relações com os clientes que telefonam para o call center, assegurando que estes vêem as suas necessidades rapidamente resolvidas (por exemplo, maior personalização da resposta e menor tempo de espera). Tornar a análise dos indicadores de negócio mais robusta e facilitada, através da análise de informação detalhada sobre os clientes (como episódios passados e hábitos de compra). Melhorando a análise dos indicadores de negócio pode-se aperfeiçoar a aferição do estado do negócio (como vendas dos produtos oferecidos e progresso de cada campanha em execução) [10] [3]. Identificar os perfis de agentes que melhor se adaptam às necessidades do call center [11]. Reduzir custos, através da detecção de possíveis problemas (exemplo, campanhas com anormal número de vendas face aos SLA s definidos), da utilização de um menor número de agentes e aumento de lucros operacionais (exemplo, alterar certas campanhas para melhor corresponderem às expectativas dos clientes) [3]. 4

19 1.2 Os Sistemas de Business Intelligence (BI) No final dos anos 80, graças ao aumento do poder de processamento e facilidade de conectividade entre diferentes sistemas (por exemplo, o aumento do número de ferramentas com ligação via Web) começaram a massificar-se nas empresas aquilo que se designavam como Sistemas de Apoio à Decisão (SAD). Estes sistemas, por sua vez, gradualmente foram chegando a um número cada vez maior de utilizadores dentro das organizações. Os sistemas de apoio à decisão são descritos por Keen e Scott-Morton como "sistemas que aliam as capacidades intelectuais de indivíduos às capacidades de sistemas computacionais, para melhorar a qualidade das decisões tomadas"[12]. Em 1989, Howard Dresner, analista da Gartner, face à proliferação de sistemas de apoio à decisão e suas metodologias, criou um termo unificador, o Business Intelligence [13]. Jane Griffin, consultora na Deloitte, descreve este termo como "um sistema centrado no utilizador para a exploração de dados, relações entre dados e tendências, de forma a melhorar o processo de tomada de decisão", e acrescenta ainda "Isso envolve um processo interactivo de acesso aos dados e a sua análise para tirar conclusões, fazer descobertas e comunicá-las, com o objectivo de criar uma mudança positiva na organização"[14]. O BI é assim, hoje em dia, uma componente essencial nos Sistemas de Informação (SI) das organizações. É o BI que permite aos utilizadores analisarem as suas operações de negócio e procurarem formas de as optimizarem, reduzindo custos e aumentando lucros [15] [16]. A figura 1.1 [17] mostra uma arquitectura típica de BI com as suas principias componentes. Um processo de BI comporta geralmente quatro grandes fases: Figura 1.1: Arquitectura típica de BI. 1. Os dados que se encontram nas Fontes de Dados vão ser ser submetidos a processos de Extrac- 5

20 ção, Transformação e Carregamento (processos ETL, ou seja Extraction, Transformation e Load). A área onde estes dados são submetidos aos processos de ETL é normalmente denominada Operational Data Store (ODS) ou Área de Retenção (ou Data Staging). 2. Os dados após serem submetidos a processos de ETL, obedecem a um modelo dimensional e são armazenados em Data Marts e Data Warehouses. 3. Depois de armazenados nos Data Marts e Warehouse, os dados podem ser manipulados por ferramentas de BI, de modo a permitir a sua visualização em relatórios ou cubos OLAP, e serem ainda submetidos a processos de Data Mining. 4. As ferramentas de BI apresentam os dados devidamente analisados e transformados aos utilizadores finais Extracção, Transformação e Carregamento de dados - ETL A Área de Retenção (ou Data Staging Area ou Operational Data Store - ODS) é uma área de armazenamento de dados, onde estes sofrem as alterações necessárias para serem, depois, carregados na Data Warehouse. As alterações efectuadas aos dados são realizadas por processos de ETL. A primeira etapa de um processo de ETL é a extracção dos dados das suas várias fontes para a área de retenção. Depois dos dados serem extraídos, sofrem um conjunto de transformações. Exemplos de transformações normalmente efectuadas são limpeza (por exemplo: correcção de erros ortográficos), purgação (que consiste na eliminação dos campos que não vão ser usados), combinação de fontes de dados (agregar dados que fazem sentido estar juntos em vistas unificadas) e criação de identificadores únicos para os objectos que se armazenam nos modelos multidimensionais. Quando a transformação dos dados está completa, estes são carregados na data warehouse [18] Data Warehouse e Data Marts Uma Data Warehouse é uma colecção de dados orientada a um assunto, integrada, variante no tempo e não volátil. Estes dados são depois usados para análises [18]. Um Data Mart é um subconjunto da Data Warehouse, focado num assunto específico ou área de negócio (por exemplo: Data Mart financeiro) Cubo OLAP OLAP, Online Analytical Processing, é um tipo de actividade que permite efectuar análises e extracções de dados a fontes de dados, de um modo rápido e fácil [18] [19]. Um Cubo OLAP é uma estrutura que possui dados derivados da Data Warehouse e permite uma rápida análise dos dados que esta contém, permitindo a obtenção de informação útil para o negócio a partir destes dados (como seja a tendência de vendas de um dado produto). Este cubo é constituído por dados numéricos, chamados factos, que estão organizados segundo várias dimensões (por exemplo, uma companhia pode querer analisar dados financeiros sobre um dado produto, período temporal, região). Estas dimensões podem ser depois agregadas usando hierarquias (por exemplo, países, distritos, cidades). Apesar do nome cubo, este tipo de estruturas possuem geralmente mais do que três dimensões de análise. 6