BUSINESS INTELLIGENCE COMO GARANTIA DE DIFERENCIAL COMPETITIVO

Transcrição

1 UNIMINAS UNIÃO EDUCACIONAL MINAS GERAIS S/C LTDA FACULDADE DE CIÊNCIAS APLICADAS DE MINAS Autorizada pela Portaria nº 577/2000 MEC, de 03/05/2000 BACHARELADO CURSO DE SISTEMAS EM SISTEMAS DE INFORMAÇÃO DE INFORMAÇÃO TRABALHO DE FINAL DE CURSO BUSINESS INTELLIGENCE COMO GARANTIA DE DIFERENCIAL COMPETITIVO Rogério de Freitas Ribeiro 2005

2 ii ROGÉRIO DE FREITAS RIBEIRO BUSINESS INTELLIGENCE COMO GARANTIA DE DIFERENCIAL COMPETITIVO Trabalho de Fim de Curso apresentado à UNIMINAS, como requisito parcial à obtenção do título de Bacharel em Sistemas de Informação. Orientador: M.Sc. Francisco Jose Muller UBERLÂNDIA 2005

3 iii ROGÉRIO DE FREITAS RIBEIRO BUSINESS INTELLIGENCE COMO GARANTIA DE DIFERENCIAL COMPETITIVO Trabalho de Fim de Curso apresentado à UNIMINAS, para obtenção do título da Bacharel em Sistemas de Informação. Banca Examinadora: Uberlândia, 20 de Agosto de Professor: M.Sc. Francisco José Müller Professor: Esp. Luiz Leonardo Siqueira Professor: Márcio dos Reis Caetano UBERLÂNDIA 2005

4 iv RESUMO Este trabalho apresenta conceitos, técnicas e ferramentas de Bussiness Intelligence utilizados pelas empresas para o estudo do perfil de consumo de seus clientes, para a criação de novas metodologias de abordagem a clientes e ao mercado. Como integrante do processo de Bussiness Intelligence serão apresentados conceitos de Data Mining e Data Warehouse. Neste trabalho utilizou-se como caso de estudo a empresa CTBC de onde foram extraídas aplicações de suporte à tomada de decisões que são apresentadas com o intuito de ilustrar o processo de consulta dos dados contidos no Data Warehouse.

5 v ABSTRACT This work presents concepts, techniques and tools of Business Intelligence used by the companies for the study of profile of consumption of its customers, for the creation of new methodologies of boardings the customers and to the market. As integrant of the process of Business Intelligent concepts of Data Mining and Data Warehouse will be presented in this work. It was based on a study case of company CTBC, where support applications had been extracted the taking of decisions that are presented with intention to illustrate the process of consultations of the data contained in Data Warehouse

6 vi SUMÁRIO 1. INTRODUÇÃO Justificativa pela escolha do tema Objetivos A EMPRESA CTBC História da empresa Serviços oferecidos Estrutura Hierarquia da diretória de TI Importância de um DW e BI para a empresa CTBC? CONCEITOS ENVOLVIDOS Conceito de BI Conceitos de Data Mining Conceitos de um DW Características de um DW Orientado por temas Integrado Variante no tempo Não volátil Estruturas Funcionais de um Processo de BI Sistemas Transacionais Aplicações OLTP Outras Fontes de dados Staging Area (ODS) Data Warehouse Aplicações OLAP Data Mart / Cubos Data Mining MODELAGEM E PROBLEMAS ENCONTRADOS EM UM DW Modelagem Multidimensional Modelo Star Schema Modelo Snowflake Tabela Fatos X Tabela de Dimensões Alguns dos problemas relacionados a um Data Warehouse Normalização X Não normalização Granularidade Agregação de dados Tempo gasto na carga dos dados para o DW ( Janela de Processamento ) Alteração do Modelo conhecido pelo DW ANÁLISES COMPETITIVAS Algumas análises realizadas pela empresa CTBC Adequação de produto / Aumento de Receita Captação de novos clientes... 50

7 vii Recuperação de clientes cancelados Detecção de Fraudes Readequação dos fluxos internos Aceitação do Mercado FERRAMENTAS UTILIZADAS NOS PROCESSOS DE BI Data Stage Data Stage Administrator Data Stage Directory Data Stage Designer Estágio OCI Estágio Transformer Estágio Seqüencial File Estágio Hashed File Estágio Agregator Oracle Discoverer KPI Viewer (Key performance indicator) CONCLUSÃO REFERÊNCIAS BIBLIOGRÁFICAS... 69

8 viii LISTA DE FIGURAS FIGURA 01: Áreas de atuação da empresa CTBC FIGURA 02: Hierarquia da diretória de TI FIGURA 03: Aplicação web para o cadastramento e controle de solicitações de desenvolvimento de relatórios FIGURA 04: Alguns sistemas da CTBC e suas dependências FIGURA 05: Integração realizada em um DW, das informações de diferentes sistemas FIGURA 06: Histórico dos dados armazenados em um DW FIGURA 07: Etapas do processo de BI na CTBC FIGURA 08: Comparativo entre OLTP x OLAP FIGURA 09: Aspectos de modelagem de um Data Marts X Data WareHouse FIGURA 10: Representação de um cubo com informações referentes a vendas por produto, data, região FIGURA 11: Análises por nível hierárquico FIGURA 12: Modelo Star Schema (um exemplo fictício) FIGURA 13: Modelo Snowflake (um exemplo fictício) FIGURA 14: Modelo de dados contendo tabelas fato e dimensão FIGURA 15: Sala de gerenciamento de performance FIGURA 16: Interface do Data Stage Administrator FIGURA 17: Interface do Data Stage Directory FIGURA 18: Interface do Data Stage Design FIGURA 19: Interface de um componente OCI FIGURA 20: Interface de um componente Transformer FIGURA 21: Interface de um componente Seqüencial File FIGURA 22: Interface de um componente Hashed File FIGURA 23: Interface de um componente Agregator FIGURA 24: Interface de configuração dos filtros para a execução dos relatórios. 61 FIGURA 25: Construção do relatório através do arraste das colunas FIGURA 26: Construção de colunas baseadas em cálculos FIGURA 27: Utilização de expressões condicionais... 63

9 ix FIGURA 28: Informação final mostrada ao usuário após a execução do relatório.. 63 FIGURA 29: Interface para o acompanhamento diário das métricas FIGURA 30: Interface para o cruzamento das métricas FIGURA 31: Interface para o cruzamento das métricas FIGURA 32: Interface para o cruzamento das métricas

10 x LISTA DE SIGLAS BI - Business Intelligence COP - Coordenação de operação e processamento CNI - Coordenação de negócios de interconexão CSP - Código de seleção de prestadora CSS - Coordenação de sistemas e serviços CTBC - Companhia de Telecomunicações do Brasil Central DW - Data Warehouse ODS - Operational Data Store OLAP - On-line Analytical Processing OLTP - On-Line Transaction Processing SGBD - Sistema de gerenciamento de banco de dados SQL - Structure Query Language TI - Tecnologia da Informação TP - Telefone público

11 11 1. INTRODUÇÃO No estágio atual em que as empresas se encontram, é necessário tomar decisões cada vez mais importantes em espaços de tempo cada vez mais curtos. Durante suas operações comerciais as empresas geram uma grande quantidade de negócios, e a todo o momento uma grande quantidade de dados relativos a clientes, produtos e serviços, são colhidos e armazenados nos sistemas transacionais utilizados pelas empresas, exigindo um esforço enorme na tentativa de integrá-los para que se tornem uma fonte de dados para análises e conclusões. Para isso algumas metodologias, conceitos e ferramentas de Business Intelligence (BI) e Data Warehouse (DW) estão se mostrando um dos grandes avanços do setor de Tecnologia da Informação (TI) na tentativa de armazenamento sistêmico e análise destas informações. O ambiente de modelagem de dados que possibilita esta tomada de decisões e a gerência destas informações de modo a garantir a sobrevivência de várias empresas está fundamentado nos conceitos e técnicas de DW. O BI aparece neste contexto apresentando ferramentas de suporte à decisão, possibilitando a análise sistemática das informações do repositório de dados (DW), transformando-as em um diferencial competitivo para as empresas. Um DW tem como princípio a integração consolidada de dados extraídos de várias fontes de dados sejam elas: SGBDs heterogêneos, Planilhas Excell, Arquivos textos e outras fontes externas de informações, que são modelados em um padrão pré-definido facilitando posteriores análises, estudos estatísticos e gerenciais, objetivando as satisfações estratégicas da empresa. O BI possibilita que muitas metas definidas pela empresa possam ser alcançadas, tais como novas oportunidades, permitindo uma visão mais profunda com relação aos hábitos de consumidores, no aumento das vendas, na redução dos custos, no ajuste de orçamentos e dentre outros. Todas estas metas são possivelmente alcançáveis em virtude dos dados estarem organizados, armazenados e transformados, facilitando futuras análises. Após a separação e análise dos dados conforme a visão de negócio se transformam em inteligência, ou

12 12 seja, inteligência que ao ser aplicada ao mercado e ao negócio geram vantagem competitiva para a organização. 1.1 Justificativa pela escolha do tema Este estudo tem como objetivo apresentar conceitos de DW e BI, bem como as ferramentas utilizadas nestes processos, e que se forem implementadas corretamente a um grande conjunto de dados, possibilitarão prever na maioria das vezes, tendências de mercado, futuros produtos e serviços que poderão garantir que as empresas de telecomunicações, como a CTBC, se mantenham no mercado cada vez mais competitivo. Isto mostra os novos rumos que as empresas estão tomando na área de gestão e gerência de processos de tecnologias de informação, concentrado cada vez mais no âmbito de negócios, produtos, clientes e recursos disponíveis. 1.2 Objetivos Mostrar as formas de disseminar e analisar as informações contidas em um repositório de dados (DW), transformando-as em informações que auxiliem na tomada de decisões e quebras de paradigmas (BI), bem como as dificuldades envolvidas nestes processos. Este trabalho foi baseado na experiência profissional vivida na empresa CTBC e apresentará algumas das análises realizadas por esta empresa em relação ao seu mercado de atuação.

13 13 2. A EMPRESA CTBC 2.1 História da empresa Desde o início de sua história no ramo de Telecom, a CTBC Telecom se preocupou fundamentalmente em atender bem seu cliente, com prestação de serviços de qualidade e produtos cada vez mais inovadores. Prova disto é que, logo em 1996, a CTBC Telecom tornou-se a primeira operadora de telecomunicações da América Latina a conquistar o certificado da ISO 9002, na área de atendimento ao cliente. E em 1999 a empresa recebeu a re-certificação. Há 50 anos a CTBC sempre apresentou-se como uma empresa inovadora trazendo e implantando novas tecnologias no ramo de telecomunicações propiciando a geração de empregos e um leque cada vez maior de produtos e serviços oferecidos aos seus clientes sejam eles de qualquer segmento de mercado, desde a sua casa, uma pequena rede de farmácias, grandes atacadistas ou até mesmo outras operadoras do setor. Dos primeiros postes telefônicos e centrais com telefonistas à expansão da telefonia móvel e da fibra óptica, o pioneirismo e a inovação, em tecnologia e em todas as operações sempre estiveram presentes. Foi assim, no lançamento do primeiro celular no interior do Brasil, em 1992, e também do primeiro pré-pago no País, em E assim é, ainda hoje, que a CTBC leva, por exemplo, o seu serviço de Internet banda larga a cidades em sua área de atuação com populações de menos de 50 mil habitantes. Atualmente, a operadora é conhecida apenas pelo nome "CTBC" um nome único, mas que carrega a força de uma marca e de uma empresa que se fez bastante completa em soluções de telecomunicações integradas, que se fundamentou, inicialmente, no interior do País, no conhecido "Brasil Central". Com a autorização recém conquistada junto à Anatel para atuar em novas áreas, a CTBC tem a meta de dobrar de tamanho nos próximos cinco anos. Multiplica-se também a base potencial de clientes no País, pois, com a expansão

14 14 dos negócios, sua área de abrangência passará de 330 localidades, para todo o País. Ela passa a atuar em todo o Brasil, e está autorizada também a explorar o serviço de longa distância, o que significa que moradores de todas as regiões poderão fazer ligações interurbanas usando o código de seleção de prestadora (CSP). Com localização privilegiada, no ponto de encontro das telecomunicações do Brasil, hoje a empresa atende mais de um milhão de clientes. Mesmo prestando serviços de longa distância nacional e internacional por meio de seu CSP, a CTBC nunca perdeu seu foco regional. Com um estilo de administração moderno e participativo, a empresa pratica a filosofia Empresa Rede. Dentro desse estilo, a empresa busca a capacitação de seus talentos humanos ou associados, como são chamados seus funcionários. Eles são incentivados a desenvolver o melhor de suas habilidades e alcançar suas metas através de uma política de prêmios por resultado. Assim, a empresa investe em treinamentos técnicos, operacionais e comportamentais, além de incentivar a melhoria do nível de escolaridade dos seus associados. Visão: Ser reconhecida como modelo no cenário mundial das telecomunicações atuando positivamente no processo de evolução da sociedade brasileira Missão: Garantir a excelência de Tecnologia da Informação na CTBC, contribuindo para o encantamento dos Clientes, Acionistas e Associados. Negócio: Conquistar, manter e fidelizar clientes, promovendo as melhores soluções em telecomunicações, através de, serviços e produtos diferenciados, qualidade percebida, preços competitivos. 2.2 Serviços oferecidos A CTBC empresa integrante do grupo ALGAR expandiu os seus negócios e passou a atuar em diversas áreas com um portifólio completo de serviços, oferecendo soluções integradas que vão da telefonia fixa, celular, passando pela Internet, TV a cabo, até comunicação de dados e Data Center. Não importando o

15 15 negócio, nem o seu porte, a empresa CTBC procura sempre desenvolver uma solução personalizada, com o melhor custo-benefício, porém com um portifólio tão extenso é indispensável uma metodologia complexa de armazenamento de dados como um DW e posteriormente a análise dos dados armazenados pela empresa a partir de um processo de BI. A Figura 1, mostra o detalhamento das áreas de atuação da empresa. Telefonia Fixa Telefonia Celular Tv a Cabo Comunicação de Dados Provedor de Internet Data Center Figura 1: Áreas de atuação da empresa CTBC. Fonte: Apresentações Internas

16 Estrutura Hierarquia da diretoria de TI A Figura 2, mostra quais são as áreas que estão sobre a resposabilidade da diretoria de Tecnologia de Informação. CSS DTI COP CENTROS DE RESULTADOS COP: Centro de Resultado de Operação e Processamento CSS: Centro de Resultado de Sistemas CNI: Centro de Resultado de Negócios de Interconexão CNI Figura 2: Hierarquia da diretória de TI. Fonte: Arquivos internos O núcleo de sistemas e serviços (CSS), é o núcleo responsável pela implementação e administração do DW da CTBC, bem como o atendimento à solicitação de geração de relatórios para as mais diversas áreas da empresa, sejam elas departamentos de marketing, vendas, desenvolvimento de novos produtos, serviços, promoções e até mesmo análise de fraudes. Todas as solicitações de desenvolvimento de relatórios são cadastradas em um sistema web, responsável pela documentação e histórico destes relatórios. Este sistema possibilita a definição de prioridades nos atendimentos de desenvolvimento destes relatórios, bem como todos os recursos necessários para o seu

17 17 desenvolvimento, desde o apontamento de horas necessárias para o desenvolvimento até as atividades realizadas para a construção dos mesmos. A Figura 3, mostra a interface da aplicação web. Figura 3: Aplicação web para o cadastramento e controle de solicitações de desenvolvimento de relatórios. Fonte: Aplicação web desenvolvida internamente. 2.4 Importância de um DW e BI para a empresa CTBC. O mercado de telecomunicações no Brasil era praticamente em regime de monopólio e isto mudou repentinamente. As empresas de telecomunicações não conseguiam atender a demanda de telefones, tanto para Telefonia móvel quanto para a Telefonia Fixa e existia a necessidade de se cumprir às metas impostas pelo

18 18 FMI, e uma delas foi à privatização de empresas desse ramo, acontecendo a abertura do mercado. A CTBC era, até então, a única empresa privada no campo de telecomunicações do Brasil, o que lhe dava uma certa comodidade para a expansão de seu mercado e atendimento da demanda na sua área de atuação. Com as privatizações a CTBC viu o seu mercado sendo dividido e explorado por outras empresas do ramo, como as concorrentes Maxitel e OI para a telefonia celular, Vésper para a telefonia fixa. Com a competitividade surgindo, foi necessário que a CTBC conhecesse profundamente o seu cliente, tentando saber quais eram os seus hábitos e necessidades, para então oferecer produtos e serviços que atendessem os seus consumidores de maneira coletiva ou individual. É neste contexto que entra o DW e as ferramentas de BI. Sistemas baseados nestes contextos que possibilitam a empresa conhecer melhor seu negócio, traçar perfis de seus clientes e tomar decisões estratégicas com mais segurança, procurando atender melhor os seus clientes. Após o armazenamento das informações constituídas em históricos dentro de um DW e o uso de ferramentas de BI, a empresa pôde analisar de várias formas os seus dados. Possibilitando que se fizesse um Data Mining para descobrir os padrões e tendências do mercado. A Figura 4, mostra uma representação da quantidade de sistemas transacionais presentes na empresa, e suas integrações.

19 19 Figura 4: Alguns sistemas da CTBC e suas dependências. Fonte: Arquivos internos. Com esta quantidade grande de sistemas, que são responsáveis pelo controle dos produtos e serviços que o cliente pode possuir, a tarefa de gerar relatórios de perfis de consumo destes clientes se torna bastante complexa. Com a implementação do seu DW a CTBC conseguiu manter um diferencial em relação aos seus concorrentes, podendo conhecer: Qual é o comportamento do mercado; Quais são os produtos que atenderam melhor os clientes; As campanhas de marketing conseguiram atingir os seus objetivos; Qual é o perfil do cliente CTBC e dos clientes das concorrentes; Quais são os clientes que permanecem fiéis; Qual o motivo do crescimento de um certo produto em um certo período.

20 20 3. CONCEITOS ENVOLVIDOS 3.1 Conceito de BI BI é um termo com grande utilização, porém ainda não existe uma definição única para seu significado, conforme pode ser visto nas citações a seguir. BI ou Business Intelligence é um terno criado pelo Grupo Gartner no início da década de 90 e representa o ambiente de software que permite acessar, analisar e garimpar todas as informações da empresa, sem a necessidade do usuário ser um especialista em informática. (DANTAS; GIORGETTI apud BOLIEIRO, 2005a) BI é um processo que envolve a coleta, análise e validação de informações sobre concorrentes, clientes, fornecedores, candidatos potenciais à aquisição, candidatos à joint-venture e alianças estratégicas. Inclui também eventos econômicos, reguladores e políticos que tenham impacto sobre os negócios da empresa. O processo de BI analisa e valida todas essas informações e as transforma em conhecimento estratégico. (DANTAS; GIORGETTI apud TYSON, 1997b) Segundo a MicroStrategy, uma das maiores empresas de desenvolvimento de programas de computadores voltados para BI, definem este conceito como Injetar inteligência nas Informações latentes nas empresas para traduzir medidas tangíveis em estratégia e objetivos para empresa. (DANTAS; GIORGETTI apud MicroStrategy 2005c) Segundo (BARBIERI, 2005d), BI é a utilização de variadas fontes de informação para se definir estratégias de competitividade nos negócios da empresa. (DANTAS; GIORGETTI apud BARBIERI, 2005). BI é uma metodologia que permite que as empresas gerem conhecimento baseadas em grandes quantidades de dados, de uma forma rápida, organizada e com grande precisão, para suportar a tomada de decisões. Ela pode ser utilizada para atingir muitos objetivos:

21 21 Determinar perfis de consumo; Modelagem de novos produtos e serviços; Antecipar mudanças no mercado; Possibilitar uma visão mais detalhada sobre os seus clientes; Antecipar as ações dos competidores; Descobrir novos ou potenciais competidores; Gerar um aprendizado a partir dos sucessos e das falhas; Criar novas oportunidades de negócios; Rever suas próprias práticas de negócio; Auxiliar na implementação de novas ferramentas gerenciais. Com as premissas citadas acima as empresas podem substituir relatórios com procedimentos estáticos por relatórios dinâmicos, permitindo que as execuções dos relatórios sejam realizadas a qualquer momento. DW é um dos conceitos básicos por trás das estratégias de BI, ajudando as empresas a aproveitar a vantagem de ter construído uma base de conhecimento ao longo do tempo. As empresas constantemente investem tempo, dinheiro e recursos em TI para manter suas margens de competitividade utilizando a integração de grandes quantidades de dados que possibilitarão aos gerentes e diretores o conhecimento do mercado e suas tendências. 3.2 Conceitos de Data Mining Segundo (SOUSA, 2005), Data Mining ou Mineração de Dados consiste em um processo analítico projetado para explorar grandes quantidades de dados (tipicamente relacionados a negócios, mercado ou pesquisas científicas), na busca de padrões consistentes e/ou relacionamentos sistemáticos entre variáveis e, então, validá-los aplicando os padrões detectados a novos subconjuntos de dados, ou seja, o processo de Data Mining consiste em encontrar entre todos os dados da empresa, quais são realmente aqueles dados que são importantes para a empresa e qual forma mais adequada de armazená-los.

22 22 Podemos citar vários exemplos da aplicação de Data Mining: Uma empresa atacadista interessada em oferecer a melhor oferta para seus consumidores regulares; A receita federal procurando possíveis padrões relacionados ao perfil de sonegadores de impostos; Um banco efetuando análise de crédito, decidindo quais clientes devem receber a próxima mala direta de um novo financiamento; A análise do perfil de clientes por uma operadora de telefonia, que sugere qual plano se adequa melhor a cada um de seus clientes. O processo de Data Mining pode tanto ocorrer durante a fase de definição e carga das informações para o DW, como também no processo de extração das informações provenientes do DW, gerando conhecimento para suportar a tomada de decisões. Os conceitos de DW serão apresentados no tópico 3.3, porém a diferença entre DW e Data Mining é que o DW é um repositório de armazenamento de dados com um padrão pré-estabelecido enquanto que o Data Mining são as técnicas implementas por programas de computador para a análise dos dados armazenados no DW gerando informações que possibilitarão ao usuário gerar conclusões a partir dos dados processados. 3.3 Conceitos de um DW Segundo (INMOM, 1997), Um Data Warehouse é uma coleção de dados orientada por assuntos, integrada, variante no tempo, e não volátil, que tem por objetivo dar suporte aos processos de tomada de decisão. DW é uma forma de armazenar dados históricos em um banco de dados. A maioria dos dados que compõem um DW são extraídas do ambiente de produção da empresa. Estes dados são modelados para que se obtenha um maior desempenho em consultas e relatórios, e não se destina ao processamento de transações da

23 23 empresa, mas sim um repositório para extração e geração de informações competitivas Características de um DW Um DW é conceitualmente dividido em quatro características que o descrevem: orientado por temas, integrado, variante no tempo e não volátil Orientado por temas Os dados são organizados por assunto ou tema que podem corresponder a um conjunto de tabelas relacionadas, cumulativas e detalhadas. Por exemplo, considerando a empresa em estudo, com relação às informações sobre chamadas telefônicas efetuadas pelos seus clientes, existem: tabelas contendo informações básicas sobre os clientes, sobre localidades (destino/origem), detalhamento das chamadas e além destas, existem tabelas cumulativas intermediárias contendo o registro resumido para as ligações de cada mês, ou seja, existem, portanto, para o mesmo tipo de informação, diferentes níveis de detalhe e sumarização Integrado O termo integrado refere-se à consistência de nomes, das unidades de medida e etc..., no sentido de que os dados foram transformados até um estado uniforme, homogêneo. Um exemplo mais claro, considerando o identificador sexo como um campo de informação, podem existir aplicações que codificam sexo como M/F, outras como 1/0 e uma terceira como H/M. Conforme os dados são carregados para dentro do DW, eles são convertidos para um estado uniforme, ou seja, sexo é codificado apenas de uma forma. Isto também se aplica à questão das unidades variáveis. Por exemplo, se um dado é medido em segundos em uma aplicação e em minutos em outra, ele será convertido para uma representação única ao ser colocado do DW. A Figura 5, mostra uma representação desta integração realizada nos dados importados para o DW.

24 24 SISTEMA A NOME SEXO CPF DATANASCIMENTO... CLIENTE XYZ M /01/1880 SISTEMA B NOME SEXO CPF DATANASCIMENTO... CLIENTE XYZ SISTEMA C NOME SEXO CPF DATANASCIMENTO... CLIENTE XYZ MASC /JAN/1880 Sistema A Sistema B Sistema C ETL Data WareHouse: NOME SEXO CPF DATANASCIMENTO... CLIENTE XYZ M /01/1880 Figura 5: Integração realizada em um DW, das informações de diferentes sistemas Variante no tempo Um DW armazena momentos específicos da cadeia temporal, significando que ele não é atualizável. Em um DW, a cada ocorrência de uma mudança, uma nova entrada é criada para marcar esta mudança, ou seja, se um cliente sofre alterações no seu cadastro de endereço três vezes no último ano serão gerados três

25 25 novas linhas no banco de dados sendo possível a identificação de todo este histórico posteriormente. A Figura 6, mostra esta representação do histórico dos endereços gerados em uma tabela do banco de dados. O tratamento de séries temporais apresenta características específicas, que adicionam complexidade ao ambiente DW gerando um grande volume de dados. ENDEREÇO COD DATA DATA ENDERECO NR BAIRRO CIDADE CLIENTE INICIO FIM AV. AMORIN 512 CENTRO SÃO PAULO 01/12/ /05/ R. SALVADOR 25 MORUMBI SÃO PAULO 15/05/ /09/ AV. IPÊ 1236 CENTRO SANTO ANDRÉ 23/09/2004 Figura 6: Histórico dos dados armazenados em um DW Não volátil Após serem integrados e transformados, os dados são carregados em blocos para o DW, para que estejam disponíveis aos usuários para o acesso futuro. O termo não volátil significa que o DW deverá permitir somente a inserção dos dados provenientes das fontes de origem, ou seja, permite que apenas sejam realizados comandos de inserção dos dados e nunca a atualização dos campos daquele registro já inserido. No ambiente transacional, ao contrário, os dados são, em geral, atualizados registro a registro, em múltiplas transações. Esta volatilidade requer um trabalho considerável para assegurar integridade e consistência dos dados, através de atividades de confirmação da inclusão dos dados, e o possível retorno dos dados ao estado inicial caso sejam encontradas falhas durante o processo de gravação ou alteração. Um DW não requer este grau de controle típico dos sistemas orientados a transações, pela característica da variância no tempo, exceto quando ocorrem erros durante a carga das informações para o DW, podendo assim ocorrer atualizações a fim de correção de erros durante o processo de carga.

26 Estruturas Funcionais de um Processo de BI Nesta fase, serão descritos todas as camadas e processos que constituem desde a extração e carga das informações dos sistemas transacionais para o DW, conforme ilustrado na Figura 7, bem como posteriormente a análise destas informações gerando conhecimento para o suporte a tomada de decisões na empresa CTBC.

27 Figura 7: Etapas do processo de BI na CTBC. 27

28 Sistemas Transacionais A maioria das empresas de Telecom que já se encontram no mercado a algum tempo, dispõem em sua planta de sistemas uma grande variedade de programas de computador, que foram comprados, desenvolvidos internamente ou até mesmo personalizados ao longo da existência da empresa. Todos estes softwares executam trabalhos rotineiros do dia-a-dia, como: cadastro de clientes, vendas, provisionamento de recursos, sistemas de RH, bilhetagem de chamadas e uma outra enorme gama de sistemas que podem variar de acordo com as atividades desempenhadas por esta empresa no segmento que ela atua. Este fato ocorre pois o desenvolvimento de um sistema único que agrega todas as funcionalidades requeridas por estas empresas nos mais diversos ramos de atividades comerciais representam o gasto de um grande quantia de dinheiro e de tempo, sem contar a dificuldade de se desenvolver um sistema único que atenda todas as necessidades da empresa. No caso da empresa CTBC esta quantidade de sistemas transacionais representam uma quantidade imensa se comparado com outras empresas do ramo, pois além dos serviços de telefonia fixa e celular, são oferecidos também serviços como: TV a Cabo, Internet (banda larga e discada), Data Center, Redes de Comunicação de Dados além de outros serviços. Todos estes sistemas armazenam uma série de informações que podem ser utilizadas em benefício próprio da empresa, na tentativa de se descobrir os hábitos dos seus consumidores. No entanto estes dados não representam conhecimento nenhum para o suporte a tomada de decisões se estiverem armazenados de forma heterogênea, com padrões estabelecidos e principalmente se não estiverem unificados em um único bando de dados, a não ser se forem analisados separadamente em cada um dos sistemas que compõem a área de TI da empresa. Porem a análise separada destas informações poderá ser uma tarefa difícil e que talvez não consiga extrair o máximo de informação armazenadas nesta gama de sistemas para a geração de conhecimento. Com a unificação destes dados em um repositório como um DW é possível desenvolver soluções que poderão atender as possíveis necessidades do

29 29 cliente, através da identificação do seu perfil de consumo. Com estas informações poderá ser realizado também, estudos e análises estatísticas do grau de aceitação de um novo produto por parte dos clientes, determinando-se assim possíveis melhorias nestes produtos ou até mesmo uma maior divulgação, caso o produto ou serviço seja bem aceito pelo mercado consumidor. Com a implementação de um DW, os sistemas transacionais são liberados para que executem somente funções específicas para qual o mesmo foi desenvolvido, que são o processamento de transações diárias como novos cadastros e atualização de informações que requerem um alto grau de desempenho, deixando tarefas mais demoradas como consultas e geração de relatórios para os sistemas que foram desenvolvidos com este único propósito. Com isto obtém-se um aumento no desempenho destes sistemas pois não existem mais a concorrência entre os processos cotidianos de inserção, exclusão e alteração com o processos de consultas e geração de relatórios. No modelo implementado pela empresa CTBC os dados são coletados nos sistemas transacionais e inseridos no DW no período das 00:00 horas à 06:00 horas da manhã Aplicações OLTP Arquiteturas baseadas em sistemas OLTP (On-Line Transaction Processing) totalmente normalizadas, presentes na maioria dos sistemas transacionais, podem envolver dezenas de tabelas, tornando o processo de obtenção de informações bastante complexo. Isto ocorre porque o modelo relacional foi desenvolvido para atender aos sistemas transacionais normalizados evitando redundâncias de informações que poderiam gerar preocupações com o sincronismo de dados durantes as operações de atualização, exclusão e inserção de dados, com isso facilitando a manutenção da integridade destas informações. Esta arquitetura de dados normalizada é composta de um conjunto de tabelas totalmente interligadas entre si através de um conjunto complexo de relacionamentos. Em aplicações OLTP as telas e relatórios desenvolvidos são extremamente transparentes ao usuário final, pois a complexidade dos relacionamentos estabelecidos durante estas consultas

30 30 não são vistas pelo usuário final, já que a intenção é nunca deixar que estes usuários acessarem a base de dados diretamente, não sendo necessário a estes usuários o conhecimento profundo de técnicas de consultas a bancos de dados. No entanto, em um ambiente de DW esta normalização excessiva pode acarretar grandes perdas de desempenho, pois para a construção destes relatórios seria necessária a passagem por uma grande quantidade de tabelas obedecendo aos relacionamentos pré-determinados. Por isso veremos no Capítulo , porque a tecnologia OLAP é a mais predominante no ambiente de um DW Outras Fontes de dados Para um DW também podem ser importadas outras fontes de dados que representam qualquer informação com uma certa importância para a empresa, sejam elas originadas de sistemas legados, planilhas eletrônicas, arquivos textos ou outras formas de armazenamento eletrônico Staging Area (ODS) A camada Operation Data Store (ODS) é a responsável pelo armazenamento dos dados operacionais provenientes dos sistemas transacionais. Para a realização dos processos de sumarização, normalização, limpeza, convergência, transformação e distribuição dos dados no modelo do DW não é aconselhável utilizar os próprios bancos de dados dos sistemas transacionais, pois o processo de transformação destes dados nem sempre é um processo rápido, podendo causar degradação de desempenho do sistema de origem. Então, é criada uma camada, denominada ODS, cuja função é armazenar os dados que foram importados dos sistemas de origem e que serão posteriormente exportados ao DW após as devidas transformações. A ODS então é apenas um conjunto de tabelas a serem preenchidas com dados provenientes das fontes externas, ou seja, é a imagem das tabelas dos sistemas transacionais de origem.

31 31 Esta camada é volátil, o que significa dizer que um lote de dados que é carregado na ODS é transformado e exportado para o DW, e na próxima vez que a ODS for carregada novamente com um novo lote de dados, os dados antigos serão apagados, uma vez que eles já foram carregados no DW. Em um processo em que o DW é carregado com novas informações diariamente, a camada ODS sempre armazena as informações do dia anterior em comparação aos dados dos sistemas transacionais. É na camada ODS onde ocorre os processos de ETL que significa extração (extract), transformação (transform) e carga (load). O ETL é o processo mais executado dentro de um DW, pois é ele que realiza a leitura dos dados transformando-os em um formato que representa algum sentido para a empresa armazenando-os em um repositório de dados, para posteriores consultas, ou até mesmo para a construção de consultas mais complexas. É nesta camada onde é consumida a maior parte da janela de processamento (que será comentada posteriormente) bem como os recursos de processamento Data Warehouse É nesta camada que estão armazenados os dados coletados dos sistemas de origem após a devida transformação. Nesta camada, o grau de normalização ou não normalização vai depender do objetivo e desempenho necessárias para os processos de geração de relatórios, ou seja, do tipo de consulta que será feito, nesta fase ocorre todas as premissas definidas anteriormente como: orientação por tema, integração, variância no tempo e a não volatilidade. Nesta camada também são executadas algumas consultas eventuais que não podem ser previstas antes do momento de sua execução, ou seja, caso seja necessário a consulta de alguma informação específica que não esteja mapeada em um relatório pré-configurado e a sua análise seja necessária apenas naquele momento, então esta consulta é executada diretamente no DW e denominada de consulta Ad-Hoc. É uma consulta que consiste em código SQL construído dinamicamente ou manualmente, em geral por ferramentas de consultas residentes na estação de trabalho dos usuários finais.

32 32 Isso nada mais é do que o próprio usuário gerando consultas de acordo com suas necessidades de cruzar as informações de uma forma pontual e com métodos que o levem ao objetivo final, encontrar a partir de um conjunto de consultas as informações e conclusões desejadas. Segundo Inmom são consultas com acesso casual único e tratamento de dados segundo parâmetros nunca antes utilizados de forma iterativa e heurística. (INMON; HACKTHOM, 1994)) Aplicações OLAP On-line Analytical Processing (OLAP) é a tecnologia utilizada na construção de softwares que permitem aos analistas de negócios, gerentes e executivos, ou seja, os usuários finais, a possibilidade de analisar e visualizar dados da empresa de forma rápida, consistente e principalmente interativa. A tecnologia OLAP é caracterizada pela análise dinâmica e multidimensional dos dados que estão armazenados em um repositório de uma organização, geralmente com um nível de normalização menor comparando-se com a tecnologia OLTP, visando um melhor desempenho durante o processo de consultas e permitindo que as atividades do usuário final sejam analíticas e de fácil navegação. Esta tecnologia é geralmente implementada em ambiente multiusuário e cliente/servidor, oferecendo assim respostas rápidas às consultas ad-hoc. Nos dias atuais esta tecnologia vem sendo migrada para o ambiente web podendo ser acessada praticamente de qualquer lugar que ofereça acesso à Internet, com isso o usuário final possui a capacidade de sintetizar informações corporativas por meio de visões comparativas e personalizadas, análises históricas, projeções e elaborações de cenários, sem obter um profundo conhecimento técnico de consultas estruturadas em bancos de dados, simplesmente interagindo através dos ambientes gráficos, com cliques e arraste de colunas construindo-se assim desde relatórios simples até os mais sofisticados. Porem a utilização desta tecnologia pode acarretar problemas de consumo excessivos de áreas em disco.

33 33 A Figura 8, mostra um comparativo entre as tecnologias OLTP e OLAP. CARACTERISTICAS OLTP OLAP Operação Típica Atualização Análise Telas Imutáveis Definidas pelo Usuário Nível dos Dados Atomizado Grande índice de Sumarização Idade dos Dados Recentes Históricos de transações Recuperação Poucos registros Muitos registros Modelo Alto índice de Baixo índice de Normalização. Normalização Desempenho Alta (poucos dados) Baixa (muitos dados) Figura 8: Comparativo entre OLTP x OLAP Data Mart / Cubos Data Marts são bancos de dados multidimensionais ou relacionais de menor porte em relação ao DW, modelados com informações de determinadas áreas da empresa, como faturamento, clientes, vendas de um determinado produto, e dentre outros. Então os Data Marts são construídos para o armazenamento de um conjunto específico de dados. Isto possibilita a obtenção de um alto grau de desempenho na execução de consultas periódicas em dados que sofrem alterações constantes. Portanto as diferenças entre um Data Mart e um DW são apenas em relação ao tamanho e ao escopo do problema a ser resolvido. A Figura 9, apresenta um comparativo entre as características de modelagem entre um Data Mart e um Data WareHouse.

34 34 Data Marts Nível departamental Alto nível de granularidade Pequena quantidade de dados históricos Tecnologia otimizada para acesso de consultas rápidas Cada área departamental possui suas características específicas Data WareHouse Nível corporativo Baixo nível de granularidade Grande quantidade de dados históricos Tecnologia otimizada para armazenamento e gerência de grandes quantidades de dados As estruturas são re-construidas para um entendimento a nível de corporação Figura 9: Aspectos de modelagem de um Data Marts X Data WareHouse. Em ambientes de suporte à tomada de decisão, é de grande importância que um determinado assunto em especial, como por exemplo vendas de produtos, sejam analisados de maneira que se possa cruzar diferentes níveis de sumarização, como por exemplo, vendas anual, vendas mensal, vendas nos últimos 5 anos, vendas por produto, vendas por região, vendas por tipo de cliente, além do cruzamento de outras formas de medição. Para a geração de informação, possibilitando esta consulta dos dados por diferentes unidades de medida, o processamento é geralmente, realizado por ferramentas OLAP, onde os dados são organizados em cubos (ou hipercubos) formados por várias dimensões ou unidades de medidas. Cada dimensão é uma perspectiva diferente de análise destes dados, que possibilitam ao usuário ter uma análise multidimensional dos dados, sendo que cada dimensão compreende em um conjunto diferente de níveis de agregação, como por exemplo: agregações diárias, mensais, quinzenais, anuais, por região e outras. Com a construção de cubos os usuários podem navegar por diferentes cruzamentos de unidades de medidas, possibilitando uma melhor análise dos dados. Geralmente estes dados são inicialmente gerados de maneira agregada, ou seja, por semana, por mês, por semestre, por ano e assim por diante, e quando o usuário tem a necessidade de analisar os dados em um nível mais detalhado os programas de computador que

35 35 geram estes relatórios deverão possuir a funcionalidade de desagregação destes dados. Para esta desagregação é utilizada a técnica de drill-down, ou seja, é a capacidade do programa de computador através do mapeamento dos dados, sair da informação agregada e ir para o nível de maior detalhamento. Um exemplo que pode ser citado seria um gerente analisando a queda anual nas vendas de um certo produto. As análises poderiam ser executadas da seguinte forma: o gerente efetua um drill-down nas informações, e obtém as vendas por mês, então ele analisa que as vendas tiveram um decréscimo significativo no mês de março, então realiza novamente um novo drill-down das informações no mês de março e efetua ainda o cruzamento das vendas por localidade, por faixa etária e por poder aquisitivo da população. Com esta análise o gerente pode desenhar ações dos mais diversos tipos como: desenvolver uma pesquisa de mercado voltada para aquela região, e para aquele consumidor em específico na tentativa de identificar o motivo da diminuição das vendas daquele produto, podendo-se desenvolver planos para reverter a diminuição das vendas deste produto para aquela localidade em questão. Para o inverso, ou seja, sair da análise dos dados do nível de maior detalhamento e ir para o nível de maior agregação, é utilizada a técnica de drill-up, ou seja, as técnicas de drill-up e drill-down nada mais são do que a possibilidade de subir ou descer dentro do detalhamento e agregação da informação. Esta organização dos dados em cubos é importante para que os acessos a estas informações sejam realizados de forma rápida, pois os dados estão agregados para análises mais genéricas, e a partir do momento que se faz necessário um maior detalhe, o usuário vai diminuindo o nível de agregação e analisando as informações de uma forma mais detalhada, de acordo com as dimensões que definem o cubo.

36 36 A Figura 10, descreve um exemplo fictício de um cubo montado com informações sobre produtos, período e região. A partir desde cubo poderiam ser realizadas as seguintes análises: Figura 10: Representação de um cubo com informações referentes a vendas por produto, data, região. Fonte: (GAMA, 2005). Qual foi a quantidade vendida do produto TV no primeiro quadrimestre. Qual foi a quantidade vendida do produto TV no segundo quadrimestre na região Norte e Sul. Quais foram às vendas detalhadas do produto TV no segundo quadrimestre na região Norte e Sul. Com informações referentes ao mesmo cubo é possível que se atendam várias demandas referentes a analises voltadas para cada necessidade. A Figura 11, mostra quais análises poderiam interessar cada nível hierárquico de uma empresa.

37 37 Gerente Financeiro Gerente Regional Gerente de Produto TEMPO TEMPO UNID. NEGÓCIO Variáveis PRODUTO UNID. NEG. TEMPO TEMPO Visão Ad hoc PRODUTO Figura 11: Análises por nível hierárquico. Fonte: (ITWEB, 2005) Data Mining No modelo apresentado conforme a Figura 7, a camada de Data Mining tem como objetivo, a extração de análises estatísticas, como análises gerenciais e análises conclusivas, como também executar análises de inconsistências nos dados armazenados.

38 38 4. MODELAGEM E PROBLEMAS ENCONTRADOS EM UM DW 4.1 Modelagem Multidimensional Com a popularização dos bancos de dados relacionais, a construção de bancos de dados normalizados para sistemas transacionais se tornou cada vez mais utilizada. De uma maneira geral, a normalização consiste em decompor os dados no seu menor nível, evitando assim a duplicidade da informação, ou seja, o foco da normalização é a eficiência do armazenamento. Em um DW, este paradigma é quebrado no que diz respeito à modelagem de dados, já que o objetivo passa a ser o desempenho das consultas, isto é, o acesso e recuperação dos dados devem possuir um alto desempenho. 4.2 Modelo Star Schema O modelo Star Schema é um conceito de modelagem de dados que se diferencia do modelo Entidade Relacionamento por permitir redundância. Este nome originou-se em decorrente à aparência do modelo dimensional (em forma de estrela), temos uma grande quantidade de tabelas que se relacionam com uma outra tabela central, sendo que esta tabela central recebe o nome de Tabela fatos e as outras de Tabela dimensão. A Figura 12, apresenta um módulo fictício de modelagem do esquema Star Schema.

39 39 Figura 12: Modelo Star Schema (um exemplo fictício). Fonte: (MICROSOFT, 2005a) No modelo Star Schema existe um alto grau de não normalização, com o intuito de se reduzir o número de tabelas relacionadas envolvidos nas consultas, objetivando uma maior rapidez e desempenho na consulta dos dados. Na verdade, o modelo final de um Data Mart é composto por várias tabelas fato, contendo diferentes subconjuntos de informações sobre o negócio com diversas tabelas dimensão, ligadas a uma ou mais tabelas fato. Propriedades do esquema em estrela: Uma única tabela de fatos contendo dados que representam efetivamente o fato a ser analizado. Uma tabela por dimensão. As chaves primárias, da tabela de fatos, são apenas de uma por dimensão.

40 40 Cada dimensão é representa por uma única tabela, altamente desnormalizada Modelo Snowflake O modelo Snow Flake é também uma estrutura bastante comum sendo uma extensão do modelo Star Schema, resultado da decomposição (normalização) de uma ou mais dimensões, tornando cada ponta da estrela em centro de outras estrelas. A justificativa do uso deste modelo se baseia na utilização de dimensões muito grandes. Este modelo traz vantagens no aspecto da diminuição do volume de dados carregados para a memória. A desvantagem ocorre quando é necessária a navegação dentro da hierarquia da dimensão, pois quanto maior quantidade de tabelas relacionadas maior se torna a complexidade das consultas. A Figura 13, apresenta uma modelagem fictícia do esquema Snow Flake. Figura 13: Modelo Snowflake. Fonte: (MICROSOFT, 2005b)

41 Tabela Fatos X Tabela de Dimensões Dentro de uma empresa constantemente ocorrem transações que geram eventos relacionados ao mercado, período e produtos. A tabela de fatos é a tabela que armazena estes eventos. Essas tabelas possuem medidas (também chamadas de métricas ou indicadores) usadas para medir o desempenho dos negócios, juntamente com as tabelas de dimensão. Para cada tabela fato existem uma ou mais tabelas dimensões que qualificam as informações sobre os fatos ocorridos, ou seja, sua principal função é reunir os atributos que serão utilizados para qualificar as consultas e estes valores serão utilizados no agrupamento e sumarização das métricas (ou fatos). Na Figura 14, podemos ver um demonstrativo de tabelas dimensão e tabela fato. Tabela Dimensão Tabela Dimensão Tabela Fato Tabela Dimensão Tabela Dimensão Figura 14: Modelo de dados contendo tabelas fato e dimensão. Fonte: (TRONCHIN, Valsoir; 2005)

42 Alguns dos problemas relacionados a um Data Warehouse Normalização X Não normalização A normalização dos dados é essencial para que bases de dados relacionais mantenham a consistência da informação em relação ao estado atual do sistema. A construção deste tipo de modelo de dados resulta em uma série de tabelas com suas respectivas chaves e atributos, sendo que cada uma dessas tabelas contém apenas um mínimo de dados. No entanto, esta prática requer a navegação através de inúmeras tabelas, para a composição de uma informação através de uma consulta. Já um DW diferencia-se, neste contexto, por manter dados em formato não normalizado, onde se faz a introdução intencional de dados redundantes em várias tabelas, visando a diminuição do consumo de processamento gasto durante a criação de joins entre várias tabelas para a consulta de informações. Além disso, a não normalização faz com que o usuário realize consultas de forma transparente, pois o mesmo não necessita conhecer o nome de tabelas de índices, ou tabelas intermediárias, resultantes da normalização. Dessa forma, um DW estabelece relacionamentos entre entidades de dados e possibilita consultas de forma eficiente Granularidade Dentro do modelo de um DW também é muito importante levar em consideração o aspecto da granularidade. Granularidade é o nível de sumarização dos dados do DW, conforme o exemplificado no tópico com as técnicas de drillup e drill-down. Esta granularidade pode variar entre um nível mais detalhado da informação e um nível menos detalhado, possibilitando ao usuário analisar a informação em qualquer nível de agregação. Porém, a escolha de um nível mais detalhado durante o processo de modelagem do DW pode gerar um aumento enorme no volume de dados armazenado e, conseqüentemente, existirá a perda de desempenho durante as consultas. Em contrapartida, se a granularidade estiver em

43 43 um nível de agregação muito alto, o usuário ficará prejudicado, não conseguindo realizar consultas mais detalhadas Agregação de dados Um dos fatores críticos em aplicações de análise de dados, é a baixa performance devido ao grande volume de dados envolvidos nas consultas realizadas por estas aplicações. Normalmente existem uma grande quantidade de consultas que são executadas constantemente, e para resolver o problema de performance a única maneira é pré-agregar ou consolidar os dados em totais ou subtotais através das dimensões envolvidas. Obviamente se o usuário necessitar realizar um drill-down na informação que estiver analisando, ou seja, detalhar mais a informação, ele acabará tendo que usar tabelas não-agregadas, arcando, portanto com um tempo maior de resposta. Porém a cada nova carga de dados no DW será necessária a atualização das tabelas de agregação, referente aos novos dados incluídos Tempo gasto na carga dos dados para o DW ( Janela de Processamento ). Um dos motivos da implementação de um DW em uma empresa é retirar a carga de processamento gasto para a geração de relatórios gerenciais a partir de informações contidas nos sistemas transacionais, liberando-os para executarem as atividades que justifiquem o seu desenvolvimento e sua existência, que são todas as tarefas referentes à manutenção de cadastros de produtos, serviços, clientes e etc... No entanto, um fator crítico quando falamos em DW, é a janela de processamento, ou seja, é o tempo gasto pelas ferramentas de importação dos dados para a carga das informações dos sistemas transacionais para o DW. Pois quanto maior é a quantidade de sistemas e a complexidade dos modelos de dados, maior será o tempo gasto para esta importação. No caso da CTBC, está importação acontece durante a madruga, sendo que a janela de processamento é das 00:00 horas à 06:00 horas da manhã. Quando os processos de cargas excedem esta

44 44 janela de processamento, acabam concorrendo com os processos dos sistemas transacionais que se iniciam por volta das 07:00 horas. Como conseqüência os sistemas transacionais podem ter sua performance prejudicada, pois os acessos as suas bases de dados agora concorrem com os acessos das ferramentas de importação Alteração do Modelo conhecido pelo DW Para que os dados possam ser importados para o DW, é necessário que todo o modelo de dados dos sistemas de origem seja mapeados e conhecidos pelas ferramentas de importação. Caso sejam realizadas alterações no modelo de dados dos sistemas de origem, como acréscimo, alteração ou remoção de campos das tabelas, existe a necessidade de adequação dos scripts de importação das ferramentas de ETL, pois estes scripts poderão não encontrar o modelo que estava mapeado anteriormente, podendo ocorrer a importação de dados errados e incoerentes com o novo modelo implementado no sistema origem. Para que isso não ocorra, qualquer alteração na modelagem do sistema de origem deverá ser informada aos administrados do DW para que os mesmos possam readequar os scripts de importação das ferramentas de ETL para que a nova modelagem seja mapeada.

45 45 5. ANÁLISES COMPETITIVAS A pesquisa de mercado aparece como um dos mais poderosos instrumentos de gestão mercadológica para empresas que, verdadeiramente, estejam orientando sua operação para a satisfação dos seus consumidores." (GIANGRADE; ANGELO, 1999). Antecipar as necessidades dos clientes é a nova palavra de ordem para as empresas que atuam em mercados que se mostram cada vez mais competitivos, pois os concorrentes estarão tentando identificar os perfis dos consumidores daquele mercado que ainda não é de seu domínio, criando-se assim um risco para aquelas empresas que não se preocupam em inovar na forma como lidar com as necessidades dos seus clientes. (...), O Marketing vem evoluindo e modificando-se ao longo do tempo. Muitas empresas, porém, continuam a elaborar suas estratégias com a visão mais para dentro delas mesmas do que para o mercado e, fundamentalmente, para aquele que é o responsável por ela: o cliente. (ZENONE, 2001). A nova necessidade destes consumidores é a procura cada vez maior por empresas que ofereçam serviços e produtos que possuem valor agregado, e que se adaptem às suas necessidades, bem como o surgimento de futuras oportunidades de compra de novos produtos e serviços. A forma com que as empresas identificam as necessidades dos seus clientes é um dos grandes fatores identificados no novo modelo de relacionamento entre cliente e fornecedor. Hoje, os consumidores buscam soluções rápidas, que evitem perca de tempo e o mínimo de desgaste possível durante as negociações. Abaixo são citados alguns estágios de satisfação do cliente: O produto é o que o cliente deseja; O produto oferecido atende às expectativas do cliente; O produto oferecido é fácil de comprar;

46 46 O produto é confiável; O produto prometido foi entregue. (...). Eles identificam e traçam os perfis de grupos distintos de consumidores que poderão preferir ou exigir produtos e compostos de marketing variáveis. (KOTLER, 2000). Segundo Kotler, as empresas estão concentrando esforços para a construção de um relacionamento fiel com seus clientes. Pois estas empresas buscam durante o seu período de atuação no mercado, a construção de banco de dados cada vez maiores com o intuito de identificar o estilo de vida de seus consumidores bem como as diferentes respostas que o mercado gera frente aos mais diversos estímulos sejam eles: agressividade no marketing empresarial, preços competitivos, valorização do cliente, dentre outros. Por isso a Tecnologia da Informação tem como objetivo diminuir a criticidade quando falamos na forma com que os dados dos clientes são armazenados, disponibilizados e analisados, pois isso é um fator crítico para o sucesso de implantação de um processo de Business Intelligence. Com o passar dos anos as empresas tendem a se adaptarem ao mercado, pois sua sobrevivência depende da forma com que o cliente enxerga os produtos e serviços prestados por estas empresas, determinando a possibilidade de compras futuras ou não. Na busca incessante de se traçar um perfil dos seus consumidores, é fundamental que as empresas que ofereçam uma grande quantidade de serviços e produtos, consigam efetuar a convergência dos seus clientes em um único ponto de análise, ou seja, em uma empresa de Telefonia, o mesmo cliente que possui um serviço de Telefonia Móvel e outro serviço de Telefonia Fixa deverá ser visto como um único ponto agregado, mesmo que internamente esse cliente e os seus produtos e serviços sejam tratados por sistemas de informação diferentes, é para este tipo de necessidade que o DW se aplica, ou seja, no DW o cliente pode ser entendido como um único cliente que possui n produtos e serviços, possibilitando o cruzamento de históricos para a determinação do seu perfil de consumo. Com a definição do foco do cliente, as empresas poderão desenvolver produtos e serviços personalizados

47 47 que atendam às necessidades de seus clientes, gerando satisfação e fidelização por parte do cliente e aumentando a receita por parte da empresa. A Figura 15, mostra a sala de gerenciamento de performance que é uma preocupação da empresa CTBC em acompanhar diariamente como estão os seus índices de indicadores de performance, como cancelamento, ativações, satisfação do cliente, dentre outros indicadores. Figura 15: Sala de gerenciamento de performance. Fonte: Dependências internas CTBC.

48 Algumas análises realizadas pela empresa CTBC. Para a empresa CTBC, o seu DW representa uma grande fonte de informações históricas de produtos e serviços comercializados junto aos seus clientes, sejam de Telefonia Fixa, Celular, TV a Cabo, Comunicação de Dados, Data Center ou como Provedora de Internet. Todas estas informações são utilizadas para descobrir e definir quais são os potenciais consumidores de novos produtos ou até mesmo oferecer uma solução integrada para o atendimento de necessidades de grupos de consumidores. Estes pacotes são construídos partindo-se da análise do perfil de consumo dos clientes, acompanhamento da aceitação do mercado em relação a um produto em específico, tendências de mercado, análise dos produtos da concorrência dentro outros. Logo a seguir serão apresentadas algumas análises realizadas pela empresa CTBC, que visam o atendimento das necessidades de seus clientes, a descoberta de novos produtos e serviços, aumento de receita, detecção de fraudes, recuperação de clientes cancelados, captação de novos clientes e principalmente a fidelização de seus clientes Adequação de produto / Aumento de Receita Caso 1: Existência da necessidade de identificar os clientes que possuem empresas divididas em Matriz e Filial, agregando a quantidade de minutos, para que se possa realizar uma campanha para o oferecimento do produto de telefonia dedicada para aqueles clientes que possuem as maiores quantidades de minutos efetuados entre Filial e Matriz e vice-e-versa. Ação Realizada: Gerar relatório com a quantidade de minutos gastos em ligações entre Matriz e Filiais da empresa X. Deve ser gerado o valor agregado dos últimos 5 meses separados por grupos de (MATRIZX FILIALY e FILIALY MATRIZX), para cada uma das filiais, incluindo as informações como telefone, endereço, contato comercial.

49 49 Conclusão: Com estas informações é possível realizar um estudo para determinar a possibilidade do uso de um produto que acarrete ao cliente uma economia em suas ligações, como por exemplo um serviço de telefonia de canal dedicado, podendo-se assim fidelizar este cliente, oferecendo ao mesmo um produto que melhor se adeque as suas necessidades. Caso 2: Analisar a possibilidade de existência de clientes que possuem um acesso a Internet através de banda larga e que não possuem o serviço de backup remoto dos seus dados. Ação Realizada: Gerar um relatório dos clientes de um certo segmento de mercado que possuem o serviço de banda larga (Net Super) e que não possuem o serviço de backup remoto (Net Backup), com os parâmetros: risco de inadimplência, perfil de uso, velocidade contratada. Conclusão: Este relatório tem como objetivo determinar os clientes em potencial para a aquisição de um novo produto, aumentando-se assim a receita da empresa. Neste caso a empresa ainda efetua uma análise do risco de inadimplência do cliente que é uma média do histórico de seus pagamentos, e ainda determina o grau de utilização do mesmo levando em consideração os produtos oferecidos pela empresa, podendo ser oferecido a este cliente um desconto maior na obtenção do novo produto. Caso 3: Identificar a possibilidade de clientes que adquiriram um aparelho celular e que nos últimos meses possuiu um baixo consumo em minutos. Ação Realizada: Gerar um relatório com os clientes que adquiram aparelhos celulares, e que possuem uma média de consumo abaixo de 20 minutos nos últimos 6 meses, com os parâmetros de contato, endereço, modelo do aparelho, média nos últimos seis meses. Conclusão: Neste relatório a empresa poderá identificar os clientes com baixo perfil de utilização e poderá desenvolver ações de redução de valores dos seus produtos e tarifas a fim de aumentar o grau de utilização por parte destes clientes, eliminando a possibilidade cancelamento de serviços por baixa utilização e o acréscimo da receita por parte da empresa.

50 50 Caso 4: Identificar a existência de empresas que possuem um alto gasto com ligações a cobrar. Ação Realizada: Gerar relatórios dos maiores clientes dos últimos 6 meses, que tiveram um gasto acima de 30% com ligações à cobrar. Conclusão: Este relatório poderá identificar aqueles clientes em potencial que poderão adquirir serviços como 0800, e que virão a ter uma redução em seus custos, por outro lado a empresa prestadora de serviços telefônicos perde em receita, porém tem a possibilidade de fidelização destes clientes, por oferecer um produto que melhor se aplique as suas necessidades Captação de novos clientes Caso 1: Para uma empresa de telecomunicações que presta serviços de telefonia local e longa distância é importante identificar clientes locais que estão utilizando o código de seleção de prestadora (CSP), para originar ligações a longa distância. Ação Realizada: Gerar relatório identificando os maiores clientes em volume de minutos no último semestre, que originaram chamadas de longa distância com o CSP de outra operadora. Conclusão: Este relatório visa o combate à concorrência oferecendo descontos àqueles clientes que tem um alto perfil de utilização do CSP da operadora concorrente. Caso 2: O acesso a Internet através de conexões discadas ainda é muito utilizado, e para uma empresa que oferece serviços de Internet banda larga, isto pode representar a possibilidade de novos negócios. Ação Realizada: Gerar relatório com os clientes que utilizam mais de 10 horas por mês de ligação à provedores de Internet discada, com os parâmetros de quantidade de portas ADSL em suas respectivas centrais telefônicas. Conclusão: Este relatório possibilita a empresa telefônica o oferecimento de um serviço de banda larga àqueles clientes que possuem um alto consumo de minutos com conexões discadas, e também a descoberta de novas necessidades de

51 51 expansão de sua rede de infra-estrutura para o atendimento destes clientes em potencial gerando receita para a empresa Recuperação de clientes cancelados Caso 1: O cancelamento de serviços ou produtos, geram uma perca de receita bastante significativa para empresas de telecomunicações, estas perdas poderiam ser reduzidas através da análise dos motivos de cancelamentos por parte dos clientes. Ação: Gerar relatórios dos clientes, que cancelaram o serviço de Banda Larga (Net Super) nos últimos 6 meses, por motivo de redução de custos, com os parâmetros: Risco de Inadimplência, Perfil de uso. Conclusão: Com estas informações a empresa telefônica poderá oferecer novos planos com valores mais acessíveis aos seus clientes que cancelaram o seu serviço com o motivo de redução de custo. Com esta análise é possível a recuperação de clientes perdidos e o incremento da receita da empresa levando-se em consideração a análise cruzada das informações de inadimplência de perfil de utilização dos produtos da empresa pelos clientes Detecção de Fraudes Caso 1: No setor de telecomunicações as fraudes em telefones públicos (TP) podem gerar grandes perdas de receita, podendo ser combatidas com a análise comparativa do perfil de utilização de cada TP. Ação: Gerar relatório dos TP s dos últimos 6 meses que efetuaram ligações com duração acima de 40 minutos, com os parâmetros de localização e quantidade de minutos. Conclusão: Este relatório visa, identificar possíveis fraudes no sistema telefônico e posteriormente a sua correção, evitando perca de receita por parte da empresa.

52 Readequação dos fluxos internos Caso 1: Para empresas grandes, divididas em várias áreas internas, é importante identificar quais são os gargalos para a implantação e ativação de produtos e/ou serviços aos seus clientes. Ação Realizada: Identificar o prazo médio de instalação de um serviço solicitado pelo cliente segmentado pelas atividades dos núcleos de implantação destes serviços. Conclusão: Para empresas que possuem várias tarefas necessárias para a implantação de um produto, sendo efetuadas por diferentes áreas dentro da própria empresa, que tem como objetivo final a implantação do serviço solicitado por este cliente, é possível identificar gargalos nos processos internos que poderiam ser melhorados a fim de uma implantação em um tempo menor e conseqüentemente uma satisfação maior por parte do cliente Aceitação do Mercado Caso 1: Campanhas de marketing são uma das formas mais utilizadas para a divulgação de produtos e serviços, porém é necessário identificar e medir qual foi a aceitação do mercado após a divulgação de uma campanha. Ação Realizada: Gerar relatório com o perfil de utilização de um serviço prestado pela operadora, após a divulgação de uma propaganda visual ou sonora. Conclusão: Com este relatório, a empresa pode determinar o aumento do consumo de um produto ou serviço bem como o grau de satisfação do cliente, causado diretamente pelo impacto de propagandas veiculados em mídia televisiva ou sonora.

53 53 6. FERRAMENTAS UTILIZADAS NOS PROCESSOS DE BI Após a definição da forma de coleta, modelagem e armazenamento dos dados em um DW é importante que se tenha ferramentas capazes de gerar conhecimento através da análise do conjunto de dados disponíveis. O mercado de BI oferece a possibilidade de escolha dentre várias ferramentas que possuem características dos mais variados tipos e para necessidades especificas. A seguir serão apresentadas algumas das ferramentas utilizadas em um processo de extração, transformação, carga dos dados em um DW e bem como a sua disponibilização aos usuários finais que efetivamente analisarão os dados obtidos e transformarão estes dados em diferencial competitivo para a empresa. 6.1 Data Stage A ferramenta Data Stage desenvolvida pelo fabricante Ascential, é uma ferramenta bastante flexível utilizada tanto nos processo de ETL, bem como a construção de relatórios estáticos e pontuais que possuem alta complexidade e alto consumo de horas de processamento. Esta ferramenta é capaz de comunicar com os mais diversos bancos de dados e outras formas de armazenado de dados bem como arquivos textos, planilhas eletrônicas dentre outros. O Data Stage é dividido nos seguintes módulos abaixo, que serão detalhados posteriormente: Data Stage Administrator Data Stage Directory Data Stage Designer

54 Data Stage Administrator O módulo Administrator é responsável pela separação dos projetos, ou seja, cada projeto com uma finalidade específica pode ser separado de uma forma organizada. A Figura 16, mostra a interface para a escolha do projeto. Figura 16: Interface do Data Stage Administrator Data Stage Directory O módulo Directory é responsável pelo acompanhamento dos processos de execução das tarefas programadas, a inicialização e a parada de processos manualmente, acompanhamento detalhado do processo de execução, análise dos logs dentre outras ações. A Figura 17, descreve a interface utilizada para este monitoramento.

55 Figura 17: Interface do Data Stage Directory. 55

56 Data Stage Designer Para a construção das tarefas ou jobs como são chamados os processos de execução, o Data Stage oferece uma interface de construção bem amigável chamado Data Stage Designer. Este módulo possibilita o arraste dos componentes necessários para a área de trabalho da ferramenta, possibilitando a realização do desenho das tarefas necessárias. A Figura 18, mostra alguns dos componentes mais utilizados na construção dos jobs. Componente Seqüencial-File Componente Transformer Componente Hashed-File Link de Conexão entre os Estágios Componente Agregator Componentes para conexão com banco de dados Figura 18: Interface do Data Stage Design Estágio OCI Este componente é responsável pela conectividade com as fontes de dados no formato de Banco de Dados, como por exempo: Oracle, SQLServer, DB2, Interbase, dentre outros.

57 57 Nesta interface se realiza o mapeamento das colunas referentes a consulta SQL a ser realizada. A Figura 19, mostra a interface de um OCI, com o código SQL a ser executado. Figura 19: Interface de um componente OCI Estágio Transformer O componente Transformer é responsável pelo recebimento e transformação da saída de dados dos outros estágios, e está representado pela Figura 20. Este componente possibilita o cruzamento e união de informações de diferentes fontes de dados, sejam elas resultado de consultas SQL, arquivos texto ou planilhas eletrônicas.

58 58 Figura 20: Interface de um componente Transformer Estágio Seqüencial File O componente Seqüencial File é responsável pela conexão com arquivos textos. Neste estágio o desenvolvedor define as colunas e localização física do arquivo. Este estágio pode ser utilizado tanto para a leitura de dados como a escrita de arquivos textos, ou seja, pode ser utilizado para a criação de arquivos intermediários durante o processo de execução, como por exemplo o resultado de uma consulta a um banco de dados. Na figura 21, podemos ver a interface de um Seqüencial File.

59 59 Figura 21: Interface de um componente Seqüencial File Estágio Hashed File O componente Hashed File é basicamente um componente Seqüencial File, a única diferença é que o estágio Hashed File é um arquivo texto ordenado seqüencialmente por alguma coluna, ou seja, pode ser um arquivo texto com informações de clientes ordenadas pelo campo CPF. A Figura 22, descreve a interface de Hashed File. Figura 22: Interface de um componente Hashed File.

60 Estágio Agregator O componente Agregator, é o estágio responsável por agregações tais como: somatória, média, mínimo, máximo, dentre outros, e está representada pela Figura 23. Figura 23: Interface de um componente Agregator. 6.2 Oracle Discoverer A ferramenta Oracle Discoverer, é uma ferramenta desenvolvida pela Oracle voltada para usuários finais das informações do DW, que possibilita a construção de relatórios que podem ser executados diariamente, mensalmente ou em outros períodos desejados. Nela é possível a construção de relatórios padrões com um menor grau de complexidade se comparado com os relatórios construídos na ferramenta Data Stage, para o atendimento das necessidades de vários grupos de usuários. É uma ferramenta que possibilita com que o usuário entre com filtros como: datas, nomes, valores numéricos e expressões regulares, para a execução dos seus relatórios, como pode ser vista na Figura 24. O principal atrativo desta

61 61 ferramenta é a possibilidade do usuário criar os seus próprios relatórios através do mapeamento do modelo de dados para uma interface amigável, através do arraste das colunas das tabelas montando-se assim a consulta SQL dinamicamente, representado na Figura 25, além da construção de colunas baseadas em cálculos, e a utilização de expressões condicionais representados respectivamente pelas Figuras 26 e 27. Figura 24: Interface para a configuração dos filtros para a execução dos relatórios.

62 62 Figura 25: Construção do relatório através do arraste das colunas. Figura 26: Construção de colunas baseadas em cálculos.

63 63 Figura 27: Utilização de expressões condicionais. Na Figura 28, podemos observar a forma com que o Oracle Discoverer disponibiliza as informações para o usuário final. Figura 28: Informação final mostrada ao usuário após a execução do relatório.

64 KPI Viewer (Key performance indicator) A ferramenta KPI Viewer é uma ferramenta voltada para a visualização de informações relacionadas aos objetivos estratégicos da empresa denominada indicador de performance. Esta ferramenta possibilidade a partir da análise de informações contidas em cubos multidimensionais provenientes das informações do DW, que foram previamente agregadas, a comparação histórica das métricas definidas pela empresa. Através desta ferramenta é possível o acompanhamento dia a dia das vendas de produtos, cancelamentos de serviços, aumento da receita dentre outras análises, e com isto é possível se identificar possíveis ações para reduzir prejuízos ou ações para a melhoria das vendas. A Figura 29, mostra a interface para o acompanhamento diário das métricas da empresa. Figura 29: Interface para o acompanhamento diário das métricas. Um diferencial desta ferramenta é a possibilidade de se realizar análises através do cruzamento das métricas disponíveis representado nas Figuras 30, 31 e