Heloise Acco Tives. Proposta e Aplicação de um Guideline para Desenvolvimento de um Data Webhouse

Transcrição

1 Heloise Acco Tives Proposta e Aplicação de um Guideline para Desenvolvimento de um Data Webhouse PALMAS TO 2006

2 Heloise Acco Tives Proposta e Aplicação de um Guideline para Desenvolvimento de um Data Webhouse Relatório apresentado como exigência curricular do curso de Sistemas de Informação, nas disciplinas de TCC I e TCC II, sob a orientação da Professora Drª Thereza Padilha. PALMAS TO 2006

3 iii Heloise Acco Tives Proposta e Aplicação de um Guideline para Desenvolvimento de um Data Webhouse Relatório apresentado como exigência curricular do curso de Sistemas de Informação, nas disciplinas de TCC I e TCC II, sob a orientação da Professora Drª Thereza Padilha. Aprovada em julho de BANCA EXAMINADORA Prof.ª Thereza Patrícia Pereira Padilha Centro Universitário Luterano de Palmas Prof. Parcilene Fernandes Brito Centro Universitário Luterano de Palmas Prof. Madianita Bogo Centro Universitário Luterano de Palmas Prof. Fabiano Fagundes Centro Universitário Luterano de Palmas

4 iv DEDICATÓRIA Dedico este trabalho a minha mãe por todo carinho e dedicação que sempre me ofereceu, ao Flávio pela paciência, compreensão e apoio, e à Deus, meu Pai Maior.

5 v AGRADECIMENTOS À minha família, sempre fonte de apoio e segurança; aos colegas, incansáveis parceiros nesta caminhada; a toda família Sistemas de Informação do CEULP/ULBRA, que me acolheu com muito carinho, ao Professor Oscar Dalfovo, uma luz guiando os meus passos e à minha orientadora, Professora Thereza Padilha pela paciência e dedicação. A todos vocês, muito obrigado!

6 vi SUMÁRIO LISTA DE FIGURAS... viii LISTA DE TABELAS...ix LISTA DE ABREVIATURAS...x RESUMO...xi ABSTRACT... xii 1 INTRODUÇÃO REVISÃO DE LITERATURA Sistemas de Informação Sistemas de Processamento de Transações Sistemas de Informação Gerenciais Sistemas de Apoio à Decisão Sistemas de Informação Executiva Data warehouse Definição Banco de Dados Operacional X Data Warehouse Características Composição e Objetivos Benefícios Data Webhouse Trazer a Web para o warehouse Trazer o warehouse para a Web Arquitetura do data webhouse MATERIAIS E MÉTODOS Local, Período e Forma Materiais Hardware Software Fontes Bibliográficas Métodos RESULTADOS E DISCUSSÕES Comparação entre as Tecnologias de data warehouse e data webhouse...41

7 vii 4.2 Guideline para Desenvolvimento de um data webhouse Fase de Planejamento Fase de Desenvolvimento Fase de Alimentação Fase Disponibilização Construção do data warehouse Construção do data webhouse Planejamento Desenvolvimento Alimentação Disponibilização CONCLUSÕES E TRABALHOS FUTUROS Conclusões Trabalhos Futuros...70 REFERÊNCIAS BIBLIOGRÁFICAS...71

8 viii LISTA DE FIGURAS FIGURA 1. EXEMPLOS DE DADOS BASEADOS EM ASSUNTOS/NEGÓCIOS (INMON, 1997) FIGURA 2. DUAS ABORDAGENS DO WEBHOUSE (MODIFICADO DE: KIMBALL E MERZ, 2000) FIGURA 3. TIPOS DE SAÍDAS FORNECIDAS PELO DATA WEBHOUSE (KIMBALL E MERZ, 2000) FIGURA 4. EXEMPLO DE ARQUITETURA DE DATA WEBHOUSE (MODIFICADO DE: KIMBALL E MERZ, 2000) FIGURA 5. EXTRAÇÃO DE INFORMAÇÕES DE DW E DATA WEBHOUSE (CHIARA, 2003) FIGURA 6. RELACIONAMENTO DAS TABELAS DO BANCO DE DADOS DA JORNADA DE INICIAÇÃO CIENTÍFICA DO CEULP/ULBRA FIGURA 7. RELACIONAMENTO FINAL DAS TABELAS PARA CONSTRUÇÃO DO DATA WAREHOUSE FIGURA 8. REPRESENTAÇÃO DAS TABELAS CONSTRUÍDAS SEGUINDO O MODELO ESTRELA FIGURA 9. RELAÇÃO DE ARTIGOS SUBMETIDOS POR CADA PROFESSOR DO CEULP/ULBRA FIGURA 10. RELAÇÃO EXISTENTE ENTRE CARGA HORÁRIA DOS PROFESSORES E SUBMISSÃO DE ARTIGOS FIGURA 11. COMPARAÇÃO ENTRE NÚMERO DE ARTIGOS SUBMETIDOS POR PROFESSOR E CARGA HORÁRIA FIGURA 12. RELATÓRIO APRESENTADO SOMENTE PARA OS USUÁRIOS DO PADRÃO DIRETOR FIGURA 13. DETALHES DO RELATÓRIO APRESENTADO NO PADRÃO DIRETOR FIGURA 14. RELATÓRIO APRESENTADO PARA OS USUÁRIOS DO PADRÃO ASSESSOR FIGURA 15. RELATÓRIO APRESENTADO PARA OS USUÁRIOS DO PADRÃO PROFESSORES FIGURA 16. DETALHES DO RELATÓRIO APRESENTADO NO PADRÃO PROFESSORES... 66

9 ix LISTA DE TABELAS TABELA 1. CARACTERÍSTICAS DOS SISTEMAS DE PROCESSAMENTOS DE INFORMAÇÃO TABELA 2. CARACTERÍSTICAS DOS DADOS NUM BANCO DE DADOS OPERACIONAIS E DW (INMON, 1997; SINGH, 2001) TABELA 3. COMPARAÇÃO ENTRE AS TECNOLOGIAS DE DATA WAREHOUSE E DATA WEBEHOUSE TABELA 4. RELAÇÃO DAS INSTITUIÇÕES FOMENTADORAS DE PESQUISA COM O NÚMERO DE ARTIGOS SUBMETIDOS TABELA 5. RELAÇÃO EXISTENTE ENTRE CARGA HORÁRIA DOS PROFESSORES E SUBMISSÃO DE ARTIGOS TABELA 6. COMPARAÇÃO ENTRE NÚMERO DE ARTIGOS SUBMETIDOS POR PROFESSOR E CARGA HORÁRIA... 59

10 x LISTA DE ABREVIATURAS DW Data Warehouse ER Entidade Relacionamento ETL Extração, Transformação e Carga ISP Internet Service Provider SAD Sistema de Apoio à Decisão SI Sistema de Informação SIE Sistema de Informação Executiva SIG Sistema de Informação Gerencial SO Sistema Operacional SPT Sistema de Processamento de Transações ZCD Zona de Concentração de Dados

11 xi RESUMO A Web vem se tornando um dos meios mais atraentes para as organizações como forma de divulgação de suas atividades, promoção dos seus produtos e serviços e desenvolvimento de atividades comerciais. A partir desse contexto, surgiu uma nova área de pesquisa, denominada data webhouse, que envolve o suporte da Web na obtenção de informações pertinentes para o processo decisório nas empresas. Em geral, data webhouse compreende conceitos das áreas de data warehouse e Web. O presente trabalho visa apresentar um estudo comparativo entre as tecnologias de data warehouse e data webhouse. Além disso, propor um guideline descrevendo as fases necessárias para a construção de um data webhouse genérico. Para validar o guideline proposto, um data warehouse, contendo dados da VI Jornada de Iniciação Científica do CEULP/ULBRA e dados com relação à carga horária dos professores, foi criado para acompanhar o processo de construção de um data webhouse. Por fim, relatórios com diferentes níveis de acesso são apresentados. Palavras-chave: data webhouse, data warehouse, informação, guideline.

12 xii ABSTRACT The Web has become one of the most attractive media for organizations spread their activities, product and service promotions and commercial activities development. So, a new research area was created, called data webhouse, that it is supported by Web to obtain pertinent information for the decisory process in companies. In general, data webhouse has concepts of the data warehouse and Web areas. The present work shows a comparative analysis among data warehouse and data webhouse. Moreover, to propose a guideline relating necessary phases for the data webhouse development. To validate this guideline, a data warehouse, consisting of data from a scientific event and work hours of professors, was created to follow the process of the data webhouse development. Finally, reports using different Access levels are presented. Keywords: data webhouse, data warehouse, information, guideline.

13 1 INTRODUÇÃO Ao longo dos últimos anos, o processo para a tomada de decisões nas empresas tem evoluído bastante, principalmente, no que diz respeito ao uso da informação. Atualmente, diretores, gerentes e administradores utilizam as informações existentes em seus sistemas como uma fonte de apoio para o processo decisório, tornando-o mais rápido e consistente. Além disso, com o uso da informação é possível, rapidamente, reagir às necessidades de negócio e tornar as organizações mais competitivas no mercado. Basicamente, esta evolução foi marcada pelo surgimento e disseminação dos sistemas de apoio à tomada de decisão. A tecnologia de data warehouse (DW), que faz parte do grupo dos sistemas de apoio à tomada de decisão, surgiu a partir dos anos 90 e conquistou um importante espaço nas empresas que necessitam obter, de alguma forma, respostas rápidas e consistentes para auxiliar o processo de resolução de problemas e a tomada de decisão (INMON e HACKATHORN, 1997). A partir de 1995, quando se iniciou a massificação da Web, os pesquisadores da área de data warehouse passaram a estudar as possibilidades de transmissão, de manipulação dos dados e, conseqüentemente, da informação contidos no data warehouse através da Web. Com isso, surgiu uma nova área de pesquisa denominada data webhouse que possui os mesmos princípios de data warehouse, mas com uma arquitetura diferenciada devido ter a presença efetiva da Web (KIMBALL e MERZ, 2000). Atualmente, existem duas abordagens para a criação de um data webhouse. A primeira abordagem visa trazer a Web para dentro de um DW através do estudo do comportamento do usuário na Web utilizando logfiles de servidores Web. A segunda abordagem consiste em maneiras de trazer um DW para a Web através da disponibilização dos dados do DW na Web (KIMBALL e MERZ, 2000). Independentemente da abordagem adotada, os websites comerciais e as organizações em geral possuem uma excelente oportunidade de coletar dados valiosos sobre os seus clientes e, com isso, auxiliar na

14 14 criação de melhores serviços e no aprimoramento das vendas. As empresas podem, ainda, utilizar esses dados para determinar os hábitos de compra, fornecer aos clientes recomendações sobre novos produtos e obter outras informações relevantes para o processo de descoberta de padrões dos usuários (KIMBALL e BLOCKEEL, 2000). Diante deste contexto, este trabalho visa mostrar a importância da tecnologia de data webhouse realizando, inicialmente, um estudo comparativo entre as tecnologias data warehouse e data webhouse. Além disso, será proposto um guideline contendo as etapas necessárias para a criação de um data webhouse a partir da abordagem proposta por Kimball de trazer o data warehouse para a Web. Este guideline englobará somente a abordagem de trazer o DW para a Web devido ao fato que não se possuir logfiles de servidores Web que utilizem procedimentos de armazenamento de seção de usuários, o que é fundamental quando se deseja incrementar o processo de trazer a Web para o data warehouse. Mas, mesmo utilizando-se apenas uma abordagem, o trabalho não será prejudicado, já que existe uma enorme carência de pesquisas nessa área, o que proporciona um campo bastante fértil a explorar. Com o intuito de validar o guideline proposto, um webhouse simples foi criado a partir de um DW contendo informações retiradas do banco de dados da VI Jornada de Iniciação Científica e da relação de carga horária dos professores do CEULP/ULBRA. Desta forma, foi possível verificar a efetivação de cada uma das etapas necessárias para a construção de um data webhouse a partir de um data warehouse existente. O data warehouse e o data webhouse, construídos durante o desenvolvimento deste trabalho, são aplicações experimentais que visam, principalmente, a apresentação de relatórios. Para a real utilização destas aplicações, é necessário implementar interfaces para comunicação com o usuário e uma aplicação de técnicas de segurança. A motivação para o desenvolvimento deste trabalho deve-se a dois fatores principais. O primeiro fator é o melhor entendimento da aplicação da tecnologia de data webhouse nas empresas, visto que ainda não é tão utilizada pelas organizações; e o segundo fator é relacionado à possibilidade de contribuir com pesquisas nesta área, uma vez que existem poucas referências atualmente. Sendo assim, este trabalho busca acrescentar ao meio acadêmico uma pesquisa mais aprofundada sobre data webhouse e apresentar experimentos sobre a técnica de levar o data warehouse para a Web.

15 15 A organização deste trabalho encontra-se da seguinte maneira: No capítulo 2, Revisão de Literatura, são apresentados conceitos relacionados aos Sistemas de Informação e as suas diversas ramificações. Depois, algumas definições de DW, as suas características, os seus objetivos e os seus benefícios são também mostrados. Em seguida, é apresentada uma fundamentação teórica sobre a tecnologia de data webhouse descrevendo, inclusive, as duas abordagens existentes para a construção de um data webhouse. No capítulo 3, Materiais e Métodos, são descritos o período, os materiais (divididos em hardware, software e fontes bibliográficas) e os métodos utilizados para a realização deste trabalho. No capítulo 4, Resultados e Discussões, são descritos os resultados obtidos com o estudo das tecnologias de data warehouse e data webhouse. Para isso, inicialmente, é apresentado um estudo comparativo detalhado das tecnologias de data warehouse e data webhouse. Em seguida, é apresentado o guideline proposto para auxiliar o processo de implementação de um data webhouse. Com o intuito de validar este guideline, é construído um data warehouse, em seguida, utilizando a base de dados desse DW, é construído e comentado o processo de construção de um data webhouse que utiliza as fases do guideline proposto. No capítulo 5, Conclusões e Trabalhos Futuros, encontram-se as conclusões sobre todas as etapas de desenvolvimento deste trabalho e uma relação de possíveis trabalhos futuros.

16 2 REVISÃO DE LITERATURA Este capítulo tem como objetivo apresentar uma visão geral dos principais tópicos relacionados a este trabalho, tais como Sistemas de Informação, data warehouse e data webhouse. 2.1 Sistemas de Informação Para se entender qualquer conceito de Sistemas de Informação (SI), é primordial lembrar que um dado é somente um elemento da informação que consiste em um conjunto de letras ou números e que, tomado isoladamente, não transmite nenhum conhecimento, ou seja, não contém significado. A informação é todo dado trabalhado, tratado, útil, com valor significativo atribuído ou agregado a ele e com um sentido natural e lógico para quem usa a informação. Quando a informação é trabalhada por pessoas e pelos recursos computacionais, possibilitando a geração de cenários, simulações e oportunidades, pode ser chamada de conhecimento (REZENDE, 2003). Rezende (2003) define um Sistema de Informação como sendo todo o sistema que usa ou não recursos da tecnologia da informação e assim manipulando e/ou gerando informações. Lesca e Freitas (1992) conceituam um Sistema de Informação como sendo o conjunto interdependente das pessoas, das estruturas da organização, das tecnologias de informação (hardware e software), dos procedimentos e métodos que deveria permitir à empresa dispor, no tempo desejado dar informações que necessita (ou necessitará) para seu funcionamento atual e para sua evolução.

17 17 A partir das definições apresentadas, percebe-se que um Sistema de Informação liga três importantes componentes dentro de uma organização, que são as pessoas que participam no processo de informação da empresa, as estruturas da organização (estratégias, regras adotadas na empresa, documentos, etc.) e as tecnologias de informação e de comunicação. Os sistemas de informação têm como propósito coletar, manipular, armazenar, disseminar dados e informações pela empresa e fornecer um mecanismo de feedback (STAIR, 1998), podendo estes, dados ou informações, serem pertinentes a assuntos internos à empresa ou relacionados ao ambiente em que estão inseridos. Os sistemas de informação são utilizados em diferentes contextos dentro de uma empresa e, para cada nível organizacional, existem categorias específicas de sistemas. Atualmente, as categorias de sistemas de informação típicas são os Sistemas de Processamento de Transações (SPT), os Sistemas de informação Gerenciais (SIG), os Sistemas de Apoio à Decisão (SAD) e os Sistemas de Suporte Executivo (SSE). Na Tabela 1 são apresentados esses sistemas de informação de acordo com as suas características. Tabela 1. Características dos Sistemas de Processamentos de Informação. Tipo do Origem da Sistema Entrada SPT Transações rotineiras; eventos. SIG Dados corporativos existentes e fluxos de dados internos. SAD Grandes volumes de dados condensados Fontes internas e externas. Processamento Tipos de Saída Nível do Usuário Tipo de Decisão Geração, Relatórios Operacional Predefinidas e ordenação, fusão e detalhados; (Dept. de altamente atualização de Relatórios Vendas e de estruturadas. listas. resumidos. Produção) Geração e resumo Relatórios mensais; Gerentes de Planejamento, de relatórios. Registros históricos; nível médio. controle e Informações sobre Funções de. tomada de desempenho atual decisão da empresa Interatividade; Relatórios especiais; Gerentes Não simulações; análises de decisões; administrativ estruturadas Inclusões; análises. respostas para os. (soluções não questões. especificadas antecipadamente) SIE Dados Filtram, Gráficos; Projeções; Gerentes Estratégicas.

18 18 agregados; comprimem e Respostas para seniores. Não Fontes monitoram dados questões. Altos estruturadas. internas, mas vitais. executivos. principalmente externas. Para melhor entendimento de cada um desses Sistemas de Processamento de Transações, cada um será abordado em detalhes nas próximas seções Sistemas de Processamento de Transações Os Sistemas de Processamento de Transações representam a aplicação dos conceitos e tecnologia de informação em transações rotineiras, repetitivas e, geralmente, comuns de negócios (STAIR, 1998). Uma transação pode ser entendida como um evento que ocorre num negócio tal como compra, venda, pagamento e entre outros. Os SPTs, juntamente com os Sistemas Operacionais (SO), foram os primeiros aplicativos de computador a serem desenvolvidos na grande maioria das empresas. Esses sistemas têm a tarefa de monitorar e processar as funções básicas e rotineiras de uma organização, tais como processamento de folha de pagamento, controle de faturamento e entre outros (STAIR, 1998, Laudon e Laudon, 1998). A partir da análise da Tabela 1, percebe-se que os SPTs têm como principal entrada as listagens dos processos rotineiros da empresa e as suas atualizações. Alguns exemplos desses processos são os pedidos de venda, pagamentos e registros dos empregados. O foco dos SPTs está no nível operacional da empresa em que são armazenados e processados fluxos de dados pertinentes à automação de processos de modo que estes sejam mais planejados e otimizados. Desta forma, os SPTS visam garantir a integração e a normalização possuindo, em sua grande maioria, alguns relatórios para gerenciamento. Os usuários que mais utilizam esse tipo de sistema são os funcionários de nível operacional e seus superiores (CENTENARO, 2003) Sistemas de Informação Gerenciais Os Sistemas de informação Gerenciais têm o propósito de dar suporte a decisões estruturadas nos níveis operacional e de controle gerencial, sendo que este tipo de sistema possui como fontes de alimentação dados corporativos existentes e fluxos de dados.

19 19 Após o processamento das entradas, os relatórios resumidos contendo resultados agrupados (por semanas, meses ou anos) das transações ocorridas e informações sobre desempenho atual da empresa são gerados. Os principais usuários desses sistemas são os gerentes de nível médio (tático) que utilizam os SIGs para auxiliar no controle das operações diárias da organização Sistemas de Apoio à Decisão Os Sistemas de Apoio à Decisão são sistemas que realizam o processamento analítico e provêem as informações necessárias ao usuário, permitindo a análise de situações e a tomada de decisões (INMON, 1997). É papel do processamento analítico utilizar os dados e as informações disponibilizados para sugerir soluções para problemas ou situações através de comparações, análise de padrões ou tendências. Esses sistemas oferecem aos usuários flexibilidade, adaptabilidade e uma resposta geralmente rápida, operando com pouca ou nenhuma assistência de outros profissionais. Os SADs proporcionam um suporte para tomada de decisões e resoluções de problemas cujas soluções não podem ser especificadas com antecedência e, para isto, usam análises de dados sofisticadas e ferramentas de modelagem. Os SADs são geralmente usados pelos profissionais da gerência administrativa, pois precisam resolver problemas de grande complexidade como, por exemplo, analisar os padrões de consumo dos últimos anos de uma determinada empresa para desenvolver um novo produto ou serviço. Os processamentos analíticos dos SAD permitem ao usuário analisar uma grande quantidade de dados, normalmente históricos, verificando problemas e situações como a identificação de perfis, tendências e padrões. A performance das consultas ou extrações de dados nesses sistemas é importante, mas não é considerada prioridade para os desenvolvedores desses sistemas. Os bancos de dados originados por este tipo de sistemas, bancos de dados analíticos, possuem ainda a grande vantagem de poderem se tornar integradores das informações provenientes dos diversos sistemas operacionais, possibilitando assim uma visão global de toda a organização (CENTENARO, 2003). Segundo Centenaro (2003), um dos conceitos mais conhecidos relacionado aos SADs é o de data warehouse, que consiste em organizar os dados corporativos da melhor maneira para dar subsídios de informações aos gerentes e diretores das empresas para as

20 20 decisões de nível tático-estratégicas. Tudo isso trabalhando de forma paralela ao banco de dados operacional da empresa. O data warehouse é o ponto central da arquitetura de processamento de informações para os sistemas de informação modernos, pois o data warehouse possui um alicerce de integração de dados corporativos e históricos para a realização de análises gerenciais (INMON e HACKATHORN, 1997). Na Tabela 1, pode-se observar que os SADs têm como entrada grandes volumes de dados condensados tanto de fontes internas como de fontes externas. Como resultado do processamento de um SAD, é possível encontrar respostas para muitas questões dos gerentes administrativos de uma organização Sistemas de Informação Executiva Os Sistemas de Informação Executiva são um tipo especial de SAD destinado à tomada de decisões de alto nível organizacional, oferecendo informações não estruturadas, tanto de dados internos quanto externos a respeito de aspectos da organização considerados fatores críticos de sucesso para a mesma (STAIR, 1998; FALSARELLA e CHAVES, 2001). Conforme a Tabela 1, verifica-se que enquanto um SAD oferece apoio para decisões focadas em uma área específica, um SIE filtra, comprime e monitora os dados vitais da organização enfatizando a redução de tempo e exigindo esforços para obter informações mais importantes para os executivos. 2.2 Data warehouse De acordo com os estudos realizados por Singh (2001), o volume de dados em uma organização dobra a cada cinco anos. Sendo assim, com o passar dos anos, essas organizações terão uma abundância de dados que, muitas vezes, são redundantes e inconsistentes o que possibilita uma análise trabalhosa e incorreta. Para as organizações serem mais competitivas na era da informação, estas devem estar preparadas para lidar com a avalanche de informações em que se baseiam para tomar as decisões críticas do negócio. A única forma de sobreviver no futuro é ser capaz de analisar informações consistentes e relevantes, planejar e então reagir às mudanças de condições nos negócios

21 21 com rapidez. Atualmente, percebe-se que o problema das empresas não está na obtenção de informações, mas sim na forma como essas informações são estruturadas e distribuídas dentro de uma organização. Os sistemas convencionais, tais como de almoxarifado, compra/venda e contabilidade, são os responsáveis pelo armazenamento de grande parte das informações de uma empresa, mas esses sistemas não são projetados para gerar e armazenar as informações estratégicas, o que torna os dados vagos e sem valor para o apoio ao processo de tomada de decisões nas organizações (OLIVEIRA, 2002). Para suprir as necessidades de como armazenar e trabalhar com as informações de maneira estratégica, as empresas dependem de ferramentas apropriadas para extrair dados específicos, convertê-los em informação do negócio e monitorar as mudanças (SINGH, 2001). Face a este contexto, no início da década de 90, surgiram os primeiros data warehouses com o intuito de realizar operações em que o banco de dados operacional da empresa não suportava e se tornar uma ferramenta estratégica para a obtenção dos dados de forma flexível, eficaz e eficiente, pois os dados se tornaram os bens mais importantes e valiosos da empresa (SINGH, 2001). Nas seções seguintes serão apresentadas algumas definições e características de data warehouse, as diferenças entre um data warehouse e um Banco de Dados Operacional e os benefícios trazidos pela utilização desta tecnologia Definição Para Inmon (1997), data warehouse é um conjunto de dados baseados em assuntos, integrado, não-volátil e variável com relação ao tempo para apoio às decisões gerenciais. Nesta definição, Inmon conseguiu agregar, de forma simples, as mais importantes características dos dados de um data warehouse. Essas e as demais características de um data warehouse são apresentadas e exemplificadas na seção Singh (2001) define data warehouse como sendo o processo de integração dos dados corporativos de uma empresa em um único repositório a partir do qual os usuários finais podem facilmente executar consultas, gerar relatórios e fazer análises. Um data warehouse é um ambiente de suporte à decisão que alavanca dados armazenados em diferentes fontes, organiza-os e entrega aos tomadores de decisões da empresa independentemente da plataforma utilizada. Pode-se resumir essa definição dizendo que a tecnologia de data warehouse é apropriada para a gestão e análise de dados como uma

22 22 ferramenta competitiva que permite a qualquer usuário final acessar dados com qualidade da empresa. Segundo Harrison (1998), os data warehouses são projetados para suprir as necessidades dos executivos no que diz respeito à obtenção veloz de informações sobre o desempenho comercial. Essas informações são expressas em termos de lucro ou prejuízo financeiro que é medido pelas vendas de produtos e serviços ou número de clientes. Em vez de armazenar, repetidamente, os dados em vários sistemas proprietários de aplicativos simples, um data warehouse é acessível por múltiplos aplicativos que compartilham uma administração central aberta. Essa administração aberta significa que as informações estarão disponíveis a qualquer momento para todos os membros da gerência que necessitarem delas. Ampliando a definição de Inmon, Harrisson (1998) descreve que um data warehouse deve também conter dados precisos e completos. Deve ser capaz de apoiar todas as necessidades analíticas do usuário para lidar com os aspectos críticos do gerenciamento do negócio baseado nos assuntos necessários ao sucesso a longo prazo, em vez de focar aos aspectos operacionais como programação de produção e processamento de pedidos. Um data warehouse bem projetado contém todos os dados necessários para responder às perguntas da análise comercial (O quê? Quando? Por quê? E se...? etc...), evitando a possibilidade de término prematuro da procura por uma resposta porque não há informação disponível. Em termos simples, um data warehouse (que significa armazém de dados) pode também ser definido como um banco de dados especializado, o qual filtra, integra, gerencia e disponibiliza o fluxo de informações a partir dos Bancos de Dados corporativos e fontes de dados externas à empresa. Tudo isso num banco de dados paralelo aos sistemas operacionais da empresa (OLIVEIRA, 2002). Formando uma definição a partir da análise dos estudos dos autores mencionados anteriormente, verifica-se que um data warehouse caracteriza-se como um armazém contendo dados extraídos do ambiente operacional da empresa, que foram selecionados e depurados, sendo otimizados para processamento de consultas e não para processamento de transações.

23 Banco de Dados Operacional X Data Warehouse Com a necessidade de obter informações de alta qualidade que possam ser acessadas e analisadas, muitas empresas foram obrigadas a desenvolver um data warehouse. Essa necessidade deve-se à diferença fundamental entre o processamento de dados operacionais e funcionais (SINGH, 2001). Para se ter um melhor entendimento da tecnologia de data warehouse, é importante apresentar as diferenças existentes entre os dados de um banco de dados operacional e de um DW. As principais diferenças desses dados são apresentadas na Tabela 2. Tabela 2. Características dos dados num Banco de Dados Operacionais e DW (INMON, 1997; SINGH, 2001). Dados de Banco de Dados Operacionais Dados de Data Warehouse Baseiam-se em aplicações e transações Baseiam-se em assuntos ou negócios e suas análises São detalhados e atuais São resumidos ou refinados e históricos São exatos em relação ao momento de Representam valores de momentos já acesso decorridos ou instantâneos Atendem à comunidade funcional Atendem à comunidade gerencial São atualizados com freqüência Não são atualizados São processados repetitivamente São processados de forma heurística Performance é fundamental Possuem performance atenuada Não contemplam a redundância Contemplam redundância Estrutura fixa; conteúdos variáveis Estrutura flexível Pequena quantidade de dados usada em Grande quantidade de dados usada em um um processo processo Atendem às necessidades cotidianas Atendem às necessidades gerenciais Alta probabilidade de acesso Baixa ou modesta probabilidade de acesso Nas próximas seções será abordado com detalhes as diferenças apresentadas na Tabela 2.

24 Dados de banco de dados operacionais Os dados que compõem um banco de dados operacional baseiam-se em aplicações e transações rotineiras de uma organização, atendendo às necessidades cotidianas da organização como, por exemplo, um controle de estoque. É por esse motivo que há a necessidade desses dados serem bastante atuais e detalhados. Os maiores utilizadores desta fonte de informação são os membros da comunidade funcional de uma organização como os gerentes de baixo nível e os operadores dos sistemas da organização. Como os dados que compõem o banco de dados operacional são orientados para as transações da empresa, vários acessos são realizados ao mesmo tempo implicando na freqüente atualização desses dados. Sendo assim, uma alta performance e disponibilidade são necessárias porque não é interessante um determinado usuário ficar aguardando o fim da sessão de um outro usuário. A necessidade de alta performance é auxiliada pelo fato das consultas utilizarem uma pequena quantidade de dados em cada processo. A estrutura de armazenamento desses dados é fixa, apenas o conteúdo é variável, podendo ser alterado em qualquer momento. Como ocorrem muitas alterações, deve-se ter um cuidado especial para não afetar as consultas dos usuários e assim gerar inconsistências. Para auxiliar o sucesso das operações, o número de redundância de informações deve ser nulo ou muito próximo disso. A alta probabilidade de acessos realizados concomitantemente gera a necessidade dos dados que compõem os bancos de dados operacionais serem exatos em relação ao tempo de seu acesso para que não possibilite a formação de inconsistências Dados de data warehouse Com relação aos dados que compõem um data warehouse, sabe-se que são baseados em assuntos ou negócios e nas suas análises, atendendo as necessidades gerenciais da organização como, por exemplo, a decisão da escolha dos tipos de serviços/produtos que devem ser fornecidos pela organização. É por esse motivo que há a necessidade do DW armazenar o resumo ou o refinamento das informações da organização, permitindo assim uma visualização mais fácil da solução. Como o DW é composto por informações históricas, ou seja, informações sobre operações que já foram realizadas, concluídas e estabilizadas no ambiente operacional da organização, estas informações são raramente modificadas.

25 25 Os DWs são utilizados, principalmente, pelos gerentes de alto nível de uma organização para auxiliar no processo de tomada de decisão. Sendo assim, percebe-se que a probabilidade de acesso a um DW é bastante modesta se comparada ao número de acessos realizados ao banco de dados operacional de uma organização. Para cada consulta realizada, um grande conjunto de informações deve ser acessado, o que pode comprometer um pouco a performance do sistema. Mesmo com uma performance atenuada, o tempo de resposta não deve passar de poucos minutos. A estrutura dos dados em um DW é bastante flexível, podendo até contemplar redundância. As consultas realizadas são processadas de forma heurística 1 para fornecer uma solução mais rápida para o problema proposto Características Um data warehouse tem como principais características: ser baseado em assuntos; ser integrado; não ser volátil; e ser variável em relação ao tempo. Cada uma dessas características será descrita a seguir Baseado em assuntos Um data warehouse armazena informações sobre temas específicos e importantes para a organização. Estas informações poderão ser organizadas de acordo com a necessidade das pessoas que farão o uso delas. Uma mesma informação tem diferentes níveis de detalhes, os quais devem estar disponíveis no data warehouse, mas para isso é necessário que durante a construção do sistema, os usuários finais discutam com a equipe de projeto quais são seus objetivos e quais são as informações importantes para o processo de análise. 1 É o método analítico para descobrir a verdade científica, ou seja, são estratégias que um sujeito compõe, norteado pelos seus objetivos, fins determinados e valores, levando em conta o que lhe é significante, recuperando dessa forma a sua subjetividade no processo de redescoberta e busca em situações conflitantes (MISKULIN, 1995).

26 26 Figura 1. Exemplos de dados baseados em assuntos/negócios (INMON, 1997). Conforme pôde ser verificado na Figura 1, os sistemas usando bancos de dados operacionais são organizados em torno das aplicações da empresa. Por exemplo, em uma empresa de seguros, algumas das aplicações são automóvel, vida, saúde e perdas. Por outro lado, em um data warehouse, os assuntos abordados serão cliente, apólice, prêmio e indenização Integrado Na maioria das vezes, para que a equipe de projeto obtenha sucesso, é necessário integrar dados oriundos dos sistemas legados. Infelizmente, atualmente ainda é comum encontrar empresas que têm um banco de dados para atender cada sistema existente. Além disso, muitos desses sistemas não tiveram padrões comuns para sua construção, o que resulta em dados representados de maneira muito diferentes. É por isso que a integração constitui uma das principais características de um DW, pois dessa integração depende a geração de uma única e confiável fonte de dados que irá compor a base de dados do DW.

27 Não volátil Um DW é formado, em quase a sua totalidade, por dados não voláteis. Isso significa que a partir do momento em que esses dados são inseridos no DW, raramente serão necessárias atualizações já que a carga de dados no DW ocorre somente após os dados serem refletidos e estabilizados no ambiente operacional. Com isso, após os dados serem carregados no data warehouse, a sua utilização será, principalmente, através de consultas Variável em relação ao tempo Um DW é separado dos bancos de dados operacionais para não atrapalhar o desempenho destes e também para resguardar os dados de alterações indevidas ou de perdas. Por isto é que um DW é considerado histórico, pois dados que passam a compor sua base deverão permanecer por décadas sem perder sua consistência e legitimidade. O fato de um DW possuir dados históricos não significa dizer que este contém dados desatualizados e os dados atuais são de fundamental importância conforme o tipo de decisão a ser tomada. Uma vez que os dados tenham sido refletidos e estabilizados no ambiente operacional, essas alterações precisam ser repassadas para o DW. O difícil está em dizer quanto tempo um dado leva para se estabilizar no ambiente operacional. INMON (1997) sugere que existam pelo menos 24 horas entre as modificações no ambiente operacional e a carga para o DW, sendo esse o tempo mínimo para que o DW receba informações corretas. O horizonte de tempo válido para um data warehouse é significativamente maior do que o dos sistemas operacionais. Um horizonte de tempo de 60 a 90 dias é o normal para os sistemas operacionais e um horizonte de tempo de 5 a 10 anos de dados é o normal para um data warehouse (INMON, 1997) Composição e Objetivos De acordo com Inmon e Hackathorn (1997), o objetivo de um data warehouse é fornecer uma imagem única da realidade do negócio. De uma forma geral, os sistemas de data warehouse são formados pelos seguintes componentes: conjunto de programas que extraem dados do ambiente operacional da empresa, banco de dados que mantém esses dados e sistemas que fornecem esses dados aos seus usuários.

28 28 Dentre os componentes apresentados, o principal é o banco de dados que vem a ser um banco de dados read-only (somente leitura), desenvolvido para fins de suporte à decisão. Os dados são extraídos de sistemas fonte, banco de dados e arquivos. Esses dados são integrados e transformados antes de serem carregados no data warehouse (SINGH, 2001). Já os sistemas que fornecem esses dados aos usuários são formados por um conjunto de ferramentas para consultar, analisar e apresentar informações. Kimball e Ross (1998) descrevem os principais requisitos de um data warehouse colocando como necessidades essenciais o dever de: a) fazer com que as informações da empresa sejam facilmente acessadas e compreendidas e que possam ser combinadas de inúmeras maneiras pelo usuário da área de negócio; b) fornecer acesso a dados corporativos ou organizacionais devendo esses dados serem consistentes e confiáveis podendo ser separados e combinados usando-se qualquer medição possível no negócio. Por exemplo, uma consulta de produtos vendidos num determinado período de tempo pode ser combinada com as informações dos clientes que adquiriram esse produto que, por sua vez, pode ser agrupada com as informações sobre as preferências do cliente. Os dados que alimentam o data warehouse devem ser obtidos cuidadosamente a partir de várias fontes na empresa, filtrados, submetidos a um controle de qualidade e liberados apenas quando estiverem prontos para serem usados. As informações de um processo de negócio devem coincidir com as informações de outro processo de negócio. Se duas avaliações de desempenho tiverem o mesmo nome, então deverão também ter o mesmo significado. Por outro lado, se duas medições não tiverem o mesmo significado, então devem ter identificações distintas. Apenas após passar por esses filtros é que os dados podem ser liberados para alimentar um DW; c) ser adaptável e flexível a mudanças de negócios, pois é impossível evitar alterações com o passar do tempo nas necessidades dos usuários, nas condições comerciais, na forma de utilização dos dados e nas tecnologias utilizadas. Com isso, o DW deve-se adaptar às mudanças sem danificar a estrutura já existente; d) mostrar-se como um ambiente extremamente seguro no qual as informações estejam protegidas, controlando de modo eficaz o acesso às informações confidenciais da empresa; e

29 29 e) fornecer informações apropriadas para uma melhor tomada de decisão, resultando em alterações positivas nas operações da organização. Após a apresentação da composição e dos objetivos do data warehouse, para completar o processo de estudo do DW falta apenas descrever os benefícios obtidos através da utilização desta tecnologia, sendo assim, esses benefícios serão apresentados na próxima seção Benefícios Segundo Machado (2000), construir um data warehouse é organizar armazéns de dados contendo a história da empresa, os clientes, os fornecedores e as operações realizadas. Com isso, verifica-se que uma importante meta de um data warehouse é possibilitar a visualização concisa de informações relevantes para apoiar o processo de tomada de decisões. Possivelmente, a grande quantidade de informações originadas diariamente seja a ocorrência que afeta o data warehouse de forma mais significativa, pois os dados que já estão carregados no DW estão prontos para serem acessados a qualquer momento, e as novas informações precisam ser trabalhadas, testadas e comparadas para não acarretar inconsistências na formação do DW. As organizações perceberam que, dada a relação fundamental entre conhecimento e poder, o uso dessas informações é imprescindível para sua vantagem competitiva. Diante deste contexto, Singh (2001) coloca o data warehouse como o meio que as empresas têm para atender quatro exigências corporativas interrelacionadas: preparar seus sistemas e usuários para uma evolução constante; melhorar a contribuição de cada funcionário na produtividade e na receita; maximizar os lucros desempenhando os principais processos do negócio de forma melhor que os competidores e eliminando o maior número possível de práticas consumidoras de recursos; e aplicar ciência à informação. Kimball e Ross (2000) descrevem os principais benefícios da utilização de um data warehouse, conforme mostrado a seguir. 1. O data warehouse fornece acesso a dados corporativos ou organizacionais. Esse acesso pode proporcionar diversos resultados, desde uma reposta a um simples questionamento, como por exemplo, qual o lucro da empresa no último semestre, até a

30 30 geração de relatórios completos fazendo a ligação dos produtos mais vendidos em uma determinada região relacionado com o seu custo/lucro. Através de acessos realizados por computadores, os gerentes e os analistas de uma organização podem acessar o data warehouse de forma imediata e com alto desempenho. Um acesso de alto desempenho significa que as simples consultas são executadas em menos de um segundo. 2. Os dados do data warehouse são consistentes. A consistência significa que se duas pessoas solicitam uma mesma informação, estas devem receber o mesmo resultado. 3. Os dados no data warehouse podem ser separados e combinados usando-se qualquer regra de negócio. 4. O data warehouse não consiste apenas em dados, mas também em um conjunto de ferramentas para consultar, analisar e apresentar informações. Alguns tipos de ferramentas, incluindo descrição e exemplos, são descritos a seguir: Executive Information Systems (EIS): são ferramentas de consulta às bases de dados para a apresentação de informações de forma simples e amigável, atendendo às necessidades dos executivos de alto nível (RINALDI, 2003). Exemplos: Oracle Express (EXPRESS, 2006), Seagate/HOLOS (HOLOS, 2006) e SAS (SAS, 2006). Ferramentas de Consulta Ad-hoc e Relatório: são ferramentas que elaboram consultas que não foram previamente determinadas pelo administrador do sistema, ou seja, o usuário final estará montando sua consulta de acordo com suas necessidades. Geralmente estas ferramentas trabalham com consultas SQL construídas dinamicamente, executadas geralmente por ferramentas residentes na estação de trabalho do usuário final. Exemplos: Oracle Discoverer (DISCOVERER, 2006), Business Objects XI (BUSINESS, 2006), CrystalReports (CRYSTAL, 2006) e Cognos Business Intelligence 8 (COGNOS, 2006). Ferramentas OLAP (On-Line Analytic Processing): têm como objetivos o suporte e a simplificação de pesquisas que utilizem dados modelados dimensionalmente. Essas ferramentas permitem obter informações e apresentá-las de formas não convencionais, como tabelas 2D e 3D, mapas e gráficos. Exemplo: DSS da MicroStrategy (DSS, 2006), Oracle Express (EXPRESS, 2006), Seagate/HOLOS (HOLOS, 2006) e SAS (SAS, 2006). Ferramentas de Análise Estatística: processamento estatístico de resultados de consultas para previsões, análises de risco e análises de grupamentos (RINALDI,

31 ). Exemplos: SAS (SAS, 2006), AnswerTree 3.1 (ANSWER, 2006), Clementine 9.0 (CLEMENTINE, 2006) e Seagate/HOLOS (HOLOS, 2006). Ferramentas de Desenvolvimento de Aplicação: ambientes para desenvolvimento de aplicações por completo. Exemplos: Oracle Developer (DEVELOPER, 2006), Visual Basic (VISUAL, 2006). Com isso encerra-se o processo de apresentação da definição, das características, da composição, dos objetivos e dos benefícios do data warehouse. Na próxima seção será apresentada a definição e as abordagens do data webhouse. 2.3 Data Webhouse A área de data webhouse surgiu a partir da união de conceitos utilizados em data warehouse e na Web. Assim, data webhouse é considerado um data warehouse direcionado para a Web, dedicado para a publicação dos dados da empresa e para o fornecimento das informações para a tomada de decisões. De acordo com Kimball e Merz (2000), a criação de um data webhouse pode ser vista sob duas abordagens diferentes, que são: a inserção da Web no warehouse e a inserção do warehouse na Web. A primeira abordagem consiste na introdução da Web em um warehouse, ou seja, trazer informações armazenadas em logfiles (arquivos de log) de servidores Web para o data warehouse a fim de analisar esses dados e, alternativamente, combiná-los a fontes de dados existentes tornando-se uma nova fonte de consulta de informações sobre os usuários da Web e suas interações. Os logfiles correspondem aos dados da seqüência de cliques efetuada pelos usuários, os quais são armazenados de forma cronológica nos servidores Web (BORGES, 2005). Os logfiles, dependendo da configuração do servidor Web utilizado, podem armazenar diversos tipos de informações. Dentre essas informações, as mais comuns são: o caminho utilizado pelo usuário para entrar no site (se foi digitando a URL diretamente ou se foi através de mecanismos de busca), o tempo que o usuário ficou visitando o site, as páginas acessadas pelo usuário e os produtos ou serviços pesquisados. A segunda abordagem consiste em trazer o data warehouse existente para a Web, em que o ambiente de consulta passa de cliente/servidor como acontece no DW, para um ambiente compatível com a Web.

32 32 Num ambiente compatível com a Web, o número de usuários que podem ter acesso às informações é incontável, pois a Internet é freqüentemente descrita como a rede das redes, pois liga diversas redes regionais, nacionais e internacionais, tornandose verdadeiramente global (CAMARGO, 2006). Desta forma, a abrangência de um data webhouse pode se tornar infinitamente maior que a abrangência de um data warehouse. Na Figura 2, é apresentada uma versão gráfica dessas duas abordagens mencionadas, no qual o resultado, independente da abordagem escolhida, consistirá na formação de um data webhouse. WEB Trazer o Warehouse para a Web Trazer a Web para o Warehouse (os dados da seqüência de cliques). Webhouse Warehouse Figura 2. Duas Abordagens do webhouse (Modificado de: Kimball e Merz, 2000). Nas próximas seções serão relatadas, mais detalhadamente, as abordagens da área de data webhouse Trazer a Web para o warehouse Trazer a Web para o warehouse significa trazer comportamentos para o warehouse, ou seja, capturar, analisar e entender o comportamento dos usuários que clicam nos sites da Web, proporcionando para os desenvolvedores de sites e analistas de marketing de uma

33 33 organização informações de relevância sobre cada gesto efetuado por um visitante ou usuário do site em questão (KIMBALL e MERZ, 2000). Para a aplicação desta abordagem é necessário obter dados através de logfiles que são mantidos por servidores Web. Nesses logs, cada ação do usuário no site é coletada e armazenada em ordem cronológica. A importância dos dados coletados está em fornecer informações relevantes sobre a dinâmica de acesso, ajudando a melhorar a qualidade das interações com os usuários, podendo levar a maior lealdade e, conseqüentemente, aumento dos lucros da empresa. Porém, esses dados não podem ser usados de forma indiscriminada, porque não possuem informações suficientes, precisam ser integrados com outras fontes de dados da empresa, já que uma seqüência de cliques bruta não é uma descrição completa de comportamento, podendo levar a conclusões precipitadas (PERNAS, 2003). Com isso, verifica-se que é necessário analisar e encontrar padrões nessa seqüência de cliques, descobrindo assim o propósito do usuário e verificar se o objetivo do usuário foi alcançado ou não (Kimball e Merz, 2000). A análise, a limpeza e a transformação destes dados são ações fundamentais e requerem conhecimento da estrutura do site e da aplicação que está sendo desenvolvida. Neste aspecto, a construção do webhouse é bastante parecida com a construção do DW, pois a partir do momento em que os dados foram obtidos, estes serão carregados no webhouse somente após sua transformação e padronização, garantindo assim a consistência dos dados Trazer o warehouse para a Web O data warehouse é o local em que são publicados de forma resumida os dados de uma empresa que já foram estabilizados no ambiente operacional. O surgimento da Web, no final dos anos 90, foi benéfico para o movimento de data warehouse, pois oferece vantagens que a indústria do data warehouse por si mesma demoraria mais tempo para alcançar como, por exemplo, o aumento do número de pessoas que tem acesso as informações contidas no DW ou as facilidades de acesso proporcionadas pelas Web. Para se adequar à realidade da Web, o DW tem que se adaptar a várias novas regras como, por exemplo, ser extraordinariamente fácil de utilizar, misturar consulta e atualização de modo transparente para o usuário, garantir velocidade de resposta, estar disponível 24 horas por dia, suportar dados multimídia e garantir segurança durante o acesso aos dados. Essas regras formam as principais características de um data webhouse e serão melhor definidas a seguir (KIMBALL e MERZ, 2000).

34 34 Aplicações voltadas para Web necessitam ser extremamente fáceis de utilizar, pois a grande diversidade de sites que possuem conteúdos semelhantes faz dos usuários cada vez mais exigentes com o que lhes é apresentado. Sendo assim, verifica-se que a eficácia da interface é medida diretamente com o usuário, já que a seqüência de cliques fornece possíveis evidências para realizar a verificação de satisfação do usuário. Por exemplo, se um usuário entrar e sair de uma página rapidamente, isso pode ser um indício de que este usuário não viu o que precisava, podendo significar que a página tem uma interface muito pesada. Mas, durante a análise da seqüência de cliques do usuário, deve-se levar em consideração tanto a existência de imprevistos com o usuário, que podem levá-lo a sair da página antes do término de sua visualização, como a satisfação da necessidade deste usuário com poucos instantes de acesso da página, para que com isso obtenha-se um resultado mais confiável da análise da interação do usuário com a página. O usuário da Web sempre espera encontrar informações atualizadas. Um servidor não deve ficar horas fora do ar para atualizar seu banco de dados, mesmo que isso seja realizado à noite. Desta forma, é essencial misturar grande volume de consultas e atualizações do servidor de modo transparente para o usuário. Para isso, o data webhouse precisa implementar funções para auxiliar as pesquisas realizadas freqüentemente como, por exemplo, um componente de cache de resposta automática e guardar esforços do servidor do data webhouse para fazer as atualizações sempre que necessário. Como os usuários da Web geralmente são impacientes, então o tempo máximo de resposta das consultas deve ser garantido pelo servidor, ou seja, a velocidade de resposta não deve ser maior do que um determinado limite. O alcance mundial da Web é uma das suas características mais notáveis. Levando isso em consideração, verifica-se que o data webhouse não pode ficar fora do ar por motivo algum, nem que seja para fazer a recarga dos dados, pois existem usuários acessando informações de todas as partes do mundo, utilizando as aplicações a qualquer momento do dia, por isso o data webhouse deve estar disponível 24 horas por dia. O data webhouse deve entregar seus resultados nos mais variados formatos de dados, ou seja, em um ambiente multimídia. Pode ser verificado na Figura 3 algumas das saídas esperadas pelos usuários que são imagens gráficas, animações, mapas, vídeos e áudios. A capacidade de pesquisar todas as formas de informações, não somente texto estruturado e números, faz do data webhouse um verdadeiro portal de informações corporativas.