2. Modelo Tradicional de Construção de Aplicações de Business Intelligence

Tamanho: px
Começar a partir da página:

Download "2. Modelo Tradicional de Construção de Aplicações de Business Intelligence"

Transcrição

1 Modelo de Processo para Criação de BI em Banco de Dados NoSQL Orientado a Colunas Leandro Mendes Ferreira Faculdade de Informática e Administração Paulista Centro de Pós-Graduação MBA em Business Intelligence Rua Olimpíadas, 186 São Paulo, SP CEP: leandroimail@gmail.com Abstract. Business Intelligence applications are widely employed in various organizations, and main architecture's convergence point is the persistence Data Warehouse into relational DBMS. This paper proposes an alternative model for the process of creating a Business Intelligence application based on Data Warehouse under NoSQL DBMS with the columns model. Processes and tools are addressed in storage tier, data processing and presentation layer. Resumo. As aplicações de Business Intelligence são amplamente difundidas em diversas organizações, e tem como principal ponto de convergência de sua arquitetura a persistência de dados do Data Warehouse em SGBDs relacionais. Este artigo propõe um modelo alternativo para o processo de criação de uma aplicação de Business Intelligence baseada em Data Warehouse sob SGBD de modelo NoSQL de família de colunas. São abordados processos e utilização de ferramentas da camada de armazenamento, processamento de dados e da camada de apresentação. 1. Introdução Atualmente, as organizações utilizam como parte essencial o Business Intelligence (BI) para adquirir vantagens competitivas e possuir pleno conhecimento das informações referentes ao total ecossistema da organização, utilizando as informações internas quanto dados externos. Com a disponibilização exponencial dos dados, os Data Warehouses (DWs) vem tornando-se base de dados imensas. Esta demanda traz sérios problemas para uma plataforma baseada em banco de dados relacionais padrões, pois por natureza o modelo relacional de dados e as arquiteturas desse tipo de Sistemas Gerenciadores de Banco de Dados (SGBDs) não foram desenvolvidos para DWs destas grandezas. Os SGBDs tradicionais possuem problemas de escalabilidade, principalmente em nível horizontal. Para atender demandas cada vez maiores, vários fornecedores disponibilizam appliances, que são as arquiteturas robustas que incluem hardware e software personalizados. Entretanto, estas estruturas customizadas possuem custos elevados de implantação, manutenção e atualização, não sendo acessível para maioria das organizações, além de possuírem recursos e escalabilidade finita e limitada a um parâmetro determinado de tamanho da base de dados.

2 Em contrapartida, uma alternativa que pode ser utilizada em ambientes de software e hardware heterogêneos são os Banco de dados NoSQL, pois sua estrutura e arquitetura foram desenvolvidas para trabalhar com base de dados de terabytes ou superiores, com alta disponibilidade e escalabilidade horizontal irrestrita. Diante dos contextos apresentados, o presente artigo apresenta a discussão da arquitetura de BI, os SGBDs NoSQL além de sugerir um modelo de implementação de sistema de BI em SGBD baseados em família de colunas. Na seção 2 descreve-se a arquitetura tradicional de BI. A Seção 3 introduz o conceito de NoSQL e bancos de dados em família de colunas, exemplificado pelo banco de dados Apache Cassandra. A seção 4 apresenta a metodologia, a arquitetura de BI com a utilização de banco de dados NoSQL colunar. Na seção 5 é apresentado um estudo de caso onde é aplicado o modelo proposto. Por fim a seção 6 traz as considerações finais e perspectivas sobre a arquitetura de BI sobre banco de dados NoSQL. 2. Modelo Tradicional de Construção de Aplicações de Business Intelligence Segundo Kimball e Ross (2013) e Inmon (2005), as principais estruturas e processos para a criação de um modelo tradicional de aplicações BI 1 são ordenadas a partir de seis pontos, que são apresentados em resumo na figura 1. Figura 1 - Modelo tradicional de construção de aplicações B.I. Os principais pontos definidos por Kimball e Ross (2013) e Inmon (2005), são: Data Source (DSs): Refere-se às fontes de dados, que podem envolver arquivos sequenciais, banco de dados estruturados relacionais de diversas naturezas, sistemas transacionais e quaisquer outras fontes de dados que possam ser processadas e incrementadas ao DWs/Data Mart. Extract, Transformation and Load (ETL): Processo que envolve extrair os dados dos DSs. Aplicar um processo de transformação que envolve limpeza, adequação e agregação dos dados, para que estes possam ser convergidos em uma forma universal e por fim o carregamento destes dados nos seu devido DWs. 1 São também processos do universo do BI os Data Miner (mineração de dados) e o Analytics/Data Discovery (análises e descobrimento de dados) que não serão abordados neste artigo.

3 Staging Area \ Operational Data Store (ODS): É uma área temporária onde são armazenados os dados antes da transformação. A área intermediária (staging area) geralmente é utilizada para carga dos dados brutos dos DSs para posterior trabalho de transformação, sendo acessadas por desenvolvedores e responsáveis de ETL. Já a ODS é utilizadas como área de integração de dados pelos usuários e/ou sistemas transacionais. Data Warehouse: O armazém central de dados, onde são disponibilizados de forma corporativa. São bases de dados históricas não voláteis, ou seja, possuem dados gravados fisicamente que não sofrem alterações e representam diferentes instantes de tempo sobre a informação.são bases de dados que sofrem processamento massivo de escrita não sendo utilizado para processamento de visualização de dados. Data Mart (DMs): Pequenos armazéns de dados com recortes específicos para atendimento das aplicações e áreas de negócio, com uma enésima parte da totalidade de dados armazenados no DWs. Por definição é a camada de DM que sofre o processamento das ferramentas de visualização de dados. Ferramentas de Visualização de Dados: Responsáveis pela visualização dos dados contidos nos DMs. São expoentes as ferramentas de On-line Analytical Processing (OLAP) que apresentam os dados de forma multidimensional. Destacam-se também ferramentas de relatórios e as de apresentação em Dash Board (painéis de controle) que apresentam as informações em forma de gráficos, indicadores e tabelas. O DW de forma clássica é persistido em bases de dados relacionais, orientada a linhas. Em Kimball e Ross (2013) e Inmon (2005), observa-se que orientam a modelagem da base de dados do DWs e os DMs, como Schema Star (esquema estrela ou modelo estrela), apresentado graficamente na Figura 2. Este modelo é uma modelagem de dados de forma desnormalizada. Os dados que possuem conteúdos que podem ser mensurados e/ou calculados, ou seja, todos os dados que são traduzidos em métricas são armazenados em Tabelas Fato. Estas são relacionadas com tabelas que possuem as dimensões, contendo as informações para segmentação e análise dos dados, chamadas de Tabelas Dimensão. Figura 2 - Representação do Modelo Estrela de Kimball e Ross (2013) 3. Sistemas Gerenciadores de Base de Dados NoSQL NoSQL é um termo que agrupa SGBDs não relacionais, que atendem a grandes volumes de dados com alto desempenho e alta disponibilidade. Eles são definidos por apresentarem as seguintes características: Ausência da linguagem padrão de consulta SQL-ANSI: SGBDs NoSQL em inglês Not only SQL não possuem em sua estrutura a linguagem de consulta comum de banco de dados relacionais, o Structured Query Language (SQL). Em geral

4 disponibilizam interfaces de programação de aplicações (APIs) para consulta ou linguagem própria como o CQL do Cassandra ou MongoQuery do MongoDB. Escalabilidade horizontal: Capacidade de processamento em diversos nós de um cluster ou diversos clusters. Permitem que a carga de processamento seja dividida em diversos agentes, aumentando significativamente a capacidade de processamento do SGBD. Possui a possibilidade de incluir no mesmo cluster, hardwares heterogêneos de arquiteturas e configurações distintas. Schemaless ou Schema Free: Trabalham com esquemas de dados flexíveis ou totalmente sem esquemas, favorecendo o trabalho com diversos tipos de dados e aplicações de alta mutabilidade de formatos. Sharding e Replicação: Replicação de dados em vários nós do SGBD e compartilhamento (sharding) de dados. Estas características favorecem o processamento paralelo e em geral alta disponibilidade do sistema. Consistência Eventual: Trabalham com o paradigma otimista de consistência de dados, onde inconsistências eventuais e temporárias devem ser aceitas e previstas para priorizar a alta disponibilidade do sistema. Esta consistência é efetuada em um momento posterior a transação, como descrito em Gilbert e Lynch (2002) no modelo Basically Avaliable, Soft State, Eventual Consistency (BASE). Segundo Lócio et al.(2011), os SGBDs NoSQL são altamente relevantes para aplicações que necessitam de uma tecnologia que ofereça suporte ao gerenciamento e escalabilidade de grandes volumes de dados, de maneira simples e eficiente. Por exemplo, as aplicações web que podem produzir volumes de dados imensos. Por estes motivos empresas focadas em aplicações web como o Google, Facebook, Twitter, Amazon, LinkedIn desenvolvem e/ou adotam tecnologias de SGBD NoSQL. Moniruzzaman e Hossain (2013) classificam os atuais SGBDs NoSQL em quatro tipos básicos de arquiteturas: Chave-Valor: São normalmente orientados a uma chave alfa-numérica e valores associados, sendo esses valores simples como texto ou complexos como: listas, tabelas, imagens entre outros. Orientados a Documentos: São bases de dados construídas para armazenar documentos. Esses documentos são representados internamente de uma forma padrão de troca de documentos como XML e Javascript Option Notation (JSON). Na Figura 3 há uma representação gráfica da base de dados orientada a documentos.

5 Figura 3 - Representação de base de dados orientada a documentos de Moniruzzaman e Hossain (2013) Família de Colunas: Assim como o modelo chave-valor, ele representa múltiplos atributos por cada chave, como será visto na Figura 4, com a diferença que os atributos são representados por tabelas. Gravando cada coluna da tabela separadamente, armazenando de forma contínua cada atributo referente à chave. São os maiores exemplos de SGDB de família de coluna o Apache Cassandra, Big Table da Google e o Apache HBase. Figura 4 - Representação de tabela de família de colunas de Moniruzzaman e Hossain (2013) Orientado a Grafos: São bases de dados desenvolvidas sobre os conceitos da teoria dos grafos, onde as tabelas são representadas como uma rede orientada a objetos de nós (objetos conceituais), relações entre nós (arestas) e propriedades (atributos de objetos de dados chave-valor). Geralmente, são utilizadas em aplicações em que existe alta complexidade de relacionamentos, como redes sociais e sistemas de recomendações. Na Figura 5 apresenta-se uma representação gráfica de uma base de dados orientada a grafos:

6 Figura 5 - Representação de base orientada a grafos de Moniruzzaman e Hossain (2013) 3.1. Características de bases de dados de família de colunas e os DWs As principais vantagens de bancos de dados de modelo colunar em relação aos de modelo relacional estão vinculadas à compressão, materialização e bloco de iteração, como pode ser visto com mais detalhes em Soares e Boscarioli (2013) e em Abadi et al. (2009). Segundo Soares e Boscarioli (2013), o bloco de interação da armazenagem dos bancos de dados colunares possibilitam um menor número de instruções ao CPU na execução de consulta de tuplas de dados, já que o executor de consultas pode operar sobre o vetor contendo todos os elementos da coluna lida de uma só vez. Em relação às consultas de grandes volumes de dados representam uma grande vantagem, pois não é necessário que todas as tuplas sejam percorridas e interpretadas uma-a-uma, lendo atributos de forma desnecessária, significativo acréscimo de desempenho. A materialização é a forma que os dados são recuperados de seu armazenamento. A forma que está propriedade é implementada em SGBD colunares acrescenta uma grande vantagem para consultas de grandes volumes de dados. Este SGBD utiliza uma técnica descrita por Abadi et al.(2007) como Late Materialization (LM) ou Materialização Precoce (em tradução livre), onde é possível reconstruir um menor número de tuplas de retorno em tempo menor. Em LM, como explica Soares e Boscarioli (2013), os predicados da consulta são verificados antes do retorno da coluna, para que linhas desnecessárias não sejam analisadas. Abadi et al. (2007) acrescentam ainda que as materializações em banco de dados colunares operam diretamente sob a posição dos dados nas colunas, construindo apenas tuplas relevantes, diretamente sobre dados compactados orientados à coluna, sob velocidades de iteração de alto valor. De acordo com Abadi et al. (2009) uma das mais citadas vantagens dos bancos de dados do modelo colunar é sua alta efetividade de compactação. Os algoritmos de compactação são mais eficientes nesse modelo de dados, já que o sistema de armazenamento de dados em colunas tende a inserir de forma sequencial informações semelhantes. Esses métodos de compactação são fundamentais para melhora significativa no desempenho do banco de dados, Soares e Boscarioli (2013). Yaskevich (2011) relata que a compactação pode ser responsável por um desempenho em leitura de 25% a 35% e em escrita em 5% a 10% maior, além de uma redução em armazenamento físico na ordem de 2 a 4 vezes de acordo com o método de compactação empregado. Diante dos pontos mencionados, ressalta-se que as bases de dados orientadas a colunas são ideais para construção de DWs. Vemos em Carniel et al. (2012) que o DW é

7 uma base de dados volumosa, histórica, orientada ao assunto e não volátil. SGBDs NoSQL orientados as colunas são indicados para aplicações que precisam de alto desempenho em uma operação específica, como o processamento de consultas em dados não voláteis. Ainda neste sentido, Soares e Boscarioli (2013) trazem a atenção o fato que banco de dados colunares são otimizados para operações de leitura (read-optimized), tornando-se uma boa alternativa às aplicações que possuem grande densidade de dados e que são frequentemente requeridos para leitura como é o caso dos DWs O Apache Cassandra A distribuição de SGDB NoSQL de famílias de colunas adotada para desenvolvimento desta pesquisa foi o Apache Cassandra, por se tratar de uma aplicação open source, estável, amplamente aceita pelo mercado, de alta performance e disponibilidade, de fácil instalação e com uma ampla documentação disponível. O Apache Cassandra é uma base de dados desenvolvida inicialmente pelo Facebook e apresentado através do artigo Cassandra - A Decentralized Structured Storage System. Posteriormente, o projeto foi disponibilizado como open source para comunidade sobre a guarda da fundação Apache. Conforme informam Lakshman e Malik (2009), os requisitos para esta plataforma eram a alta disponibilidade, desempenho, confiabilidade e arquitetura suficientemente escalável para suportar o crescimento à enorme quantidade de dados produzidas pela plataforma Facebook. O Cassandra baseou sua arquitetura em dois outros exponenciais SGBD NoSQL, o Big Table do Google e o DynamoDB da Amazon. Do Big Table utilizou o modelo de dados colunar e do DynamoDB aproveitou sua arquitetura de replicação e particionamento de dados. Segundo a documentação oficial em Datastax (2015) a versão 2.1 do Cassandra suporta declaração explicita de esquema, tipo de dados simples como alfanuméricos e numéricos, além de tipos de dados complexos como, bloob (binários), tuplas, dicionários, listas, além de documentos no formato JSON. Possui também uma linguagem nativa de consulta o Cassandra Query Language (CQL) com instruções de Data Definition Language (DDL), Data Control Language (DCL), Data Manipulation Language (DML) e Data Query Language (DQL). O Cassandra é orientado a colunas, entretanto internamente trabalha com o conceito chave-valor. Desta forma, as consultas são feitas através das chaves definidas. Porém, suporta indexação de colunas secundárias e indexação da chave em range por faixa de valores de colunas adicionais além da chave principal. A indexação secundária permite que sejam feitas consultas nestas colunas adicionais indexadas através do CQL. Atualmente o Cassandra é utilizado em empresas como o Twitter, o Reddit e o Netflix, que necessitam de SGDBs de alta performance e imensa escalabilidade. No Netflix, por exemplo, existem casos de uso onde o Cassandra atingiu a marca de mais de um milhão de escrita por segundo com 288 nós em um cluster EC2 na Amazon Web Services, mais informações podem ser vistas em Cockcroft e Sheahan (2011) O Apache Spark O Apache Spark é um sistema de processamento de dados em memória, desenvolvido para acelerar o processamento de grandes quantidades de dados. Sua arquitetura foi desenhada para processamento paralelo em cluster. Possui API para desenvolvimento

8 em Java, Scala e Python. Disponibiliza módulos para processamento em streaming, modulo para criação de algoritmos de aprendizagem de máquina, módulo para consultas em SQL e módulo para criação de algoritmos baseados em grafos. Com Spark há a possibilidade de junções em tabelas, baseadas no modelo colunar dos SGBD Apache Cassandra e Apache HBase, conforme disponível em Spark (2015). 4. Modelo de Construção de Aplicações de Business Intelligence em Banco de Dados NoSQL Orientado a Colunas O modelo proposto para construção de BI em base de dados colunares NoSQL baseia-se nas seguintes camadas: Data Source: Fontes de Dados quaisquer, tanto estruturadas como base de dados relacionais e arquivos sequencias, e acrescentam-se neste modelo fontes de dados não estruturadas como arquivos de logs e dados de redes sociais. Extration, Load e Transformation (ELT): Diferentemente do ETL tradicional em que os dados são transformados em tempo de extração, nesse modelo a preocupação é com a extração das fontes de dados e carregamento na mesma estrutura original na base de dados NoSQL. Desta forma nenhum dado é perdido ou agrupado. Como o SGBD NoSQL suporta quantidade de dados ilimitada com baixo custo, a principal preocupação é o armazenamento inicial da informação, sem necessidade de técnicas de redução na quantidade de dados carregados. Posteriormente, a informação pode ser minerada e transformada para uma camada de apresentação. Ferramentas tradicionais de ETL como o Talend e Pentaho Data Integration que possuem conectores para NoSQL podem ser utilizadas. Outras ferramentas podem ser adicionadas, como o Apache Kafka que facilita a extração de diversas fontes não relacionais e o Apache Flume que possibilita a extração de dados de fontes relacionais. Estas duas últimas ferramentas podem ser diretamente ligadas à aplicação da camada de processamento em memória em streaming. Outra abordagem possível é desenvolver programas em linguagens que possuem APIs para Apache Spark e Apache Cassandra como o Java e o Python. Processamento em Memória: É adicionada uma camada para o processamento dos dados em memória. Esta camada é responsável pelo processamento tanto no ato do carregamento dos dados, quanto no momento de transformação e exibição. Esta camada também facilita a mineração, descoberta e junção de dados, já que banco de dados NoSQL não a capacidade de junção de tabelas. A camada de processamento em memória proporciona esta capacidade, de forma rápida. Seu processamento é inteiramente em memória, com menor custo de I/O físico. Outras possibilidades também são adicionadas como o processamento em streaming tonando possível a criação de plataformas de BI para produção de informações em tempo real. Esta abordagem depende naturalmente de grandes quantidades de memória disponível em seus nós. Neste modelo o Apache Spark foi adotado como aplicação para atender esta camada. Data Warehouse: Neste modelo o DW pode ser representado como camada lógica ou física que compartilha o mesmo SGBD que a área de carregamento. Neste trabalho sugeriu-se a criação de esquemas físicos de tabelas, contendo as informações acessadas pelas ferramentas de visualização de dados, para otimizar o tempo de processamento e facilitar o mapeamento dos metadados. O DW pode também ter acrescentada uma camada lógica dentro da área de processamento em memória, ou seja, meta-esquemas lógicos que mapeiam a forma de apresentação das informações obtidas

9 diretamente das áreas de carregamento do SGBD. Estes meta-esquemas são chamados de sandbox (caixa de areia) onde a representação dos dados é lógica, criada em tempo de execução e descontruída depois de sua utilização. Essas duas abordagens podem também serem adotadas simultaneamente de acordo com as necessidades da aplicação. Ferramentas de Visualização de Dados: São aplicadas sobre a camada de processamento em memória. Desta forma, a camada de processamento em memória, que também é clusterizada, proporciona velocidade adicional à camada de visualização de dados. Ferramentas comuns de mercado como Cognos, Microstrategy, Qlikview e até Microsof Excel podem ser utilizadas para a visualização de dados, já que a camada de processamento em memória como Apache Spark disponibiliza conectores padrões de mercado como ODBC e JDBC. Outras ferramentas como o Jaspersoft Server possuem conectores nativos para Spark. As consultas de dados assim podem ser realizadas diretamente com linguagem SQL que são traduzidas de forma transparente para a linguagem do SGBD NoSQL. No modelo apresentado são suprimidos as staging areas e as ODS, já que não é necessária uma área de carregamento dados temporária, e a área de processamento operacional pode ser representada diretamente no SGBD em tabelas ODS ou em uma representação lógica na memória em sandbox. Os DMs também são suprimidos, pois não é necessária a separação física dos dados para cada área de negócio, e o processamento das consultas e das visualizações de dados podem ser executadas diretamente no DW, pois o SGBD NoSQL distribuído e clusterizado suporta com eficiência toda carga de processamento. Os DMs podem ser representados por esquemas físicos de tabelas diretamente no DW ou em sandbox na área de processamento em memória. A modelagem em schema star apresentada anteriormente, também é modificada. Os conceitos de fato e dimensões juntamente com conceitos mais profundos como de granularidade deve ser considerados para a criação da modelagem de dados, porém não são representados fisicamente no DW. Os dados de fato e de dimensão devem ser representados em uma única tabela desnormalizada, que neste trabalho denominou-se como Tabela Estrela. A volumetria dos dados pode ser ampliada de acordo com a granularidade dos dados, porém este fator deve ser desconsiderado já que na abordagem NoSQL o custo de armazenagem é infimamente menor que o custo de processamento, ou seja, a velocidade de processamento é de ordem de importância muito maior e com menor custo do que a volumetria dos dados. Na Figura 6 apresenta-se o processo de um modelo de aplicações BI sobre SGBD NoSQL baseado em coluna com a integração dos principais itens para sua criação, conforme a proposta de modelo deste artigo:

10 Figura 6 - Modelo proposto para construção de aplicações B.I. 5. Estudo de Caso e resultados O modelo apresentado no item quatro deste artigo foi implementado em escala experimental. Foram utilizados todos os itens descrito nesta seção, com exceção da implementação de sandbox em memória. Para este estudo de caso foi utilizado uma arquitetura stand alone não clusterizada. O hardware utilizado foi um microcomputador Lenovo T440p, com processador Intel Core i5-4300m 2.8 GHz e 4GB de memória ram. O sistema operacional utilizado foi o Windows 7 Professional 32bits. O SGBD utilizado foi o Apache Cassandra na distribuição Data Stax Community Edition versão Para camada de processamento em memória foi utilizado o Apache Spark Para o ELT foi utilizado como ferramenta o Python 3.4. Na camada de visualização de dados foi utilizado o sistema Jasper Reports Server Community Edition versão Foi necessário também a instalação da Java Virtual Machine (JVM) e JDK 6. Para o caso de uso foi processada uma base de dados disponibilizada em Bacen (2015). Os dados foram baixados no formato CSV. Foram selecionados todos os dados históricos de ativo classificado por operações de crédito e arrendamento mercantil líquidas de provisão dos 50 maiores bancos brasileiros Resultados Todos os itens da arquitetura se integraram conforme o proposto. Houve uma dificuldade para configuração do Apache Spark em ambiente Windows, mas esta dificuldade já era esperada, já que os sistemas utilizados são melhores adaptados para trabalharem em plataforma Unix\Linux. No presente caso de uso a ELT foi efetuada com scripts em Python informando comandos de Insert através do Spark. Foram inseridas duas tabelas distintas, uma contendo as informações de carteiras de crédito e outras contendo informações do tipo dimensão a respeito das instituições bancárias. Uma terceira tabela, a tabela estrela foi

11 construída por meio de programação em Python diretamente no SGBD Cassandra para testar as funcionalidades da linguagem CQL. A camada de visualização de dados conectou a aplicação Spark através de ODBC que necessitou instalação e configuração prévia. As consultas foram feitas através de comandos SQL. Foi desenvolvido um relatório em forma de listagem e um dash board contendo dois gráficos. Os filtros foram feitos diretamente no JasperReport Server e atingiram a meta esperada. Assim todas as funcionalidades básicas de um BI foram implementadas e testadas sobre o modelo proposto. 6. Considerações Finais As aplicações de BI vêm sendo desenvolvida há diversos anos sobre o modelo sugerido por Kimball e Inmon, que implicitamente é associado com base de dados relacionais, entretanto a arquitetura relacional de dados possui limitações em escalabilidade. Como pode-se verificar, a abordagem NoSQL foi desenvolvida para lidar com os desafios de base de dados grandes e com escalabilidade horizontal. Destaca-se como solução de SGBD NoSQL para construção de DW as arquiteturas voltadas a família de colunas. Desta forma, hoje a criação de aplicações de BI em base de dados NoSQL colunares é uma realidade e esta abordagem pode trazer diversas vantagens sobre o modelo relacional. Este trabalho contribuiu para identificar um modelo viável para construção de uma aplicação robusta de BI. Foram analisadas diversas arquitetura de SGBD NoSQL bem como outras ferramentas para construção desta arquitetura de BI. Como resultado foi apresentado à implementação do modelo proposto e verificado que este atende as funcionalidades padrões de uma aplicação de Business Intelligence Próximos Passos Para os próximos passos pretende-se efetuar o desenvolvimento de sistemas de metadados para data warehouse em banco de dados NoSQL, já que o modelo apresentado não dispõe de nenhuma base de metadados. Outra atividade a ser testada é a criação de cubos OLAP ou cubos de análise em memória. Por fim, com maiores recursos pretende-se efetuar medição do desempenho do modelo proposto com volume massivo de dados em ambiente clusterizado. 6. Referências Abadi, D. J., Boncz, P. A., Harizopoulos, S. Column-Oriented Database Systems. Proceedings of the VLB Endowment 2009, v. 2, n. 2, p , Abadi, D. J., Myers, D. S., Dewitt, D. J., Madden, S. R., Materialization Strategies in a Column-Oriented DBMS. In: IEEE 23rd International Conferenceon Data Engineering, 2007., p Bacen, B. C. B., 50 maiores bancos e o consolidado do Sistema Financeiro Nacional Disponível em: Carniel, A. C, Sá, A. A.; Brisighello, V. H. P.; Ribeiro, M. X.; Bueno, R.; Ciferri, R. R.; Ciferri, C. D. A. Query Processing over Data Warehouse using Relational Databases and NoSQL. XXXVIII Conferencia Latino americana En Informatica (CLEI 2012) p. 1-9, 2012.

12 DataStax, CQL for Cassandra 2.x Documentation Disponível em Acessado em 11/04/2015. Cockcroft, A., Sheahan, D., Benchmarking Cassandra Scalability on AWS - Over a million writes per second Disponível em: Acessado em: 11/04/2015. Inmon, W. H. Building the Data Warehouse, 4º Edition. Wiley Publishing, Inc., Gilbert, S.,Lynch, N., Brewer s Conjecture and the Feasibility of Consistent, Avaliable, Partition-Tolerant Web-Services. ACM SIGACT News, New York, NY,USA, v.33, n. 2, p.51,59, Junho, Kimball, R., Ross, M., The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling, Third Edition. John Wiley & Sons, Inc., Lakashman, A., Malik, Prashant., Cassandra A Decentralized Structured Storage System Disponível em: /projects/ladis2009/papers/lakshman-ladis2009.pdf Acessado em: 11/04/2015. Lócio, B. F., Oliveira H. R., Pontes, J. C. S.,NoSQL no desenvolvimento de aplicações Web Colaborativas. VIII Simpósio Brasileiro de Sistemas Colaborativos (SBSC 2011), Moniruzzaman, A. B. M., Hossain, S. A. NoSQL Database: New Era of Databases for Big data Analytics - Classification, Characteristics and Comparison. International Journal of Data base Theory and Application Vol. 6, No. 4., Soares, B. E., Boscarioli; C. Modelo de Banco de Dados Colunar: Características, Aplicações e Exemplos de Sistemas. IX Escola Regional de Banco de Dados (ERBD 2013), Spark, A., Apache Spark Documentation Disponível em: Acessado em: 11/04/2015. Yaskevich, P. What s new in Cassandra 1.0: Compression. Disponível em Acessado em 11/04/2015, 2011.

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II Pollyanna Gonçalves Seminário da disciplina Banco de Dados II Web 2.0 vem gerando grande volume de dados Conteúdo gerado por redes sociais, sensores inteligentes, tecnologias de colaboração, etc. Novas

Leia mais

DATA WAREHOUSE. Introdução

DATA WAREHOUSE. Introdução DATA WAREHOUSE Introdução O grande crescimento do ambiente de negócios, médias e grandes empresas armazenam também um alto volume de informações, onde que juntamente com a tecnologia da informação, a correta

Leia mais

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago DATA WAREHOUSE Rafael Ervin Hass Raphael Laércio Zago Roteiro Introdução Aplicações Arquitetura Características Desenvolvimento Estudo de Caso Conclusão Introdução O conceito de "data warehousing" data

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

E N AT O M O L I N A T O T H

E N AT O M O L I N A T O T H no:sql Not only SQL Renato Molina Toth ww.renatomolina.in R E N AT O M O L I N A T O T H O que é? O que é? Não é uma nova tecnologia, é uma nova abordagem Propõe um modelo alternativo de banco de dados

Leia mais

Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA

Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA Universidade Federal da Bahia Instituto de Matemática Departamento de Ciência da Computação MATA67 Projeto Final II Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto

Leia mais

Uma Ferramenta Web para BI focada no Gestor de Informação

Uma Ferramenta Web para BI focada no Gestor de Informação Uma Ferramenta Web para BI focada no Gestor de Informação Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

Banco de Dados. Uma coleção de dados relacionados [ELMASRI/NAVATHE]

Banco de Dados. Uma coleção de dados relacionados [ELMASRI/NAVATHE] 1/6 Banco de Dados O que é um Banco de Dados? Uma coleção de dados relacionados [ELMASRI/NAVATHE] Conjunto de dados integrados que tem por objetivo atender a uma comunidade específica [HEUSER] Um conjunto

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

Data Warehouse Processos e Arquitetura

Data Warehouse Processos e Arquitetura Data Warehouse - definições: Coleção de dados orientada a assunto, integrada, não volátil e variável em relação ao tempo, que tem por objetivo dar apoio aos processos de tomada de decisão (Inmon, 1997)

Leia mais

Data Warehouse. Debora Marrach Renata Miwa Tsuruda

Data Warehouse. Debora Marrach Renata Miwa Tsuruda Debora Marrach Renata Miwa Tsuruda Agenda Introdução Contexto corporativo Agenda Introdução Contexto corporativo Introdução O conceito de Data Warehouse surgiu da necessidade de integrar dados corporativos

Leia mais

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados Sistema de Bancos de Dados Conceitos Gerais Sistema Gerenciador de Bancos de Dados # Definições # Motivação # Arquitetura Típica # Vantagens # Desvantagens # Evolução # Classes de Usuários 1 Nível 1 Dados

Leia mais

BRAlarmExpert. Software para Gerenciamento de Alarmes. BENEFÍCIOS obtidos com a utilização do BRAlarmExpert:

BRAlarmExpert. Software para Gerenciamento de Alarmes. BENEFÍCIOS obtidos com a utilização do BRAlarmExpert: BRAlarmExpert Software para Gerenciamento de Alarmes A TriSolutions conta com um produto diferenciado para gerenciamento de alarmes que é totalmente flexível e amigável. O software BRAlarmExpert é uma

Leia mais

ADMINISTRAÇÃO DOS RECURSOS DE DADOS

ADMINISTRAÇÃO DOS RECURSOS DE DADOS Capítulo 7 ADMINISTRAÇÃO DOS RECURSOS DE DADOS 7.1 2003 by Prentice Hall OBJETIVOS Por que as empresas sentem dificuldades para descobrir que tipo de informação precisam ter em seus sistemas de informação?

Leia mais

Roteiro 2 Conceitos Gerais

Roteiro 2 Conceitos Gerais Roteiro 2 Conceitos Gerais Objetivos: UC Projeto de Banco de Dados Explorar conceitos gerais de bancos de dados; o Arquitetura de bancos de dados: esquemas, categorias de modelos de dados, linguagens e

Leia mais

Para construção dos modelos físicos, será estudado o modelo Relacional como originalmente proposto por Codd.

Para construção dos modelos físicos, será estudado o modelo Relacional como originalmente proposto por Codd. Apresentação Este curso tem como objetivo, oferecer uma noção geral sobre a construção de sistemas de banco de dados. Para isto, é necessário estudar modelos para a construção de projetos lógicos de bancos

Leia mais

XDOC. Solução otimizada para armazenamento e recuperação de documentos

XDOC. Solução otimizada para armazenamento e recuperação de documentos XDOC Solução otimizada para armazenamento e recuperação de documentos ObJetivo Principal O Que você ACHA De ter Disponível Online todos OS Documentos emitidos por SUA empresa em UMA intranet OU Mesmo NA

Leia mais

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining.

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining. BUSINESS INTELLIGENCE COM DADOS EXTRAÍDOS DO FACEBOOK UTILIZANDO A SUÍTE PENTAHO Francy H. Silva de Almeida 1 ; Maycon Henrique Trindade 2 ; Everton Castelão Tetila 3 UFGD/FACET Caixa Postal 364, 79.804-970

Leia mais

Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados.

Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados. BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Hoje é

Leia mais

Dado: Fatos conhecidos que podem ser registrados e têm um significado implícito. Banco de Dados:

Dado: Fatos conhecidos que podem ser registrados e têm um significado implícito. Banco de Dados: MC536 Introdução Sumário Conceitos preliminares Funcionalidades Características principais Usuários Vantagens do uso de BDs Tendências mais recentes em SGBDs Algumas desvantagens Modelos de dados Classificação

Leia mais

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL Autores: Nicolas Ignácio RYBERG 1,2 ;; Angelo Augusto FROZZA 3 Identificação autores: 1 Bolsista PIBIC-EM/CNPq;; 2 Aluno do curso Técnico em Informática

Leia mais

Bancos de dados distribuídos Prof. Tiago Eugenio de Melo tiagodemelo@gmail.com. http://www.tiagodemelo.info

Bancos de dados distribuídos Prof. Tiago Eugenio de Melo tiagodemelo@gmail.com. http://www.tiagodemelo.info Bancos de dados distribuídos Prof. Tiago Eugenio de Melo tiagodemelo@gmail.com Última atualização: 20.03.2013 Conceitos Banco de dados distribuídos pode ser entendido como uma coleção de múltiplos bds

Leia mais

Chapter 3. Análise de Negócios e Visualização de Dados

Chapter 3. Análise de Negócios e Visualização de Dados Chapter 3 Análise de Negócios e Visualização de Dados Objetivos de Aprendizado Descrever a análise de negócios (BA) e sua importância par as organizações Listar e descrever brevemente os principais métodos

Leia mais

Arquitetura de Banco de Dados

Arquitetura de Banco de Dados Arquitetura de Banco de Dados Daniela Barreiro Claro MAT A60 DCC/IM/UFBA Arquitetura de Banco de dados Final de 1972, ANSI/X3/SPARC estabeleceram o relatório final do STUDY GROUP Objetivos do Study Group

Leia mais

Universidade Federal de Santa Maria Curso de Arquivologia. Disciplina de Banco de Dados Aplicados à Arquivística. Versao 1.

Universidade Federal de Santa Maria Curso de Arquivologia. Disciplina de Banco de Dados Aplicados à Arquivística. Versao 1. Universidade Federal de Santa Maria Curso de Arquivologia Disciplina de Banco de Dados Aplicados à Arquivística Prof. Andre Zanki Cordenonsi Versao 1.0 Março de 2008 Tópicos Abordados Conceitos sobre Banco

Leia mais

Ferramenta de apoio a gerência de configuração de software. Aluno: Rodrigo Furlaneto Orientador: Everaldo Artur Grahl

Ferramenta de apoio a gerência de configuração de software. Aluno: Rodrigo Furlaneto Orientador: Everaldo Artur Grahl Ferramenta de apoio a gerência de configuração de software Aluno: Rodrigo Furlaneto Orientador: Everaldo Artur Grahl Roteiro de apresentação Introdução Objetivos Fundamentação Teórica Gerência de Configuração

Leia mais

Contrata Consultor na modalidade Produto

Contrata Consultor na modalidade Produto Contrata Consultor na modalidade Produto PROJETO 914BRA/1123 FNDE -EDITAL Nº 01/2009 1. Perfil: Consultor ESPECIALISTA EM PLANO DE METAS ANALISTA PROGRAMADOR DELPHI - Código 1 - CGETI. 2. Nº de vagas:

Leia mais

Banco de Dados I. Apresentação (mini-currículo) Conceitos. Disciplina Banco de Dados. Cont... Cont... Edson Thizon (edson@esucri.com.

Banco de Dados I. Apresentação (mini-currículo) Conceitos. Disciplina Banco de Dados. Cont... Cont... Edson Thizon (edson@esucri.com. Sistemas da Informação Banco de Dados I Edson Thizon (edson@esucri.com.br) 2008 Apresentação (mini-currículo) Formação Acadêmica Mestrando em Ciência da Computação (UFSC/ ) Créditos Concluídos. Bacharel

Leia mais

1 http://www.google.com

1 http://www.google.com 1 Introdução A computação em grade se caracteriza pelo uso de recursos computacionais distribuídos em várias redes. Os diversos nós contribuem com capacidade de processamento, armazenamento de dados ou

Leia mais

Prevayler. Perola. André Luís Sales de Moraes Juliana Keiko Yamaguchi Tatiana Yuka Takaki

Prevayler. Perola. André Luís Sales de Moraes Juliana Keiko Yamaguchi Tatiana Yuka Takaki Prevayler Perola André Luís Sales de Moraes Juliana Keiko Yamaguchi Tatiana Yuka Takaki Prevayler Prevayler é a implementação em Java do conceito de Prevalência. É um framework que prega uma JVM invulnerável

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Semântica para Sharepoint. Busca semântica utilizando ontologias

Semântica para Sharepoint. Busca semântica utilizando ontologias Semântica para Sharepoint Busca semântica utilizando ontologias Índice 1 Introdução... 2 2 Arquitetura... 3 3 Componentes do Produto... 4 3.1 OntoBroker... 4 3.2 OntoStudio... 4 3.3 SemanticCore para SharePoint...

Leia mais

Banco de Dados. Introdução. João Eduardo Ferreira Osvaldo Kotaro Takai. jef@ime.usp.br DCC-IME-USP

Banco de Dados. Introdução. João Eduardo Ferreira Osvaldo Kotaro Takai. jef@ime.usp.br DCC-IME-USP Banco de Dados Introdução João Eduardo Ferreira Osvaldo Kotaro Takai jef@ime.usp.br DCC-IME-USP Importância dos Bancos de Dados A competitividade das empresas depende de dados precisos e atualizados. Conforme

Leia mais

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse Definição escopo do projeto (departamental, empresarial) Grau de redundância dos dados(ods, data staging) Tipo de usuário alvo (executivos, unidades) Definição do ambiente (relatórios e consultas préestruturadas

Leia mais

Persistência e Banco de Dados em Jogos Digitais

Persistência e Banco de Dados em Jogos Digitais Persistência e Banco de Dados em Jogos Digitais Prof. Marcos Francisco Pereira da Silva Especialista em Engenharia de Software Jogos Digitais - Computação Gráfica 1 Agenda Vantagens de usar a abordagem

Leia mais

SQL. Curso Prático. Celso Henrique Poderoso de Oliveira. Novatec

SQL. Curso Prático. Celso Henrique Poderoso de Oliveira. Novatec SQL Curso Prático Celso Henrique Poderoso de Oliveira Novatec 1 Introdução Desde o início da utilização dos computadores, sabemos que um sistema é feito para aceitar entrada de dados, realizar processamentos

Leia mais

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP.

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. Eduardo Cristovo de Freitas Aguiar (PIBIC/CNPq), André Luís Andrade

Leia mais

Disciplina: Unidade V: Prof.: E-mail: Período:

Disciplina: Unidade V: Prof.: E-mail: Período: Encontro 17 Disciplina: Sistemas de Banco de Dados Unidade V: Introdução à Linguagem SQL Prof.: Mario Filho E-mail: pro@mariofilho.com.br Período: 5º. SIG - ADM 13. Introdução à Linguagem SQL Introdução

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Módulo 4: Gerenciamento de Dados

Módulo 4: Gerenciamento de Dados Módulo 4: Gerenciamento de Dados 1 1. CONCEITOS Os dados são um recurso organizacional decisivo que precisa ser administrado como outros importantes ativos das empresas. A maioria das organizações não

Leia mais

srbo@ufpa.br www.ufpa.br/srbo

srbo@ufpa.br www.ufpa.br/srbo CBSI Curso de Bacharelado em Sistemas de Informação BI Prof. Dr. Sandro Ronaldo Bezerra Oliveira srbo@ufpa.br www.ufpa.br/srbo Tópicos Especiais em Sistemas de Informação Faculdade de Computação Instituto

Leia mais

PLANO DE ENSINO PRÉ-REQUISITOS: ENS

PLANO DE ENSINO PRÉ-REQUISITOS: ENS UNIVERSIDADE DO ESTADO DE SANTA CATARINA UDESC CENTRO DE EDUCAÇÃO SUPERIOR DO ALTO VALE DO ITAJAÍ CEAVI PLANO DE ENSINO DEPARTAMENTO: DSI Departamento de Sistema de Informação DISCIPLINA: Data Warehouse

Leia mais

MBA Inteligência Competitiva Com ênfase em BI/CPM. Metadados

MBA Inteligência Competitiva Com ênfase em BI/CPM. Metadados MBA Inteligência Competitiva BI/CPM 1 Data Warehousing PÓS-GRADUAÇÃO MBA Inteligência Competitiva Com ênfase em BI/CPM Metadados Andréa Cristina Montefusco (36927) Hermes Abreu Mattos (36768) Robson Pereira

Leia mais

Uma Abordagem sobre Mapeamento Objeto Relacional com Hibernate

Uma Abordagem sobre Mapeamento Objeto Relacional com Hibernate Uma Abordagem sobre Mapeamento Objeto Relacional com Hibernate Luis Gustavo Zandarim Soares 1, Késsia Rita da Costa Marchi 1 1 Universidade Paranaense (Unipar) Paraná PR Brasil luisgustavo@live.co.uk,

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro São dados que não podem ser processados ou analisados usando as ferramentas tradicionais Empresas acessando muitas informações mas não sabem como tirar proveito Normalmente

Leia mais

UFG - Instituto de Informática

UFG - Instituto de Informática UFG - Instituto de Informática Especialização em Desenvolvimento de Aplicações Web com Interfaces Ricas EJB 3.0 Prof.: Fabrízzio A A M N Soares professor.fabrizzio@gmail.com Aula 10 Persistência de Dados

Leia mais

UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado)

UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) SISTEMA INTERNO INTEGRADO PARA CONTROLE DE TAREFAS INTERNAS DE UMA EMPRESA DE DESENVOLVIMENTO

Leia mais

Aplicativo web para definição do modelo lógico no projeto de banco de dados relacional

Aplicativo web para definição do modelo lógico no projeto de banco de dados relacional Aplicativo web para definição do modelo lógico no projeto de banco de dados relacional Juarez Bachmann Orientador: Alexander Roberto Valdameri Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento

Leia mais

Introdução à Computação

Introdução à Computação Aspectos Importantes - Desenvolvimento de Software Motivação A economia de todos países dependem do uso de software. Cada vez mais, o controle dos processos tem sido feito por software. Atualmente, os

Leia mais

Banco de Dados Aula 1 Introdução a Banco de Dados Introdução Sistema Gerenciador de Banco de Dados

Banco de Dados Aula 1 Introdução a Banco de Dados Introdução Sistema Gerenciador de Banco de Dados Banco de Dados Aula 1 Introdução a Banco de Dados Introdução Um Sistema Gerenciador de Banco de Dados (SGBD) é constituído por um conjunto de dados associados a um conjunto de programas para acesso a esses

Leia mais

Fundamentos dos Sistemas de Informação Organização de Dados e Informações

Fundamentos dos Sistemas de Informação Organização de Dados e Informações Fundamentos dos Sistemas de Informação Organização de Dados e Informações http://professor.fimes.edu.br/milena milenaresende@fimes.edu.br Sistema de Gerenciamento de Bases de Dados (DBMS) A implementação

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

1. CONCEITOS BÁSICOS DE BD, SBD E SGBD

1. CONCEITOS BÁSICOS DE BD, SBD E SGBD Introdução 1. CONCEITOS BÁSICOS DE BD, SBD E SGBD A importância da informação para a tomada de decisões nas organizações tem impulsionado o desenvolvimento dos sistemas de processamento de informações.

Leia mais

GBC043 Sistemas de Banco de Dados. Introdução. Ilmério Reis da Silva ilmerio@facom.ufu.br www.facom.ufu.br/~ilmerio/sbd UFU/FACOM

GBC043 Sistemas de Banco de Dados. Introdução. Ilmério Reis da Silva ilmerio@facom.ufu.br www.facom.ufu.br/~ilmerio/sbd UFU/FACOM GBC043 Sistemas de Banco de Dados Introdução Ilmério Reis da Silva ilmerio@facom.ufu.br www.facom.ufu.br/~ilmerio/sbd UFU/FACOM Página 2 Definição BD Def. Banco de Dados é uma coleção de itens de dados

Leia mais

Banco de Dados, Integração e Qualidade de Dados. Ceça Moraes cecafac@gmail.com

Banco de Dados, Integração e Qualidade de Dados. Ceça Moraes cecafac@gmail.com Banco de Dados, Integração e Qualidade de Dados Ceça Moraes cecafac@gmail.com Sobre a professora CeçaMoraes Doutora em Computação (UFPE) Áreas de atuação Desenvolvimento de Software e Banco de Dados Experiência

Leia mais

Disciplina de Banco de Dados Introdução

Disciplina de Banco de Dados Introdução Disciplina de Banco de Dados Introdução Prof. Elisa Maria Pivetta CAFW - UFSM Banco de Dados: Conceitos A empresa JJ. Gomes tem uma lista com mais ou menos 4.000 nomes de clientes bem como seus dados pessoais.

Leia mais

Evolução. Tópicos. Bancos de Dados - Introdução. Melissa Lemos. Evolução dos Sistemas de Informação Esquemas Modelos. Características de SGBDs

Evolução. Tópicos. Bancos de Dados - Introdução. Melissa Lemos. Evolução dos Sistemas de Informação Esquemas Modelos. Características de SGBDs 1 Bancos de Dados - Introdução Melissa Lemos melissa@inf.puc-rio.br Tópicos Evolução dos Sistemas de Informação Esquemas Modelos Conceitual Lógico Características de SGBDs 2 Evolução tempo Programas e

Leia mais

Prof. Marcelo Machado Cunha www.marcelomachado.com mcelobr@yahoo.com.br

Prof. Marcelo Machado Cunha www.marcelomachado.com mcelobr@yahoo.com.br Prof. Marcelo Machado Cunha www.marcelomachado.com mcelobr@yahoo.com.br Ementa Introdução a Banco de Dados (Conceito, propriedades), Arquivos de dados x Bancos de dados, Profissionais de Banco de dados,

Leia mais

FERRAMENTA WEB PARA MODELAGEM LÓGICA EM PROJETOS DE BANCOS DE DADOS RELACIONAIS

FERRAMENTA WEB PARA MODELAGEM LÓGICA EM PROJETOS DE BANCOS DE DADOS RELACIONAIS FERRAMENTA WEB PARA MODELAGEM LÓGICA EM PROJETOS DE BANCOS DE DADOS RELACIONAIS PAULO ALBERTO BUGMANN ORIENTADOR: ALEXANDER ROBERTO VALDAMERI Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento

Leia mais

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br Data Warehousing Leonardo da Silva Leandro Agenda Conceito Elementos básicos de um DW Arquitetura do DW Top-Down Bottom-Up Distribuído Modelo de Dados Estrela Snowflake Aplicação Conceito Em português:

Leia mais

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto OLPT x OLAP Roteiro OLTP Datawarehouse OLAP Operações OLAP Exemplo com Mondrian e Jpivot

Leia mais

AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP.

AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP. AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP. Luan de Souza Melo (Fundação Araucária), André Luís Andrade Menolli (Orientador), Ricardo G. Coelho

Leia mais

Sistemas de Informação I

Sistemas de Informação I + Sistemas de Informação I Dimensões de análise dos SI Ricardo de Sousa Britto rbritto@ufpi.edu.br + Introdução n Os sistemas de informação são combinações das formas de trabalho, informações, pessoas

Leia mais

SISTEMA DE WORKFLOW PARA MODELAGEM E EXECUÇÃO DE PROCESSOS DE SOFTWARE. Aluno: Roberto Reinert Orientador: Everaldo A. Grahl

SISTEMA DE WORKFLOW PARA MODELAGEM E EXECUÇÃO DE PROCESSOS DE SOFTWARE. Aluno: Roberto Reinert Orientador: Everaldo A. Grahl SISTEMA DE WORKFLOW PARA MODELAGEM E EXECUÇÃO DE PROCESSOS DE SOFTWARE Aluno: Roberto Reinert Orientador: Everaldo A. Grahl Roteiro de apresentação Introdução Objetivos Fundamentação Teórica Workflow Processo

Leia mais

Banco de Dados de Músicas. Andre Lima Rocha Campos Osório Pereira Carvalho

Banco de Dados de Músicas. Andre Lima Rocha Campos Osório Pereira Carvalho Banco de Dados de Músicas Andre Lima Rocha Campos Osório Pereira Carvalho Definição Aplicação Web que oferece ao usuário um serviço de busca de músicas e informações relacionadas, como compositor, interprete,

Leia mais

Adriano Maranhão BUSINESS INTELLIGENCE (BI),

Adriano Maranhão BUSINESS INTELLIGENCE (BI), Adriano Maranhão BUSINESS INTELLIGENCE (BI), BUSINESS INTELLIGENCE (BI) O termo Business Intelligence (BI), popularizado por Howard Dresner do Gartner Group, é utilizado para definir sistemas orientados

Leia mais

Banco de Dados - Senado

Banco de Dados - Senado Banco de Dados - Senado Exercícios OLAP - CESPE Material preparado: Prof. Marcio Vitorino OLAP Material preparado: Prof. Marcio Vitorino Soluções MOLAP promovem maior independência de fornecedores de SGBDs

Leia mais

SAD orientado a DADOS

SAD orientado a DADOS Universidade do Contestado Campus Concórdia Curso de Sistemas de Informação Prof.: Maico Petry SAD orientado a DADOS DISCIPLINA: Sistemas de Apoio a Decisão SAD orientado a dados Utilizam grandes repositórios

Leia mais

Modelo de dados do Data Warehouse

Modelo de dados do Data Warehouse Modelo de dados do Data Warehouse Ricardo Andreatto O modelo de dados tem um papel fundamental para o desenvolvimento interativo do data warehouse. Quando os esforços de desenvolvimentos são baseados em

Leia mais

PENTAHO. História e Apresentação

PENTAHO. História e Apresentação PÓS-GRADUAÇÃO LATO SENSU Curso: Banco de Dados Disciplina: Laboratório de Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 2 2012 Crédito dos Slides: Clever Junior 2 PENTAHO História

Leia mais

Planejamento Estratégico de TI. Prof.: Fernando Ascani

Planejamento Estratégico de TI. Prof.: Fernando Ascani Planejamento Estratégico de TI Prof.: Fernando Ascani BI Business Intelligence A inteligência Empresarial, ou Business Intelligence, é um termo do Gartner Group. O conceito surgiu na década de 80 e descreve

Leia mais

Banco de Dados. Um momento crucial na organização dos dados é a forma com que cadastramos estes dados, a estrutura de armazenamento que criamos.

Banco de Dados. Um momento crucial na organização dos dados é a forma com que cadastramos estes dados, a estrutura de armazenamento que criamos. Banco de Dados O que é um Banco de Dados? Este assunto é muito vasto, tentaremos resumi-lo para atender as questões encontradas em concursos públicos. Já conhecemos o conceito de dado, ou seja, uma informação

Leia mais

MÓDULO 8 ARQUITETURA DOS SISTEMAS DE BANCO DE DADOS

MÓDULO 8 ARQUITETURA DOS SISTEMAS DE BANCO DE DADOS MÓDULO 8 ARQUITETURA DOS SISTEMAS DE BANCO DE DADOS Quando falamos em arquitetura, normalmente utilizamos esse termo para referenciar a forma como os aplicativos computacionais são estruturados e os hardwares

Leia mais

SISTEMA GERENCIADOR DE BANCO DE DADOS

SISTEMA GERENCIADOR DE BANCO DE DADOS BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br SISTEMA GERENCIADOR

Leia mais

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence É um conjunto de conceitos e metodologias que, fazem uso de acontecimentos e sistemas e apoiam a tomada de decisões. Utilização de várias fontes de informação para se definir estratégias de competividade

Leia mais

O que são Bancos de Dados?

O que são Bancos de Dados? SQL Básico Liojes de Oliveira Carneiro professor.liojes@gmail.com www.professor-liojes.blogspot.com O que são Bancos de Dados? É o software que armazena, organiza, controla, trata e distribui os dados

Leia mais

EXPLORANDO TÉCNICAS E RECURSOS DO GERENCIADOR DE DADOS ABERTOS CKAN. TuaneFaria USP tuanefaria@yahoo.com.br

EXPLORANDO TÉCNICAS E RECURSOS DO GERENCIADOR DE DADOS ABERTOS CKAN. TuaneFaria USP tuanefaria@yahoo.com.br EXPLORANDO TÉCNICAS E RECURSOS DO GERENCIADOR DE DADOS ABERTOS CKAN Prof. Dr. José Eduardo Santarem Segundo USP santarem@usp.br TuaneFaria USP tuanefaria@yahoo.com.br Introdução Disponibilizar Dados Disponibilizar

Leia mais

Interatividade aliada a Análise de Negócios

Interatividade aliada a Análise de Negócios Interatividade aliada a Análise de Negócios Na era digital, a quase totalidade das organizações necessita da análise de seus negócios de forma ágil e segura - relatórios interativos, análise de gráficos,

Leia mais

DIMENSIONANDO PROJETOS DE WEB-ENABLING. Uma aplicação da Análise de Pontos de Função. Dimensionando projetos de Web- Enabling

DIMENSIONANDO PROJETOS DE WEB-ENABLING. Uma aplicação da Análise de Pontos de Função. Dimensionando projetos de Web- Enabling DIMENSIONANDO PROJETOS DE WEB-ENABLING Uma aplicação da Análise de Pontos de Função Dimensionando projetos de Web- Enabling Índice INTRODUÇÃO...3 FRONTEIRA DA APLICAÇÃO E TIPO DE CONTAGEM...3 ESCOPO DA

Leia mais

INTRODUÇÃO. Diferente de Bando de Dados

INTRODUÇÃO. Diferente de Bando de Dados INTRODUÇÃO Diferente de Bando de Dados 1 INTRODUÇÃO DADOS São fatos conhecidos que podem ser registrados e que possuem significado. Ex: venda de gasolina gera alguns dados: data da compra, preço, qtd.

Leia mais

04/08/2012 MODELAGEM DE DADOS. PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS. Aula 1. Prof. Rafael Dias Ribeiro. M.Sc.

04/08/2012 MODELAGEM DE DADOS. PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS. Aula 1. Prof. Rafael Dias Ribeiro. M.Sc. MODELAGEM DE DADOS PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS Aula 1 Prof. Rafael Dias Ribeiro. M.Sc. @ribeirord 1 Objetivos: Apresenta a diferença entre dado e informação e a importância

Leia mais

Planejamento e Orçamento

Planejamento e Orçamento Planejamento e Orçamento O SIPLAG Sistema Integrado de Planejamento, Orçamento e Gestão, é um sistema voltado à gestão governamental, permitindo a elaboração do Plano Plurianual, da Lei Orçamentária Anual,

Leia mais

Sistema de Informação Gerencial baseado em Data Warehouse aplicado a uma software house

Sistema de Informação Gerencial baseado em Data Warehouse aplicado a uma software house Universidade Regional de Blumenau Centro de Ciências Exatas e Naturais Curso de Sistemas de Informação (Bacharelado) Sistema de Informação Gerencial baseado em Data Warehouse aplicado a uma software house

Leia mais

Desenvolvendo uma Arquitetura de Componentes Orientada a Serviço SCA

Desenvolvendo uma Arquitetura de Componentes Orientada a Serviço SCA Desenvolvendo uma Arquitetura de Componentes Orientada a Serviço SCA RESUMO Ricardo Della Libera Marzochi A introdução ao Service Component Architecture (SCA) diz respeito ao estudo dos principais fundamentos

Leia mais

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Alcione Benacchio (UFPR) E mail: alcione@inf.ufpr.br Maria Salete Marcon Gomes Vaz (UEPG, UFPR) E mail: salete@uepg.br Resumo: O ambiente de

Leia mais

Objetivos Específico

Objetivos Específico Banco de Dados Ementa (DBA) Conceitos Gerais sobre Banco de Dados Instalação e configuração da Ferramenta de Banco de Dados. Elaboração de projeto de Banco de Dados. Implementação do projeto de Banco de

Leia mais

O Termo SIG é aplicado para sistemas que realizam o tratamento computacional de dados geográficos

O Termo SIG é aplicado para sistemas que realizam o tratamento computacional de dados geográficos Prof. Herondino O Termo SIG é aplicado para sistemas que realizam o tratamento computacional de dados geográficos Inserir e integrar, numa única base de dados informações espaciais provenientes de: meio

Leia mais

Checklist de Projeto de Data Warehouse

Checklist de Projeto de Data Warehouse Checklist de Projeto de Data Warehouse Prof. Dr. Jorge Rady de Almeida Jr. Escola Politécnica da USP F/1 Revisão de Projeto Design Review Após uma área de interesse tenha sido projetada e posta em operação

Leia mais

Módulo 4. Construindo uma solução OLAP

Módulo 4. Construindo uma solução OLAP Módulo 4. Construindo uma solução OLAP Objetivos Diferenciar as diversas formas de armazenamento Compreender o que é e como definir a porcentagem de agregação Conhecer a possibilidade da utilização de

Leia mais

Sistemas Operacionais

Sistemas Operacionais Sistemas Operacionais Aula 6 Estrutura de Sistemas Operacionais Prof.: Edilberto M. Silva http://www.edilms.eti.br Baseado no material disponibilizado por: SO - Prof. Edilberto Silva Prof. José Juan Espantoso

Leia mais

Revisão de Banco de Dados

Revisão de Banco de Dados Revisão de Banco de Dados Fabiano Baldo 1 Sistema de Processamento de Arquivos Antes da concepção dos BDs o registro das informações eram feitos através de arquivos. Desvantagens: Redundância e Inconsistência

Leia mais

Conceitos de Banco de Dados

Conceitos de Banco de Dados Conceitos de Banco de Dados Autor: Luiz Antonio Junior 1 INTRODUÇÃO Objetivos Introduzir conceitos básicos de Modelo de dados Introduzir conceitos básicos de Banco de dados Capacitar o aluno a construir

Leia mais

Banco de Dados. Profª. Ana Leda

Banco de Dados. Profª. Ana Leda Banco de Dados Profª. Ana Leda Introdução 1 DADO PROCESSAMENTO INFORMAÇÃO 2 Dados x Informação DADO = REPRESENTAÇÃO DE UM FATO, OBJETO, EVENTO, PESSOA, ETC. ENTIDADE = FATO, OBJETO, EVENTO, PESSOA, ETC,

Leia mais

Planejamento Estratégico de TI. Prof.: Fernando Ascani

Planejamento Estratégico de TI. Prof.: Fernando Ascani Planejamento Estratégico de TI Prof.: Fernando Ascani Data Warehouse - Conceitos Hoje em dia uma organização precisa utilizar toda informação disponível para criar e manter vantagem competitiva. Sai na

Leia mais

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

Hardware (Nível 0) Organização. Interface de Máquina (IM) Interface Interna de Microprogramação (IIMP)

Hardware (Nível 0) Organização. Interface de Máquina (IM) Interface Interna de Microprogramação (IIMP) Hardware (Nível 0) Organização O AS/400 isola os usuários das características do hardware através de uma arquitetura de camadas. Vários modelos da família AS/400 de computadores de médio porte estão disponíveis,

Leia mais

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence.

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence. Tópicos Avançados Business Intelligence Banco de Dados Prof. Otacílio José Pereira Unidade 10 Tópicos Avançados Business Inteligence Roteiro Introdução Níveis organizacionais na empresa Visão Geral das

Leia mais

Análise comparativa sobre bases de dados para armazenamento e consulta de dados não estruturados no formato JSON.

Análise comparativa sobre bases de dados para armazenamento e consulta de dados não estruturados no formato JSON. UNIVERSIDADE FEDERAL DE PERNAMBUCO CENTRO DE INFORMÁTICA Análise comparativa sobre bases de dados para armazenamento e consulta de dados não estruturados no formato JSON. Proposta de Trabalho de Graduação

Leia mais