SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico
|
|
|
- Liliana Zagalo Galvão
- 6 Há anos
- Visualizações:
Transcrição
1 SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico Thiago Luís Lopes Siqueira Ricardo Rodrigues Ciferri Orientador (UFSCar) Valéria Cesário Times Co-orientadora (UFPE) Cristina Dutra de Aguiar Ciferri Colaboradora (USP) Observatório da Educação
2 Sumário Introdução Trabalhos correlatos SB-index Testes de desempenho Melhoria sobre o SB-index Testes de desempenho adicionais Conclusões 2
3 Data Warehouse Geográfico Integra Sistemas de Informações Geográficas (SIG) Dados geográficos + atributos descritivos Análise espacial Data Warehouse (DW) Integrado Histórico Multidimensional On-Line Analytical Processing (OLAP) Consultas analíticas multidimensionais GIS, DW e OLAP convergem no suporte à tomada de decisão 3
4 Data Warehouse Esquema estrela Hierarquias de atributos Redundância! region nation city address 4
5 Data Warehouse Geográfico Num data warehouse geográfico (DWG), os dados espaciais são mantidos em uma ou mais tabelas de dimensão ou em pelo menos uma medida. 5
6 Data Warehouse Geográfico Processamento de consultas: Junção estrela Predicado espacial 6
7 Introdução Trabalhos correlatos Bitmap (O NEIL, P; GRAEFE, 1995; STOCKINGER; WU, K., 27) ar-tree (PAPADIAS; KALNIS; ZHANG; TAO, 21) SB-index Testes de desempenho Melhoria sobre o SB-index Testes de desempenho adicionais Conclusões 7
8 Bitmap TABELA DE DIMENSÃO: Supplier s_suppkey : s_address 1:1 TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO 8
9 Bitmap TABELA DE DIMENSÃO: Supplier s_suppkey : s_address 1:1 TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO 9
10 Bitmap TABELA DE DIMENSÃO: Supplier s_suppkey : s_address 1:1 TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO 1
11 Bitmap TABELA DE DIMENSÃO: Supplier Region Nation City Address TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO BITMAP DE JUNÇÃO 11
12 Bitmap TABELA DE DIMENSÃO: Supplier Region Nation City Address TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO BITMAP DE JUNÇÃO 12
13 Bitmap TABELA DE DIMENSÃO: Supplier Region Nation City Address TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO BITMAP DE JUNÇÃO 13
14 Bitmap TABELA DE DIMENSÃO: Supplier Region Nation City Address TABELA DE FATOS: lineorder BITMAP DE JUNÇÃO BITMAP DE JUNÇÃO 14
15 Bitmap Processamento de consultas Velozes operações lógicas bit-a-bit Pode evitar a junção estrela a partir de distintas tabelas de dimensão TABELA DE FATOS: lineorder RESPOSTA 15
16 Bitmap Uso em DW convencionais Junção estrela e hierarquias de atributos Vantagens Multidimensionalidade não deteriora drasticamente o desempenho do processamento de consultas Desvantagem Atributos com alta cardinalidade Binning, Compressão, Codificação Restrição Ainda não é usado na indexação de DWG Oportunidade! 16
17 ar-tree Índice para DWG Motivação: Hierarquias ad-hoc entre os objetos espaciais do DWG. Estrutura: R-tree que armazena, para cada MBR, o valor da função de agregação para todos os objetos nele incluídos (COUNT, MAX, AVG). Em cada entrada, um array multidimensional indica os valores agregados das dimensões não-espaciais. 17
18 ar-tree TipoVeículo TipoVeículo Caminhão Carro Moto Veículos Rua TipoVeículo Qtde a 1 Moto a 1 Carro a 1 Caminhão a 3 Moto 1 a 2 Caminhão 2 a 2 Carro 1 a 4 Carro 2 a 4 Moto 2 a 5 Carro 2 18
19 ar-tree Veículos Rua TipoVeículo Qtde a 1 Moto a 1 Carro a 1 Caminhão a 3 Moto 1 a 2 Caminhão 2 a 2 Carro 1 a 4 Carro 2 a 4 Moto 2 a 5 Carro 2 TipoVeículo TipoVeículo Caminhão Carro Moto 1 19
20 ar-tree Veículos Rua TipoVeículo Qtde a 1 Moto a 1 Carro a 1 Caminhão a 3 Moto 1 a 2 Caminhão 2 a 2 Carro 1 a 4 Carro 2 a 4 Moto 2 a 5 Carro 2 TipoVeículo TipoVeículo Caminhão Carro Moto 1 2
21 ar-tree Não provê suporte a Hierarquias de atributos espaciais predefinidas region nation city address 21
22 ar-tree Não provê suporte a Hierarquias de atributos espaciais predefinidas region nation city address 22
23 ar-tree Não provê suporte a Hierarquias de atributos espaciais predefinidas region nation city address 23
24 ar-tree Não provê suporte a Hierarquias de atributos espaciais predefinidas region nation city address 24
25 ar-tree Não provê suporte a Hierarquias de atributos espaciais predefinidas region nation city address 25
26 ar-tree Não provê suporte a Hierarquias de atributos espaciais predefinidas region nation city address 26
27 Introdução Trabalhos correlatos SB-index Testes de desempenho Melhoria sobre o SB-index Testes de desempenho adicionais Conclusões 27
28 Spatial Bitmap Index Foco Junção estrela + predicado espacial Características do DWG Hierarquias de atributos espaciais predefinidas Janelas de consulta ad-hoc Recursos Índice Bitmap de Junção FastBit Binning, Compressão e Codificação Software livre - Lawrence Berkeley National Laboratory 28
29 SB-index Definição Array (Arquivo Seqüencial) cujas entradas mantêm Um valor de chave primária O MBR do objeto espacial correspondente Índices Bitmap de Junção Sobre as chaves primárias das tabelas de dimensão espaciais Requer um índice por nível de granularidade Region Nation City Address 29
30 SB-index: construção 1) Índices Bitmap de Junção Sobre as chaves primárias das tabelas de dimensão espaciais 2) Extração BANCO DE DADOS Extração Organizado em páginas de disco Tabela de dimensão espacial 3
31 SB-index: processamento de consultas 1 a Pesquisar o SB-index e colecionar candidatos Pesquisa seqüencial Testar MBR contra a janela de consulta Candidatos: valores de chave 2 a Refinamento e reescrita da consulta Avalia os objetos espaciais originais no banco de dados Nova consulta: apenas predicados convencionais 3 a FastBit realiza a nova consulta Índice Bitmap de Junção 31
32 SB-index: processamento de consultas WHERE INTERSECTS (City, QW) 32
33 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos Disjuntos 33
34 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos Intersecta 34
35 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos Intersecta 35
36 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos Intersecta Falso candidato 36
37 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos Intersecta Falso candidato 37
38 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos e assim por diante: 4, 5, 6,... 38
39 SB-index: processamento de consultas 1. Pesquisa e coleção SB-index Candidatos 1 a tarefa completa! 39
40 SB-index: processamento de consultas 2. Refinamento e reescrita BANCO DE DADOS Candidatos Tabela de dimensão espacial 4
41 SB-index: processamento de consultas 2. Refinamento e reescrita Candidatos = {2,3,4,8,13} Respostas = {2} INTERSECTA 41
42 SB-index: processamento de consultas 2. Refinamento e reescrita Candidatos = {2,3,4,8,13} Respostas = {2} DISJUNTOS! 42
43 SB-index: processamento de consultas 2. Refinamento e reescrita Candidatos = {2,3,4,8,13} Respostas = {2,4} INTERSECTA 43
44 SB-index: processamento de consultas 2. Refinamento e reescrita Candidatos = {2,3,4,8,13} Respostas = {2,4,8} INTERSECTA 44
45 SB-index: processamento de consultas 2. Refinamento e reescrita Candidatos = {2,3,4,8,13} Respostas = {2,4,8,13} INTERSECTA 45
46 SB-index: processamento de consultas 2. Refinamento e reescrita BANCO DE DADOS Candidatos Respostas Tabela de dimensão espacial 2 a tarefa completa! 46
47 SB-index: processamento de consultas 3. FastBit processa a nova consulta Vide1º passo da construção do SB-index WHERE p_brand = MFGR#2239 AND s_suppkey in {2,4,8,13} 3 a tarefa completa! 47
48 SB-index Explora Hierarquias de atributos espaciais predefinidas Colabora com a computação da junção estrela e do predicado espacial Viabiliza Consultas multidimensionais com predicado espacial Realiza as consultas Intersection, Containment e Enclosure Range Queries 48
49 Introdução Trabalhos correlatos SB-index Testes de desempenho Melhoria sobre o SB-index Testes de desempenho adicionais Conclusões 49
50 Objetivos Validação do SB-index frente aos recursos atuais dos SGBD. Junção-estrela + Índices espaciais vs. SB-index Investigar a seguinte questão: Como a redundância de dados espaciais afeta o DWG? 5
51 Configuração Dados Star Schema Benchmark + TIGER / Line shapefiles Esquemas de DWG Geographic Hybrid Star Schema Benchmark Geographic Redundant Star Schema Benchmark Plataforma Processador Pentium D 2.8 GHz HD 72 RPM SATA 32 GB RAM 2 GB PostgreSQL / PostGIS 51
52 Esquemas de DWG Geographic Hybrid SSB (GHSSB) Geographic Redundant SSB (GRSSB) 52
53 Esquemas de DWG GHSSB GRSSB Supplier
54 Esquemas de DWG GHSSB GRSSB 2,556 (7 anos) 2,556 (7 anos) 15 GB 15 GB 54
55 Construção do SB-index Objetos GHSSB Acessos a disco Espaço Tempo (s) Objetos Acessos a disco GRSSB Espaço Tempo (s) Endereço ,5 MB ,5 MB 48 Cidade KB ,5 MB Nação KB ,5 MB Região KB ,5 MB GHSSB granularidade, objetos, acessos, espaço, tempo GRSSB Nº de objetos constante, logo, acessos e espaço: constantes granularidade, complexidade dos objetos, tempo 55
56 Construção do SB-index Objetos GHSSB Acessos a disco Espaço Tempo (s) Objetos Acessos a disco GRSSB Espaço Tempo (s) Endereço ,5 MB ,5 MB 48 Cidade KB ,5 MB Nação KB ,5 MB Região KB ,5 MB Índice Bitmap de Junção GHSSB: 3,4 GB acréscimo de,1% GRSSB: 2,3 GB acréscimo de,14% 56
57 Processamento de Consultas 5 operações roll-up completas 57
58 Tempo decorrido (s) Esquema híbrido (GHSSB): Nível de granularidade espacial não afetou o tempo de resposta. Junção-estrela é o processo mais custoso. 58
59 Tempo decorrido (s) 62, ,23 Esquema redundante (GRSSB): granularidade, repetição de objetos, tempo de resposta Exemplo: 119% de variação entre os níveis Endereço e Região 59
60 Tempo decorrido (s) ~ 13 min ~ 47 min Junções adicionais (GHSSB) vs. Redundância de dados espaciais (GRSSB) Maior perda de desempenho SGBD: Junção estrela + GiST: tempos de resposta proibitivos SB-index 6
61 Tempo decorrido (s),1%,5%,1% 1% SB-index no GHSSB: granularidade, janela de consulta, seletividade, tempo de resposta 61
62 Tempo decorrido (s) 95% 94% 92% 9% SB-index no GHSSB: Redução de 9% a 95% 62
63 Tempo decorrido (s) 25% 65% 95% 9% SB-index no GRSSB: Redução: de 25% até 95% [ inferior à redução no GHSSB ] 63
64 Tempo decorrido (s) SB-index no GRSSB: O mesmo MBR é avaliado várias vezes Pesquisa seqüencial Refinamento 64
65 Tempo decorrido (s) 65
66 Tempo decorrido (s) SB-index provê expressivos ganhos de desempenho no processamento de consultas em DWG. A redundância de dados espaciais também afeta negativamente o desempenho do processamento de consultas usando o SB-index. 66
67 Tempo de resposta (%) Quanto dura cada etapa durante o processamento da consulta? GHSSB Objetos espaciais distintos. Fração da Pesquisa Seqüencial + Refinamento é ínfima. GRSSB Objetos espaciais repetidos. Granularidade Repetição de objetos fração da Pesquisa Seqüencial + Refinamento 67
68 Introdução Trabalhos correlatos SB-index Testes de desempenho SB-index NR Testes de desempenho adicionais Conclusões 68
69 Estrutura de dados SB-index NR Manipulação de MBR distintos Cada entrada possui um MBR, um valor de chave e um ponteiro para uma lista. Cada lista mantém todas as chaves primárias que identificam o MBR da entrada correspondente. O valor de chave de uma entrada é o primeiro valor da lista 69
70 Processamento de consultas 7
71 Resultados 25% 8% 65% 85% 9% 91% 71
72 Introdução Trabalhos correlatos SB-index Testes de desempenho Melhoria sobre o SB-index Testes de desempenho adicionais Conclusões 72
73 Objetivos Avaliar o desempenho na existência de mais de uma janela de consulta. Junção-estrela + Índices espaciais vs. SB-index Analisar o impacto da escalabilidade do volume de dados. 73
74 Duas janelas de consulta Fornecedor Cliente 74
75 Duas janelas de consulta Hardware HD: 75 GB, 72 RPM, 32 MB cache Memória primária: 8 GB Nível Endereço: não é redundante, por isso não foi avaliado. Tempo decorrido (s) Junção-Estrela + GiST SB-index Redução GHSSB: Cidade 13,34 3,38 76,69% GRSSB: Cidade 172.9,15 312,37 99,82% Nível Cidade: redundância de dados espaciais afetou o desempenho. Níveis Nação e Região: execução no GRSSB levou mais de 4 dias. SB-index sem o melhoramento para lidar com redundância: expressivos ganhos de desempenho no GHSSB e GRSSB. 75
76 Escalabilidade do volume de dados GHSSB Fatores de escala: 2, 6 e 1 Dados espaciais constantes Endereços: 1. pontos Cidades: 25 polígonos Nações: 25 polígonos Regiões: 5 polígonos Dados convencionais variáveis - SSB Fator 2: 12 milhões de fatos Fator 6: 36 milhões de fatos Fator 1: 6 milhões de fatos 76
77 Escalabilidade do volume de dados Fator 2 Tempo decorrido (s) Junção-Estrela + GiST SB-index Redução Endereço 594,31 1,17 99,8% Cidade 562,8 45,47 91,95% Nação 545,59 48,26 91,15% Região 552,94 56,74 89,74% 77
78 Escalabilidade do volume de dados Fator 6 Tempo decorrido (s) Junção-Estrela + GiST SB-index Redução Endereço 1.83,62 1,24 99,93% Cidade 1.686,61 14,48 93,81% Nação 1.694, 13,89 93,87% Região 1.73,31 164,87 9,33% 78
79 Escalabilidade do volume de dados Fator 1 Tempo decorrido (s) Junção-Estrela + GiST SB-index Redução Endereço 2.853,85 131,91 95,38% Cidade 2.758,7 15, 94,56% Nação 2.765,61 21,7 92,7% Região 2.79,29 268,37 9,38% Volume, Tempo de resposta da consulta Volume não prejudica o ganho de desempenho do SB-index. Redução de tempo superior a 89% nos fatores de escala 2, 6 e 1. 79
80 Introdução Trabalhos correlatos SB-index Testes de desempenho Melhoria sobre o SB-index Testes de desempenho adicionais Conclusões 8
81 Conclusões SB-index Introduz o Índice Bitmap em DWG Trata hierarquias de atributos espaciais predefinidas Filtra os objetos espaciais Evita a computação da junção-estrela Validação do SB-index: testes de desempenho SGBD: junção-estrela + índice espacial (R-tree e GiST) Predicados espaciais: intersecta, está contido, contém DWG com e sem redundância de dados espaciais Escalabilidade do volume de dados 81
82 Conclusões Investigação Como a redundância de dados espaciais afeta o DWG? Resultados Redundância de dados espaciais afetou o armazenamento e o processamento de consultas no DWG. SB-index proporcionou ganhos de desempenho expressivos SB-index NR Melhor desempenho sobre esquemas de DWG redundantes 82
83 Trabalhos presentes e futuros SBR-tree Agrupamento de objetos espaciais (clustering) Evitar a pesquisa seqüencial Benchmark GHSSB e GRSSB Investigação: Bitmap Como combinar técnicas de binning, compressão e codificação em DWG? 83
84 Produção Científica SIQUEIRA, Thiago Luís Lopes ; CIFERRI, Ricardo Rodrigues ; TIMES, Valéria Cesário; I-DWE: Uma Estrutura de Indexação para Data Warehouse Espacial. In: VII Workshop de Teses e Dissertações em Bancos de Dados, 28, Campinas. Anais do VII Workshop de Teses e Dissertações em Bancos de Dados, 28. p
85 Produção Científica SIQUEIRA, Thiago Luís Lopes ; CIFERRI, Ricardo Rodrigues ; TIMES, Valéria Cesário ; CIFERRI, Cristina Dutra de Aguiar. Investigating the Effects of Spatial Data Redundancy in Query Performance over Geographical Data Warehouses. In: X Brazilian Symposium on Geoinformatics, 28, Rio de Janeiro. Proceedings of the X Brazilian Symposium on GeoInformatics, 28. p
86 Produção Científica SIQUEIRA, Thiago Luís Lopes ; CIFERRI, Ricardo Rodrigues ; TIMES, Valéria Cesário ; CIFERRI, Cristina Dutra de Aguiar. A Spatial Bitmap-based Index for Geographical Data Warehouses. In: The 24th Annual ACM Symposium on Applied Computing, 29, Honolulu, Hawaii, USA. Proceedings of the 24th Annual ACM Symposium on Applied Computing, 29. v. 3. p
87 Produção Científica SIQUEIRA, Thiago Luís Lopes ; CIFERRI, Cristina Dutra de Aguiar ; TIMES, Valéria Cesário ; OLIVEIRA, A. G. ; CIFERRI, Ricardo Rodrigues. The Impact of Spatial Data Redundancy on SOLAP Query Performance. Journal of the Brazilian Computer Society, 29. Aceito para publicação.
88 SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico Thiago Luís Lopes Siqueira Ricardo Rodrigues Ciferri Orientador (UFSCar) Valéria Cesário Times Co-orientadora (UFPE) Cristina Dutra de Aguiar Ciferri Colaboradora (USP) Observatório da Educação
89 89
90 Data Warehouse Geográfico Um data warehouse que mantém dados espaciais em uma ou mais tabelas de dimensão ou em pelo menos uma medida é um data warehouse geográfico (DWG). Stefanovic et al. (1997; 2) Fidalgo et al. (24; 25) Malinowski, Zimányi (24) Bimonte et al. (25; 26) Medidas e dimensões espaciais Apenas dimensões espaciais Medidas e dimensões espaciais Preferência por medidas espaciais Medida espacial: uma coleção de ponteiros para objetos espaciais Medida espacial deve ser um valor atômico Medida espacial: geométrica, relação topológica ou resultado de operação Medida espacial como tipo complexo; relacionamento N:N entre tabelas de dimensão e de fatos Materialização seletiva do cubo de dados Redundância dos dados espaciais deve ser evitada Modelo conceitual Funções de agregação definidas pelo usuário (Mondrian, Oracle) 9
91 Binning Construção de um vetor de bits para uma caixa (bin), ao invés de para cada valor do atributo. Exemplo: criação de um índice para um atributo X, cujo domínio são os números reais. X 32,5 95, 26,9 18,5 62,8 68,2 59,3 [,2) [2,4) [4,6) [6,8) [8,1) B B1 B2 B3 B
92 Binning Construção de um vetor de bits para uma caixa (bin), ao invés de para cada valor do atributo. Conte as linhas em que 35 X 7 X 32,5 95, 26,9 18,5 62,8 68,2 59,3 [,2) [2,4) [4,6) [6,8) [8,1) B B1 B2 B3 B Bcand Candidatos: B1 OR B2 OR B3 92
93 Binning Construção de um vetor de bits para uma caixa (bin), ao invés de para cada valor do atributo. Conte as linhas em que 35 X 7 X [,2) [2,4) [4,6) [6,8) [8,1) B B1 B2 B3 B4 Bcand RESPOSTAS 32,5 95, 26,9 18,5 62,8 68,2 59, Desvantagem: falsos candidatos, exigindo um refinamento. 93
94 Compressão - WAH Baseada em run-lenght encoding (RLE) Corrida: Preenchimento (fill): representa bits idênticos consecutivos usando RLE Cauda (tail): s e 1 s misturados, sem compressão Uma corrida é composta por um preenchimento, ou por uma cauda, ou por um preenchimento seguido de uma cauda. Determina preenchimentos e caudas para armazenar palavras (unidades operacionais do hardware) Exemplo: Reparte-se a seqüência seguinte, de 5456 bits em 2 corridas Codifica-se a mesma seqüência em 3 palavras 94
95 95 Divisão 176 grupos de 31 bits: 176 * 31 = 5456 Fusão de grupos vizinhos com bits idênticos 31 bits: 174*31 bits: 3 grupos 31 bits: Corridas: 1ª corrida: 1111 indica cauda: todos os bits a seguir são literais. Esta corrida tem 32 bits = 1 palavra. 2ª corrida: indica preenchimento; informa que zeros se repetem mostra, na base 2, quantos são os zeros repetidos: 174 indica a cauda Esta corrida tem 64 bits = 2 palavras. 95
96 Codificação binária Mapeamento dos valores do domínio de um atributo em números binários No máximo log 2 X vetores de bits Componentes: Índice Bitmap codificado Tabela de mapeamento Funções de recuperação Exemplo: X B 1 B T. Mapeamento a a b 1 b 1 c 1 c 1 b 1 a Funções de recuperação a = B 1 B b = B 1 B c = B 1 B 96
97 Codificação binária Processamento de consultas SELECT y FROM table WHERE x in {a,b} Usar funções de recuperação (a OR b): B 1 B OR B 1 B = B 1, ou seja, usar apenas a negação de B 1. X B 1 B T. Mapeamento a a b 1 b 1 c 1 c 1 b 1 a Funções de recuperação a = B 1 B b = B 1 B c = B 1 B 97
98 Codificação binária Processamento de consultas SELECT y FROM table WHERE x in {a,b} Usar funções de recuperação (a OR b): B 1 B OR B 1 B = B 1, ou seja, usar apenas a negação de B 1. B 1 = 1111, logo apenas a terceira linha não é parte da resposta. X B 1 a 1 b 1 c b 1 a 1 Funções de recuperação a = B 1 B b = B 1 B c = B 1 B 98
99 ar-tree Consulta: Encontre o total de carros no interior da janela de consulta JC. Caso: MBR da entrada está contido na JC, a qual é grande. 1 99
100 ar-tree Consulta: Encontre o total de carros no interior da janela de consulta JC. Caso: MBR da entrada sobrepõe parcialmente a JC, a qual é pequena. 1 1
101 ar-tree Consulta: Qual o total de carros em JC? Caso: MBR da entrada e a JC são disjuntos Consulta: Calcule o total de carros Caso: não envolve a dimensão espacial 1 11
102 Processamento de Consultas - CRQ 5 operações roll-up completas 12
103 Esquema híbrido (GHSSB): Predicado está contido é mais restritivo que o predicado intersecta. granularidade, tamanho dos objetos, objetos incluídos na janela de consulta 13
104 Esquema redundante (GRSSB): Endereço: não há repetição de objetos Objetos distintos em 1. tuplas Cidade: baixa repetição de objetos, menor tempo de resposta Nação e Região: repetição de objetos, tempo de resposta 14
105 1.442,73 114,9 GHSSB vs. GRSSB Variação Região: 815,96% 15
106 96% 94% 9% 9% SB-index no GHSSB: Nível Endereço não requer refinamento granularidade, tempo de resposta Junção-estrela + GiST, redução 16
107 85% 78% 94% 94% SB-index no GRSSB: granularidade, repetição de objetos, objetos conduzidos ao refinamento, redução 17
108 SB-index provê expressivos ganhos de desempenho no processamento de consultas em DWG. A redundância de dados espaciais também afeta negativamente o desempenho do processamento de consultas usando o SB-index. 18
109 GHSSB Objetos espaciais distintos. Fração da Pesquisa Seqüencial + Refinamento é ínfima. GRSSB Objetos espaciais repetidos. Granularidade Repetição de objetos fração da Pesquisa Seqüencial + Refinamento 19
110 Processamento de Consultas - ERQ 5 operações roll-up completas 11
111 Esquema redundante (GRSSB): Endereço: não há repetição de objetos Objetos distintos em 1. tuplas Cidade: repetição de objetos, tempo de resposta Nação e Região: repetição de objetos, tempo de resposta 111
112 6154, ,8 GHSSB vs. GRSSB: Objetos distintos em 1. tuplas Variação Região: 116,3% 112
113 97% 94% 94% 9% SB-index no GHSSB: granularidade, janela de consulta, seletividade, tempo de resposta Redução sempre acima de 9% 113
114 38% 97% 94% 72% SB-index no GRSSB: granularidade, repetição de objetos, objetos conduzidos ao refinamento, redução 114
115 SB-index provê expressivos ganhos de desempenho no processamento de consultas em DWG. A redundância de dados espaciais também afeta negativamente o desempenho do processamento de consultas usando o SB-index. 115
116 GHSSB Objetos espaciais distintos. Fração da Pesquisa Seqüencial + Refinamento é ínfima. GRSSB Objetos espaciais repetidos. Granularidade Repetição de objetos fração da Pesquisa Seqüencial + Refinamento 116
117 SBR-tree GHSSB Dados espaciais: 1x Endereços: 1.. pontos Cidades: 2.5 polígonos Nações: 25 polígonos Regiões: 5 polígonos Dados convencionais 6 milhões de fatos SB-index + Refinamento SB-index vs. SBR-tree SBR-tree + refinamento Redução Endereço, , ,4% Cidade, , ,8% Nação, , ,59% Região, , ,59% 117
118 SBR-tree Star-join + GiST vs. SBR-tree Star-join + GiST SBR-tree Redução Endereço 21764,1827 4, ,82% Cidade 1185, , ,64% Nação 1183, , ,9% Região 1184, , ,28% 118
119 SBR-tree Visão materializada CREATE TABLE q23geo AS SELECT sum(lo_revenue), s_address_fk, s_city_fk, s_nation_fk, s_region_fk, d_year, p_brand1 FROM lineorder, part, supplier, date WHERE lo_suppkey = s_suppkey AND lo_orderdate = d_datekey AND lo_partkey = p_partkey GROUP BY s_address_fk, s_city_fk, s_nation_fk, s_region_fk, d_year, p_brand1 Visão materializada vs. SBR-tree VM + GiST SBR-tree Redução Endereço 9815, , ,59% Cidade 2987, , ,27% Nação 746, , ,7% Região 64, , ,97% 119
Índice Bitmap e Indexação de Ambientes de Data Warehousing
Índice itmap e Indexação de Ambientes de Data Warehousing Jaqueline Joice rito jjbrito@icmc.usp.br 3 de Junho de 23 Roteiro Índice itmap Técnicas de otimização Adaptação da apresentação de Sérgio L. Díscola
Índice Bitmap. Aluno: Carlos Henrique Villa Pinto Orientador: Ricardo Rodrigues Ciferri Colaboradora: Renata Miwa Tsuruda
Índice Bitmap Aluno: Carlos Henrique Villa Pinto Orientador: Ricardo Rodrigues Ciferri Colaboradora: Renata Miwa Tsuruda Tópicos Índices Índice bitmap Definição, vantagens e desvantagens. Codificação Codificação
Algoritmos de Junção Estrela em MapReduce
Algoritmos de Junção Estrela em MapReduce Jaqueline Joice Brito 09 de junho de 2015 1 Modelo Relacional Dados armazenados em um conjunto de tabelas Amplamente utilizado Junção Recuperação de dados de duas
UNIVERSIDADE FEDERAL DE SÃO CARLOS
0 UNIVERSIDADE FEDERAL DE SÃO CARLOS DEPARTAMENTO DE COMPUTAÇÃO PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO Thiago Luís Lopes Siqueira SB-INDEX: UM ÍNDICE ESPACIAL BASEADO EM BITMAP PARA DATA WAREHOUSE
Ambiente de Data Warehouse Para Imagens Médicas Baseado Em Similaridade
Universidade de São Paulo - USP Instituto de Ciências Matemáticas e de Computação - ICMC Programa de Pós-Graduação em Ciências da Computação e Matemática Computacional Ambiente de Data Warehouse Para Imagens
FastBit e Índice Bitmap de Junção. Anderson Chaves Carniel Prof. Thiago Luís Lopes Siqueira
FastBit e Índice Bitmap de Junção Anderson Chaves Carniel Prof. Thiago Luís Lopes Siqueira AGENDA Introdução Instalação Índice Bitmap de Junção Construção do índice Consultas sobre o índice Introdução
Modelagem Multidimensional - Nível Físico -
Modelagem Multidimensional - Nível Físico - Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura de 3 Camadas esquema operações
Modelagem Multidimensional
Modelagem Multidimensional Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Modelagem Multidimensional Análises dos usuários de SSD representam
Modelagem Multidimensional - Nível Físico -
Modelagem Multidimensional - Nível Físico - Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Arquitetura de 3 Camadas esquema operações conceitual metáfora do cubo de dados
Dados Espaciais e Indexação
Dados Espaciais e Indexação Cristina Dutra de Aguiar Ciferri Arthur Emanuel de O. Carosia 1 Tipos de Dados Espaciais Ponto: menor unidade possível para representar um objeto espacial. Linha: seqüência
Rodrigo Costa Mateus
Pós-Graduação em Ciência da Computação CSB-INDEX: Um Índice Espacial para Data Warehouses Geográficos na Nuvem Por Rodrigo Costa Mateus Dissertação de Mestrado Universidade Federal de Pernambuco posgraduacao@cin.ufpe.br
Tecnologias Oracle para DW Visões Materializadas no Oracle
Tecnologias Oracle para DW Visões Materializadas no Oracle Processamento Analítico de Dados Prof. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Bruno Tomazela Renata Miwa Tsuruda
Estendendo GeoDWCASE para Oracle Spatial e MySQL PROPOSTA DE TRABALHO DE GRADUAÇÃO
UNIVERSIDADE FEDERAL DE PERNAMBUCO GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO CENTRO DE INFORMÁTICA Estendendo GeoDWCASE para Oracle Spatial e MySQL PROPOSTA DE TRABALHO DE GRADUAÇÃO Paulo Roberto de Melo Rodrigues
Modelagem Multidimensional - Nível Físico -
Modelagem Multidimensional - Nível Físico - Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura de 3 Camadas esquema operações
SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico
SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico Thiago Luís Lopes Siqueira 1,2, Ricardo Rodrigues Ciferri 3, Valéria Cesário Times 4 1 Programa de Pós-Graduação em Ciência
Samara Martins do Nascimento
Pós-Graduação em Ciência da Computação Spatial Star Schema Benchmark Um Benchmark para Data Warehouse Geográfico Por Samara Martins do Nascimento Dissertação de Mestrado Universidade Federal de Pernambuco
Modelagem Multidimensional - Nível Físico -
Modelagem Multidimensional - Nível Físico - Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Arquitetura de 3 Camadas esquema operações conceitual metáfora do cubo de dados
Aula 02. Evandro Deliberal
Aula 02 Evandro Deliberal evandro@deljoe.com.br https://www.linkedin.com/in/evandrodeliberal Data Warehouse; Ambiente de Data Warehouse; Processos e ferramentas envolvidas; Arquiteturas de DW; Granularidade;
I-DWE: Uma Estrutura de Indexação para Data Warehouse Espacial
I-DWE: Uma Estrutura de Indexação para Data Warehouse Espacial Thiago Luís Lopes Siqueira 1 Orientador: Ricardo Rodrigues Ciferri 2 Co-orientadora: Valéria Cesário Times 3 1 Programa de Pós-graduação em
Tecnologias Oracle para DW Visões Materializadas no Oracle
Tecnologias Oracle para DW Visões Materializadas no Oracle Prof. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Bruno Tomazela Renata Miwa Tsuruda Obje%vo Criar e u%lizar visões
Modelagem Multidimensional - Nível Lógico -
Modelagem Multidimensional - Nível Lógico - Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura de 3 Camadas esquema operações
Gerenciamento de pedidos Teoria e Prática
Gerenciamento de pedidos Teoria e Prática Thiago Luís Lopes Siqueira As transações de pedidos 2 Indicadores: volume de vendas e receita de faturamento Tabela de fatos para as transações de pedido Granularidade:
Anderson Chaves Carniel Profa. Dra. Cristina Dutra de Aguiar Ciferri
Anderson Chaves Carniel Profa. Dra. Cristina Dutra de Aguiar Ciferri 1 2 Introdução Linguagem de consulta à base de dados multidimensionais criada pela Microsoft em 1998 Parte de um padrão industrial,
Banco de Dados Espaciais
Banco de Dados Espaciais Disciplina BD Não Convencionais Prof. Ricardo Rodrigues Ciferri São Carlos, 20 de Agosto de 2010 Sumário Tipos de Dados Espaciais Representação dos Dados Processamento de Consultas
ARMAZENAMENTO E PROCESSAMENTO DE BANCOS DE DADOS RELACIONAIS
ARMAZENAMENTO E PROCESSAMENTO DE BANCOS DE DADOS RELACIONAIS EDUARDO C. DE ALMEIDA 1 EDUARDO@INF.UFPR.BR UFPR LABORATÓRIO DE BANCO DE DADOS VISÃO GERAL DA APRESENTAÇÃO Entender como um banco de dados aparenta
Arquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura Típica usuário usuário... usuário
Bancos de Dados IV. OLAP e Cubos de Dados. Rogério Costa
Bancos de Dados IV OLAP e Cubos de Dados Rogério Costa rogcosta@inf.puc-rio.br 1 OLAP Online Analytical Processing (OLAP) Análise interativa de dados, permitindo que dados sejam sumarizados e vistos de
Arquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura Típica usuário usuário... usuário
Tecnologias Oracle para DW Índice Bitmap no Oracle 11g EE. Cristiane Yaguinuma Débora Marrach Luana Annibal Vinícius Ferraz
Tecnologias Oracle para DW Índice Bitmap no Oracle 11g EE Cristiane Yaguinuma Débora Marrach Luana Annibal Vinícius Ferraz Setembro/29 Agenda Oracle 11g Release 2 - Enterprise Edition Índice Bitmap Conceitos
SQL. Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri
SQL Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura de 3 Camadas esquema operações conceitual metáfora do cubo de dados Cube
Arquitetura de um Ambiente de Data Warehousing
Arquitetura de um Ambiente de Data Warehousing Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri OLAP: Fonte: Arquitetura Vaisman, A., Zimányi,
SQL. Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri
SQL Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Arquitetura de 3 Camadas esquema operações conceitual metáfora do cubo de dados Cube
Motivação. Análise de Dados. BD x DW OLTP. Data Warehouse. Revisão Quais as diferenças entre as tecnologias de BD e DW? OLAP Modelos Multidimensionais
Data Warehouse Análise de Dados Motivação Revisão Quais as diferenças entre as tecnologias de BD e? Modelos Multidimensionais BD x OLTP dados volume dados granularidade dados atualização dados uso Característica
Motivação e Conceitos Básicos
Motivação e Conceitos Básicos Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Data Warehousing Engloba arquiteturas, algoritmos e ferramentas
Roteiro da apresentação
Alexandre Schlöttgen Data Warehouse Curso de Pós Graduação em Ciência da Computação Tópicos Avançados em Modelos de Banco de Dados Profs: Clésio Santos e Nina Edelweiss Junho de 2003 Roteiro da apresentação
UNIVERSIDADE FEDERAL DE SÃO CARLOS
UNIVERSIDADE FEDERAL DE SÃO CARLOS CENTRO DE CIÊNCIAS EXATAS E DE TECNOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO ANÁLISE DE DESEMPENHO DE CONSULTAS OLAP ESPAÇO-TEMPORAIS EM FUNÇÃO DA ORDEM
Data Warehousing: Conceitos Básicos e Arquitetura
Data Warehousing: Conceitos Básicos e Arquitetura Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Visão do Mercado Crescimento explosivo do uso da tecnologia de data warehousing
Conceitos Básicos. Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri
Conceitos Básicos Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Data Warehousing Engloba arquiteturas, algoritmos e ferramentas que possibilitam
Modelagem Multidimensional
Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Análises dos usuários de SSD representam requisições multidimensionais aos dados do DW permitem a identificação de problemas
Bancos de Dados IV. Arquiteturas. Rogério Costa
Bancos de Dados IV Arquiteturas Rogério Costa rogcosta@inf.puc-rio.br 1 Arquiteturas para DW DW Virtuais Fortemente Acoplada (Empresa Inteira) Fracamente Acoplada Arquiteturas para DW DW Virtuais São visões
SQL CREATE MATERIALIZED VIEW. Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri. OLAP: Modelagem Multidimensional
SQL CREATE MATERIALIZED VIEW Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Visão Materializada CREATE MATERIALIZED VIEW nome_visão [BUILD [DEFERRED IMMEDIATE]] [[REFRESH
Tipos de Índices. Profa. Dra. Cristina Dutra de Aguiar Ciferri
Tipos de Índices Cristina Dutra de Aguiar Ciferri Tipos de Índice Ordenados em um único nível primário agrupamento (cluster) secundário Estruturas de dados de árvores índices multiníveis árvores-b, árvores-b+
Análise Experimental de Bases de Dados Relacionais e NoSQL no Processamento de Consultas sobre Data Warehouse
Análise Experimental de Bases de Dados Relacionais e NoSQL no Processamento de Consultas sobre Data Warehouse Anderson Chaves Carniel 1, Aried de Aguiar Sá 1, Marcela Xavier Ribeiro 1, Renato Bueno, Cristina
Introdução a Bancos de Dados
Introdução a Bancos de Dados - Conceitos - Modelos lógicos e relacional - Álgebra relacional - SQL - Projeto Lógico INPE - Divisão de Processamento de Imagens INPE 1 Sistemas de Banco de Dados Definição:
COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações
COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações Jaqueline Joice Brito Slides em colaboração com Lucas de Carvalho Scabora Sumário Computação em Nuvem Definição
Introdução. Motivação. Sistema Gerenciador de Banco de Dados (SGBD) Banco de Dados (BD) Sistema de Banco de Dados (SBD)
Ciência da Computação GBC043 Sistemas de Banco de Dados Introdução Profa. Maria Camila Nardini Barioni camila.barioni@ufu.br Bloco B - sala 1B137 1 semestre de 2019 Motivação Necessidade de armazenar grandes
Organização de Arquivos. Thiago A. S. Pardo Leandro C. Cintra M.C.F. de Oliveira Cristina D. A. Ciferri
Organização de Arquivos Thiago A. S. Pardo Leandro C. Cintra M.C.F. de Oliveira Cristina D. A. Ciferri Organização de arquivos para desempenho Organização de arquivos visando desempenho Complexidade de
Universidade Federal da Paraíba CCEN Departamento de Informática Disciplina: Banco de Dados. Aula 1 Introdução a Banco de Dados
Universidade Federal da Paraíba CCEN Departamento de Informática Disciplina: Banco de Dados Aula 1 Introdução a Banco de Dados 1. Introdução Um Sistema Gerenciador de Banco de Dados (SGBD) é constituído
Métodos de Acesso Métrico
Métodos de Acesso Métrico http://www.icmc.usp.br/img/novafaixa.png Arthur Emanuel de O. Carosia Profa. Dra. Cristina Dutra de Aguiar Ciferri Índice Conceitos Básicos Métodos de Acesso Onion-tree 2 Índice
Sistemas de Gerência de Bancos de Dados. Módulo 1 - Armazenamento
Sistemas de Gerência de Bancos de Dados Módulo 1 - Armazenamento Tópicos Introdução Gerência do Buffer Pool Armazenamento em SGBDs Convencionais Armazenamento em SGBDs Orientados a Objeto Introdução Etapas
Introdução a Ciência da Computação Estrutura e Organização das Informações PROFESSORA CINTIA CAETANO
Introdução a Ciência da Computação Estrutura e Organização das Informações PROFESSORA CINTIA CAETANO Introdução A qualidade do armazenamento dos dados, permitem uma melhor extração de informações, e consequentemente,
Uso de Índices na Otimização e Processamento de Consultas. Otimização e Processamento de Consultas. Otimização e Processamento de Consultas
usuário processador de E/S gerador de respostas Uso de Índices na Otimização e Processamento de Consultas Profa. Dra. Cristina Dutra de Aguiar Ciferri analisador controle de autorização verificador de
MATA60 BANCO DE DADOS Aula 10- Indexação. Prof. Daniela Barreiro Claro
MATA60 BANCO DE DADOS Aula 10- Indexação Prof. Daniela Barreiro Claro Indexação Indexação em SQL; Vantagens e Custo dos Índices; Indexação no PostgreSQL; FORMAS - UFBA 2 de X; X=23 Indexação Sintaxe: create
Matéria Introdutória. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri
Matéria Introdutória Banco de Dados Motivação Necessidade de armazenar grandes quantidades de dados Necessidade de acessar as informações de maneira eficiente e segura Evolução histórica: desenvolvimento
Modelagem de BDG. Modelagem de BDG
Modelagem de BDG Modelagem de dados convencional abstração de entidades e relacionamentos do mundo real com propriedades alfanuméricas Modelagem de dados geográficos é mais complexa entidades com propriedades
MySql. Introdução a MySQL. Andréa Garcia Trindade
MySql Introdução a MySQL Andréa Garcia Trindade Introdução O que é Banco de Dados SGBD MYSQL Tipos de Tabelas Tipos de Dados Linguagem SQL Comandos SQL O que é um Banco de Dados? Conjuntos de dados Grupo
Sistemas de Informação Geográficos. Informação na Organização. O Valor da Informação. Sistemas de Informação Tradicionais. O Valor da Informação
Introdução Fundamentos e Histórico dos SIG Clodoveu Davis Geográficos Tópicos Informação Sistemas de informação Informação nas organizações Informação geográfica Histórico dos SIG Características e funcionalidade
SQL Linguagem de Definição de Dados
SQL Linguagem de Definição de Dados Laboratório de Bases de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri SQL Structured Query Language Uma das mais importantes linguagens relacionais (se não a mais
Enriquecendo Data Warehouses Espaciais com Descriç es Semânticas *
Enriquecendo Data Warehouses Espaciais com Descriç es Semânticas * Renato Deggau 1,2 Renato Fileto 1 (orientador) 1 Programa de Pós Graduação em Ciência da Computação (PPGCC) Universidade Federal de Santa
S2I+: Armazenamento Eficiente em Índice Espaço-Textual
S2I+: Armazenamento Eficiente em Índice Espaço-Textual Tiago F. Athayde-Novaes 1, Fellipe L. Fonseca 1, João B. Rocha-Junior 1 1 Universidade Estadual de Feira de Santana (UEFS) Feira de Santana BA Brasil
3 Plano de Execução de Consultas
Sumário 1 Introdução ao Processamento de Consultas 2 Otimização de Consultas 3 Plano de Execução de Consultas 4 Introdução a Transações 5 Recuperação de Falhas 6 Controle de Concorrência 7 Fundamentos
Curso: Banco de Dados I. Conceitos Iniciais
Curso: Conceitos Iniciais Discussão inicial O que são Bancos de Dados? Quais os programas de Bancos de Dados mais conhecidos no mercado? Quais as vantagens do uso de Bancos de Dados nas empresas? Como
Álgebra Relacional e SQL
Álgebra Relacional e SQL Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Álgebra Relacional Maneira teórica de se manipular o banco de dados relacional Linguagem de consulta procedural usuários
OTIMIZAÇÃO DE CONSULTAS - MYSQL. Prof. Antonio Almeida de Barros Junior
OTIMIZAÇÃO DE CONSULTAS - MYSQL Prof. Antonio Almeida de Barros Junior Para a otimização de um SGBD precisamos identificar as consultas lentas que eventualmente são submetidas ao banco: Configurações do
Arquivo. Banco de Dados. Organização dos Arquivos. Banco de Dados. Banco de Dados. Introdução a Computação
Arquivo Introdução a Computação Arquivos e Arquivo agrupamento organizado de dados que guardam entre si uma relação lógica e estruturada Registro conjunto de informações referentes a um elemento de um
Capítulo 11: Implementação de Sistemas de Arquivos. Operating System Concepts 8th Edition
Capítulo 11: Implementação de Sistemas de Arquivos Sobre a apresentação (About the slides) Os slides e figuras dessa apresentação foram criados por Silberschatz, Galvin e Gagne em 2009. Esse apresentação
BANCO DE DADOS. Araújo Lima. Jan / Araújo
BANCO DE DADOS Lima Jan / 2017 1 Índice 1.Introdução a Sistemas de Banco de Dados Evolução dos Sistemas de Informação Conceitos de Bancos de Dados Usuários de Banco de Dados Banco de Dados X Linguagens
SEFAZ INFORMÁTICA Olap Prof. Márcio Hunecke
SEFAZ INFORMÁTICA Olap Prof. Márcio Hunecke www.acasadoconcurseiro.com.br Informática OLAP Partindo dos primórdios da informatização, quando um sistema que gerava relatórios era a principal fonte de dados
Processo de Criação de um Esquema Estrela
Processo de Criação de um Esquema Estrela Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Etapas 1. Selecione o processo do negócio 2. Identifique o grão do processo do
Bancos de Dados IV. Data Warehouse Conceitos. Rogério Costa
Bancos de Dados IV Data Warehouse Conceitos Rogério Costa rogcosta@inf.puc-rio.br 1 Data Warehouse - O que é? Conjunto de dados orientados por assunto, integrado, variável com o tempo e nãovolátil Orientado
Data Warehousing: Conceitos Básicos e Arquitetura
Data Warehousing: Conceitos Básicos e Arquitetura Profa. Dra. Cristina Dutra de Aguiar Ciferri Prof. Dr. Ricardo Rodrigues Ciferri Visão do Mercado Crescimento explosivo do uso da tecnologia de data warehousing
UTFPR - Universidade Tecnológica Federal do Paraná. Processamento e otimização de consultas
UTFPR - Universidade Tecnológica Federal do Paraná Processamento e otimização de consultas Leyza Baldo Dorini 04/Nov/2009 Programação da aula Introdução: processamento e otimização de consultas Etapas:
TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE
TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto OLPT x OLAP Roteiro OLTP Datawarehouse OLAP Operações OLAP Exemplo com Mondrian e Jpivot
Sistemas de Suporte à Decisão. Suporte à Decisão X Operacional. Banco de Dados Avançado. Data Warehouse. Data Warehouse & Data Mart
Sistemas de Suporte à Decisão Sistemas de Suporte a Decisão (SSD) Permitem armazenar e analisar grandes volumes de dados para extrair informações que auxiliam a compreensão do comportamento dos dados Armazenar
Processamento de Consultas Espaciais Baseado em Cache Semântico Dependente de Localização.
See discussions, stats, and author profiles for this publication at: http://www.researchgate.net/publication/220913375 Processamento de Consultas Espaciais Baseado em Cache Semântico Dependente de Localização.
Sistemas de Arquivos
Sistemas de Arquivos Problemas da alocação em RAM Baixa capacidade Volatilidade Solução: uso de arquivos Conceito de arquivo Espaço endereços lógico contíguo Coleção informações correlatas com mesmo nome
Álgebra Relacional e SQL operações de interesse
Álgebra Relacional e SQL operações de interesse Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Álgebra Relacional Maneira teórica de se manipular o banco de dados relacional Linguagem de consulta
BCD29008 Banco de dados
BCD29008 Banco de dados Linguagem SQL Prof. Emerson Ribeiro de Mello Instituto Federal de Santa Catarina IFSC campus São José mello@ifsc.edu.br http://docente.ifsc.edu.br/mello/bcd 21 de agosto de 2017
Inteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 4: OLAP) Fundamentação da disciplina Analise de dados
Planificação Anual. Departamento Expressões e Tecnologias
Modelo Dep-01 Planificação Anual Agrupamento de Escolas do Castêlo da Maia Departamento Expressões e Tecnologias Ano 12º Ano letivo 2013.2014 Disciplina Programação e Sistemas de Informação Turma G Professores:
Busca em Regiões Ortogonais
Busca em Regiões Ortogonais Claudio Esperança Paulo Roma 1 O problema O problema O problema consiste em recuperar objetos tipicamente pontos que intersectam ou estão contidos numa região simples do espaço
Linguagem de pesquisa declarativa para banco de dados relacional; 1ª Versão - Desenvolvida pela IBM no laboratório de pesquisa de San José;
MySQL SQL (Structured Query Languagem ) Linguagem de pesquisa declarativa para banco de dados relacional; 1ª Versão - Desenvolvida pela IBM no laboratório de pesquisa de San José; Inicialmente - Sequel
Hashing Externo. SCC-503 Algoritmos e Estruturas de Dados II. Thiago A. S. Pardo M.C.F. de Oliveira Cristina Ciferri
Hashing Externo SCC-503 Algoritmos e Estruturas de Dados II Thiago A. S. Pardo M.C.F. de Oliveira Cristina Ciferri 1 Hashing 0 1 chave de busca K = LOWELL 2 h(k) endereço 4 (RRN 4) 3 4 5... LOWELL......
B A N C O D E D A D O S G E O G R Á F I C O S M A R C O N I D E A R R U D A P E R E I R A
Mineração de Dados Espaciais B A N C O D E D A D O S G E O G R Á F I C O S M A R C O N I D E A R R U D A P E R E I R A Roteiro 2 Introdução Mineração de Dados Estado da Arte Artigo apresentado Conclusão
Organização de Arquivos
Construção de Sistemas de Gerência de Bancos de Dados DI PUC-Rio Prof: Sérgio Lifschitz Organização de Arquivos Organização de Arquivos Tipos básicos de arquivos: heap files (entry sequenced files) sorted
UNIVERSIDADE FEDERAL DA GRANDE DOURADOS PRÓ-REITORIA DE GRADUAÇÃO PROGRAD FACULDADE DE CIÊNCIAS EXATAS E TECNOLOGIA CURSO DE SISTEMAS DE INFORMAÇÃO
UNIVERSIDADE FEDERAL DA GRANDE DOURADOS PRÓ-REITORIA DE GRADUAÇÃO PROGRAD FACULDADE DE CIÊNCIAS EXATAS E TECNOLOGIA CURSO DE SISTEMAS DE INFORMAÇÃO Disciplina: Banco de Dados I Professor: Prof. Me. Everton
Conceitos Básicos. Profa. Dra. Cristina Dutra de Aguiar Ciferri. Algoritmos e Estruturas de Dados II: Projeto
Conceitos Básicos Profa. Dra. Cristina Dutra de Aguiar Ciferri Data Warehousing Engloba arquiteturas, algoritmos e ferramentas que possibilitam que dados selecionados de provedores de informação autônomos,
Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri. Banco de Dados Processamento e Otimização de Consultas
Processamento e Otimização de Consultas Banco de Dados Motivação Consulta pode ter sua resposta computada por uma variedade de métodos (geralmente) Usuário (programador) sugere uma estratégia para achar
SQL-99: Esquema de BD EMPRESA
SQL-99: Esquema de BD EMPRESA SQL-99: Instâncias do esquema EMPRESA 1 Consultas externa, aninhada e correlacionada para cada tupla da consulta externa, a consulta aninhada devolve o atributo solicitado
Sumário. Definição do Plano de Execução
Sumário 1 Introdução ao Processamento de Consultas 2 Otimização de Consultas 3 Plano de Execução de Consultas Introdução a Transações 5 Recuperação de Falhas 6 Controle de Concorrência 7 Fundamentos de
Sistemas de Arquivos. (Aula 23)
Sistemas de Arquivos (Aula 23) Funções de um SO Gerência de processos Gerência de memória Gerência de Arquivos Gerência de I/O Sistema de Proteção 2 Sistemas Operacionais 2008/1 Necessidade de Armazenamento
Escrita ( W ) do Resultado
Escrita ( W ) do esultado Qualquer alternativa de processamento deve considerar este custo b res = número de blocos de resultado a ser W Exemplo: estimativa de W do resultado de um produto b res = tamanhoproduto
Sumário. 1 Introdução 2 BD Orientado a Objetos 3 BD Objeto-Relacional 4 Noções Básicas de Data Warehouse 5 XML e BD XML. Motivação
Sumário 1 Introdução 2 BD Orientado a Objetos 3 BD Objeto-Relacional Noções Básicas de Data Warehouse 5 XML e BD XML Motivação Sistemas de Apoio à Decisão Objetivo análise de dados históricos da organização
1. Conceitos Básicos de Computação
Introdução à Computação I IBM1006 1. Conceitos Básicos de Computação Prof. Renato Tinós Local: Depto. de Computação e Matemática (FFCLRP/USP) 1 Principais Tópicos 1.Conceitos Básicos de Computação 1.1.
Implementação de Sistemas de Arquivos. Na Aula Anterior... Esquema do Sistema de Arquivos. Nesta Aula 31/10/2016. Estrutura de Baixo Nível de um Disco
GSI018 Sistemas Operacionais 31/10/2016 Implementação de Sistemas de Arquivos Universidade Federal de Uberlândia Faculdade de Computação Prof. Dr. rer. nat. Daniel D. Abdala Na Aula Anterior... Memória
Capítulo 9: Sistemas de banco de dados
Capítulo 9: Sistemas de banco de dados Ciência da computação: Uma visão abrangente 11a Edition by J. Glenn Brookshear Copyright 2012 Pearson Education, Inc. Database (Banco de Dados) Uma coleção de dados
Banco de Dados. Introdução e Definições
Banco de Dados Introdução e Definições Conceitos Diferença entre Informação e Dado Informação: é qualquer fato ou conhecimento do mundo real e que pode ou não ser registrado /armazenado Dado: é a representação