Revisão: O que XML? Revisão: XML NATIVO. MIRELLA M. MORO mirella@dcc.ufmg.br

Transcrição

1 Bancos de Dados Avançados Processamento de dados XML DCC030 - TCC: Bancos de Dados Avançados (Ciência Computação) DCC049 - TSI: Bancos de Dados Avançados (Sistemas Informação) DCC842 - Bancos de Dados (Pós-Graduação) RELLA M. MORO mirella@dcc.ufmg.br <liografia> Revisão: O que XML? Tipo de elemento <artigo ID="object-fusion"> <autores> <autor>y. Papakonstantinou</autor> <autor>s. Abiteboul</autor> <autor>h. Garcia-Molina</autor> </autores> <artigocompleto source="fusion"/> <título>object Fusion in Mediator Systems</título> <public>vldb 96</public> </artigo> </liografia> Conteúdo, caracteres Elemento Elemento Vazio Conteúdo Elemento 2 XML vs. HTML <h1> Bibliografia </h1> <p> <i> Foundations of DB Systems</i>, Elmasri, Navathe <br> Addison-Wesley, 2006 <p> <i> Encyclopedia of DB Systems</i>, Ozsu, Liu, eds. <br> 2008 <liografia> <livro> <titulo> Foundations of DB Systems </titulo> <autor> Elmasri </autor> <autor> Navathe </autor> <editora> Addison-Wesley </editora>... </livro> <livro>... <editor> Ozsu</editor>... </livro>... </liografia> HTML tags apresentação, estrutura genérica XML tags conteúdo, semântica, (DTD-) específica Revisão: Como XML? CLOB/BLOB Armazenar XML como documento texto PROBLEMAS? Difícil de consultar e atualizar Não fornece integridade aos dados Uma coluna texto em uma tabela 3 4 Revisão: Como XML? XML/SQL Shredding Mapear e reduzir XML em tabelas SQL Consultas XML usando SQL ou SQL/XML PROBLEMAS? Cada SGBD SQL tem uma técnica diferente Consulta XML usando SQL, reconstrói dados XML Revisão: XML NATIVO XML/SQL Shredding Mapear e reduzir XML em tabelas SQL Consulta XML usando SQL, reconstrói dados XML BLOB/CLOB Armazenar XML como documento texto Difícil de consultar e atualizar Várias colunas texto em várias tabelas XML Nativo ArmazenaXML no modonativo, com ou sem esquema ConsultausandolinguagemXML (XQuery, XPath) Utiliza índices XML apropriados 5 6

2 XML Nativo Documento <Library> < = 14 > <>Adventures of Huckleberry Finn</> <><>Twain</> <>Mark</> </> <>2002</> <otherinfo> <isbn> </isbn> <collection>penguin Classics</collection> <publisher>penguin Classics</publisher> </otherinfo> </> < = 5 > atributo <>How the Grinch Stole Christmas!</> <>Dr. Seuss</> <publisher> Random House</publisher> <>1957</> <isbn> </isbn> valor </> <DVD = 2 rated= PG > <>The Grinch</> <director><>howard</> <>Ron</></director> <s><>jim Carrey</> <>Taylor Momsen</> </s> <studio>universal Studios</studio> <>2001</> </DVD> </Library> elemento otherinfo isbn publisher collection Library Representação Árvore publisher isbn DVD rated studio director s 7 6. Armazenar Dados XML 1. Armazento físico 2. Listas e Numeração 3. Outros problemas 6.1 Armazento Físico E na memória fica como?! E no disco?! Armazento de árvores???? Hello estruturas de dados avançadas! Armazento Físico Hello estruturas de dados avançadas! E? Muitos ponteiros?! Moro 9 10 Armazento Físico Armazento Físico Um ponteiro por vértice: para o filho Um ponteiroporvértice: parao pai Um ponteiro para o próximo irmão Um ponteiro especial para os dados Moro 11 E a consulta?! /? // lname? // [/]/ lname? Moro Can we do better?! 12

3 Armazento Físico Problema // lname???? // [/]/ lname? Tem de ser algo que possa ser mapeado para a memória e de volta para o disco Particionar os dados Armazento Físico Particionar os dados Problema // lname???? OK!! // [/]/ lname? hm Lista de s Lista de s Armazento Físico 6.2. Listas e Numeração Problema // lname???? // [/]/ lname? Tem de ser algo que possa ser mapeado para a memória e de volta para o disco E que mantenha os relaciontos entre os elementos!!!! Esquema de numeração (numbering scheme) procs (2,17) (7,9) 2<7<9<17 (3,5) t1 (4) (7,9) DeWitt (8) Bib (1,34) (2,17) (6,13) (10,12) David J. (11) procs (14,16) (15) Esquema de numeração: (left, right) (19,21) (18,33) (22,29) t2 (20) (23,25)(26,28) Lu (24) Hongjun (27) procs (30,32) (31) Listas e Numeração Document (1,26) (2,9) (10,17) paper (18,25) (3,8) (11,16) (19,24) (4,5) (6,7) (12,13)(14,15) (20, 21) (22,23) (10,17) (12,13) 10<12<13<17 address (6,7) (14,15) (22,23) (3,8) (11,16) (19,24) (1,16) (2,9) (10,17) (4,5) (12,13) (20,21) paper (18,25) Listas de Elementos 6.3. Outros problemas Armazento sequencial Particionto Índices Valor Estrutura Ambos 17 18

4 Armazento de Dados Revisão: Listas e Numeração Armazento físico Ponto crítico no sistema nativo Muda o formato de tabela árvore Listas e Numeração Planificar a estrutura de árvores Outros problemas Armazento sequencial ou particionto, índices (2,17) (7,9) 2<7<9<17 (3,5) t1 (4) (7,9) DeWitt (8) Bib (1,34) (2,17) (6,13) (10,12) David J. (11) procs (14,16) (15) Esquema de numeração: (left, right) (19,21) (18,33) (22,29) t2 (20) (23,25)(26,28) Lu (24) Hongjun (27) procs (30,32) (31) Revisão: Listas e Numeração Document (1,26) (2,9) (10,17) paper (18,25) (3,8) (11,16) (19,24) (4,5) (6,7) (12,13)(14,15) (20, 21) (22,23) (10,17) (12,13) 10<12<13<17 address (6,7) (14,15) (22,23) (3,8) (11,16) (19,24) (1,16) (2,9) (10,17) (4,5) (12,13) (20,21) paper (18,25) Listas de Elementos 7. Processar Consultas 1. Consulta XML básico 2. Semântica 3. Por que novos algoritmos? 4. Algumas pesquisas recentes 5. Categorias de algoritmos 6. Índices Consulta XML Básico Para um documento e uma consulta: encontre as instâncias da consulta dentro do documento //[./[@= Lu ]]//procs[./] Lu Estrutura: //[./ []] ////procs[./] Várias semânticas Um nodo (W3C XPath) Caminho/árvore inteira, construção diferente (W3C XQuery) Documento inteiro (filtrar documentos procs 7.2 Semântica da Consulta Lista de nodos (nome comum) Junção estrutural (pares de ancestor//descendant, parent/child) Consulta em sub-árvore (estrutura complexa) Procura de palavras (information retrieval) Filtragem de documentos (streams)

5 Semântica do Resultado 7.3 Por que novos algoritmos? SEMÂNTICA DO RESULTADO Estrutura da Consulta RELACIONAL Estrutura tabular Esquema rígido XML Estrutura de árvore Esquema não estruturado, inexistente (, = + ) Nomes únicos Elementos repetitivos lname Um nodo lname Um Caminho lname Sub-árvore Consultas seguem o esquema pré-definido Consultas de formato livre Algumas Pesquisas Par Sem índice, sem clustering [IDEAS 2004] Caminhos Versões de documentos [RIDE 2004] Utilizando resumos estruturais [WWW 2006] Novos contextos para resumos estruturais [SBBD 2007] Sub-árvores(twigs) Documentos em formato de grafos [WebDB 2004] Documentos em formato de árvore, mas SEM compilador para escolher melhor algoritmo [VLDB 2005] Busca textual (information retrieval) Vários algoritmos [DATAX 2008, JIDM 2010, INEX 2010, CIKM 2011] Outros contextos (streams) Publish/subscribe [ 2007, VLDB 2007] Categorias Parameters: access pattern, input handling, output handling (1) set based techniques: input as (sorted) sets of nodes, possibly indexed to improve performance (2) input driven:the flow of computation is guided entirely by the sequential input (3) query driven input probing:the query defines the way the input is probed (4) graph summary evaluation:methods work on a structural summary of the Cat Access Pattern Input Handling Output Handling 1 sorted / indexed join sets merge s, sorted output 2 sequential input drives computation merge s 3 indexed / random probe for matches incrementally build results 4 indexed / random input drives computation structural constraints on summary [MORO et al VLDB 2005] 28 (1,26) 7.6 Índices (2,9) paper (18,25) (3,8) (19,24) (4,5) (6,7) (10,17) (11,16) (12,13) (14,15) (20,21) address (22,23) (3,8) (11,16) (19,24) (1,16) address (6,7) (14,15) (22,23) (4,5) (12,13) (20,21) paper (18,25) (2,9) (10,17) B + Tree on ( tag, initial ) Entrada = lista de elementos Uma lista por tag = element list Clustering definido por índices Numbering scheme Índices - problema Document (1,26) (2,9) (10,17) paper (18,25) (3,8) (11,16) (19,24) (4,5) (6,7) (12,13)(14,15) (20, 21) (22,23) address (6,7) (14,15) (22,23) (3,8) (11,16) (19,24) (1,16) (2,9) (10,17) (4,5) (12,13) (20,21) paper (18,25) Índices nas listas Autores de livros e artigos na mesma lista Que tal particionar as listas? Lists 29 30

6 Document otherinfo isbn publisher collection Resumos Estruturais Library publisher isbn DVD rated studio director s Value index, index Structural summary Nodo no índice: elementos com mesmo tag e caminho Structural Summary Library isbn publisher otherinfo isbn publisher collection DVD rated studio director s Resumos Estruturais Particionto Document (1,26) (2,9) (10,17) paper (18,25) (3,8) (11,16) (19,24) (4,5) (6,7) Structural Summary (12,13)(14,15) (20, 21) (22,23) paper address address (6,7) (14,15) (22,23) (3,8) (11,16) (19,24) (1,16) (2,9) (10,17) (4,5) (12,13) (20,21) paper (18,25) (19,24) Lists (3,8) (11,16) Partitions 31 [MORO VLDB 2005] 32 Resumos Estruturais Método de acesso Hash Index: key h index 0 1 n Path Index: query index /dblp// 33 Resumos Estruturais Método de acesso Path Index: query index /dblp// 2 inproceedings 10 DBLP 1 3 journal journal Structural Index: 22 dblp (3,4) (23,24) journal (25,26) inproceedings inproceedings 32 (11,12) (13,14) (15,16) (33,34) 34 Resumos Estruturais Método Acesso Resumos Estruturais Diss. de Conteúdo Processamento da Consulta Fase 1: Verifica índice Identifica nodos que satisfazem consulta Fase 2: Refinto Filtra falso positivos, produz resultados atuais /dblp// [MORO WWW 2006] Structural Index (2,9)(22,21) dblp (3,4) (23,24) journal (25,26) (1,40) inproceedings (11,12) (13,14) (15,16) (33,34) 35 Extensão de resumos estruturais para processarstreams de documentosxml [ 07, WebDB 07] Disseminação de conteúdo Trabalhos anteriores Agregaçãoestruturalemambientesde dados armazenados ou indexados Na tese[moro UCR] Estendeo papelde agregaçãoestruturalparao contexto de processamento de streams 36

7 8.1 Structural Joins 8. Algoritmos de Processamento de Consultas XML 1. StructuralJoins 2. Tree Pattern Query 3. Indexes Let A and D be two lists containing the instances of two particular tags in an XML document, join A and D using their containment associations as the join condition E.g.: A =, D = fname lname 38 Input Two element lists Input/Output Lists of elements with the same tag Ancestor and descendant OR Parent and child Sorted in document order or indexed Output Pairs of results, individual results Document order Basic liography Structural Joins Algorithms [Al-Khalifa et al 2002] non-indexed [Chien et al VLDB 2002] using index [Li & Moon DEXA 2003] partition based [Wang et al 2003] partition based improved [Vagena, Moro & Tsotras IDEAS 2004] new partitioning How to represent document structure??? How to process the join??? Processing the Join 1. Parse XML document 2. Establish numbering scheme and 3. Create element lists 4. Merge lists considering: (left1:right1, Level1) (left2:right2, Level2) Ancestor-Descendant left1 < (right2 < left2) < right1 Parent-Child A-D AND Level1 + 1 = Level2 2,3 4,13 14,15 16,23 24,25 5,12 6,7 8,9 10,11 1,26, 17,22 18,19 20,21 XML Document Tree Tree-Merge Join Given an XML Document Tree Separated in element lists Find valid pairs of respective ancestor//descendant 4,13 5,12 14,15 16,23 17,22 LIST OF ANCESTORS LIST OF DESCENDANTS 2,3 6,7 8,9 10,11 18,19 20,21 24,

8 1,26, 1,26, 2,3 4,13 14,15 16,23 24,25 Tree-Merge Join 2,3 4,13 14,15 16,23 24,25 Tree-Merge Join 5,12 17,22 6,7 8,9 10,11 18,19 20,21 XML Document Tree 1. Skip descendants with left < ancestor.left 2. FOR each ancestor Check/output descendants until left > ancestor.right 5,12 17,22 6,7 8,9 10,11 18,19 20,21 XML Document Tree 1. Skip descendants with left < ancestor.left 2. FOR each ancestor Check/output descendants until left > ancestor.right 4,13 5,12 14,15 16,23 17,22 4,13 5,12 14,15 16,23 17,22 2,3 6,7 8,9 10,11 18,19 20,21 24,25 2,3 6,7 8,9 10,11 18,19 20,21 24,25 skip loop Results: [4,13+6,7][4,13+8,9][4,13+10,11] skip ,26, 1,26, 2,3 4,13 14,15 16,23 24,25 Tree-Merge Join 2,3 4,13 14,15 16,23 24,25 Tree-Merge Join 5,12 17,22 6,7 8,9 10,11 18,19 20,21 XML Document Tree 1. Skip descendants with left < ancestor.left 2. FOR each ancestor Check/output descendants until left > ancestor.right 5,12 17,22 6,7 8,9 10,11 18,19 20,21 XML Document Tree 1. Skip descendants with left < ancestor.left 2. FOR each ancestor Check/output descendants until left > ancestor.right 4,13 5,12 14,15 16,23 17,22 4,13 5,12 14,15 16,23 17,22 2,3 6,7 8,9 10,11 18,19 20,21 24,25 2,3 6,7 8,9 10,11 18,19 20,21 24,25 skip loop skip Results: [4,13+6,7][4,13+8,9][4,13+10,11] Results: [5,13+6,7][5,13+8,9][5,13+10,11] skip Results: [4,13+6,7][4,13+8,9][4,13+10,11] Results: [5,13+6,7][5,13+8,9][5,13+10,11] no match Structural Join Advanced Structural Join on Tree Pattern Simple version: pure lists Optimizations Using stacks Using B + -tree XR-index Tree Pattern: break into structural joins Build-up by merging pair results XML Moro XML Moro Tree- Pattern Query Structural Joins 47 48

9 8.2 Tree Pattern Matching In terms of input access pattern, matching procedure: (1) set based techniques: input as (sorted) sets of nodes, possibly indexed to improve performance (2) query driven input probing: the query defines the way the input is probed (3) input driven: the flow of computation is guided entirely by the sequential input (4) graph summary evaluation: methods work on a structural summary of the [ Moro et al VLDB 2005] Access Pattern Sorted/indexed 1: Set-based Techniques Matching Process Join sets, merge individual s Input: sequences of elements, one list per query node element, possibly indexed (set-based) Major representative: TwigStack Optimal XML pattern matching algorithm (ancestor/descendant) [Bruno et al SIGMOD 2002 ] TwigStack, XB-Twigstack [Chien et al VLDB 2002 ] On B + -tree [Jiang et al VLDB 2003] XR-tree TwigStack TwigStack Optimal XML pattern matching algorithm Stack-based processing At every point during computation Nodes in each stack are guaranteed to be on rootto-leaf Set of stacks has compact encoding of partial and total results in linear space Possibly exponential number of answers a 1 b 1 a 2 b 2 c 2 a b c 1 c doc query a 1 b 1 c 12 a 2 b 2 S a S b S c a 1 b 1 c 1 a 1 b 1 c 2 a 1 b 2 c 1 a 2 b 2 c 1 results 1) solutions individual root-to-leaf s 2) merge-join those partial solutions before adding element to stack: (i) the node has a descendant on each of the query children streams (ii) each of those descendant nodes recursively satisfies this property Access Pattern Indexed/random 2: Query Driven Techniques Processing: the query defines the way input is probed Major representatives: ViST and PRIX Specific details: significantly different Same strategy Convert both document and query to sequences Processing query = subsequence matching [Want et al Sigmod 2003] ViST [Rao & Moon 2004] PRIX Matching Process Incremental construction of each result instance ViST and PRIX Recursively identify matches = quadratic time Optimize the naïve solution Identify candidate nodes for each matching step Index structures to cluster those candidates Subsequence matching process = a plan consisting of INLJ among relations, each of which groups document nodes with the same label For a given query, joins sequence statically defined by the sequencing of the query Top-down: skip leaves not in the result Bottom-up: skip roots not in the result INLJ plans = superset of the static plans that PRIX & VIST use 53 54

10 ViSTx PRIX x INLJ 3: Input Driven Techniques ROOT INTERN L1 L2 Dataset #nodes VIST PRIX INLJ 100% LEAVES: 80% LEAVES: 1% ROOT: 80% ROOT: 1% INTERNAL: 80% INTERNAL: 1% Percentage of nodes processed by each algorithm INLJ: best plan [ MORO et al VLDB 2005 ] 55 Access Pattern Sequential Matching Process Input drives computation, merge individual s Processing: at each point, the flow of computation is guided entirely by the input through a Finite State Machine (DFA/NFA) Advantages Each node processed only once Simplicity, sequential access pattern Problem: skipping elements 56 Finite State Machine Machine Query Processing Simple approach read document in order <element> triggers NFA </element> backtracks Extend FSM with stacks (similar to TwigStack) Intermediate results compacted on stacks Experiments show reading whole input = not enough Speeding up navigation Instead of reading sequentially: use indexes and skip descendants [ MORO et al VLDB 2005 ] Queries and FSM Q1 a b Q2 a c a b 0 1 c 2 3 Q1 Q2 Doc a 1 b 1 b 2 c 2 <e> triggers FSM event </e> backtrack, pop runtime stack c 1 a 2 Stacks a 2 a 1 S a c 2 S c b 1 S b : Graph Summary Evaluation Categories Summary Access Pattern Indexed/Random Matching Process Merge-join partitioned input, merge individual s Structural summary: index node identifies a group of nodes in the document Processing: identify index nodes that satisfy the query + post processing filtering Beneficial: when there is a reasonable structural index, much smaller than document Problem: graph size comparable/larger than original document 59 Set Based Query Driven Input Driven Structural Summary Access Pattern Sorted/ Indexed Indexed/ random Sequential Indexed/ random Matching Process Join sets, merge individual s Incremental construction of each result instance Input drives computation, merge individual s Merge-join partitioned input, merge individual s Methods Twigstack /XB, B + tree, XR-tree (ViST, PRIX) INLJ SingleDFA, IdxDFA Structural indexes [ MORO et al VLDB 2005 ] 60

11 8.3 XML Indexes Value index Node text to node location Using B+-tree for example Structural index Node structural feature to node location Focus of this presentation Full-text Text tokens (e.g. words) to node location Information retrieval queries Document otherinfo isbn publisher collection Library publisher isbn Structural Index Overview Structural summary Index node: elements with same tag and to root DVD rated studio director s Structural Summary Library isbn publisher otherinfo isbn publisher collection DVD rated studio director s XML Query Processing: Review XML Query Processing Numbering scheme Different semantics Structural Joins Initial algorithms, very simple, partial result Tree Pattern Matching Four different categories, some features Indexes Value, structure, text 63