Sumário. Gerência de Dados da Web - DCC922 - Linguagens de Consulta. Características Desejáveis de uma LC/DSE. Linguagens de Consulta

Transcrição

1 Sumário Gerência de Dados da Web - DCC922 - Linguagens de Consulta Alberto H. F. Laender Linguagens de Consulta para Dados da Web Caracterização geral Características desejáveis de uma LC/DSE Algumas Linguagens de Consulta WebSQL Lorel UnQL XML-QL 2014 Linguagens de Consulta Acesso a dados: Na Web: URL página HTML Em um BD: consulta resposta Entretanto, uma página HTML pode ser o resultado de uma consulta a um banco de dados Nível de granularidade dos dados retornados: Páginas da Web: fixo Respostas de consultas a um BD: arbitrário Como para BDs, linguagens de consulta são essenciais para permitir a manipulação (seleção e transformação) dos dados de fontes da Web Características Desejáveis de uma LC/DSE Expressividade Completa (?) Poder de reestruturação Semântica Precisa, principalmente para XML cuja especificação é totalmente sintática Capacidade de composição Saída de uma consulta deve poder ser usada como entrada para outra (modelo de dados preservado pelo resultado das consultas) Existência de esquema Consciente da estrutura ( structure conscious ) Manipulação por programas Consultas geráveis por programas 1

2 Algumas Linguagens de Consulta Para a Web: WebSQL [Arocena et al., ] WebOQL [Arocena & Mendelzon, 1998] Para dados semi-estruturados: Lorel [Abiteboul et al., ] Linguagem do sistema Lore, Stanford University UnQL [Buneman et al., 1996] StruQL [Fernandez, et al., ] Linguagem do ambiente Strudel, AT&T Research-Labs Para dados XML: XPath - :// XML-QL [Deutsch et al., 1999] XQL - :// Quilt [Chamberlin et al., 2000] XQuery - :// WebSQL Linguagem desenvolvida na Universidade de Toronto para consulta à Web Combina as duas formas usuais de busca de informação na Web: consulta por palavras-chave navegação (browsing) Adota uma visão relacional da Web Considerada uma linguagem de primeira geração por não permitir a manipulação do conteúdo das páginas (ao contrário, por exemplo, da linguagem WebOQL) WebSQL Visão relacional da Web Document url title text length type modif ://www title 1 text text ://www title 2 text text ://www title 3 text text Anchor base label href ://www label 1 ://www ://www label 2 ://www ://www label 3 ://www Uma possível (?) consulta SQL: select d1.url, d2.url from Document d1, Document d2 where d1.title = d2.title and not (d1.url = d2.url) WebSQL C1: select d1.url, d2.url from Document d1 such that d1 mentions assunto, Document d2 such that d2 mentions assunto where d1.title = d2.title and not (d1.url = d2.url); mentions consulta a uma máquina de busca C2: select d.url, d.title from Document d such that :// -> d; C3: select d.url, d.title from Document d such that :// ->* d where d.text contains bancos de dados or d.title contains bancos de dados ; 2

3 WebSQL Exemplos de Expressões de Caminho Expressão Significado -> -> => Caminho composto de dois links locais seguido de um link global -> => Caminho composto de um link local ou global ->* Caminho local de qualquer comprimento => ->* Caminho composto de um link global seguido por qualquer número de links locais = #> -> Caminhos locais de comprimento zero ou um WebSQL C4: select d1.url, d1.title, d2.url. d2.title from Document d1 such that d1 mentions empregos, Document d2 such that d1 = -> ->-> d2 where d2.text contains programador ; C5: select a1.href, d2.title from Document d1 such that :// ->* d1, Anchor a1 such that base = d1, Document d2 such that a1.href -> d2, where a1.label contains publications ; C6: select d.url from Document d such that ":// [next]* d, where d.title contains qualquer coisa ; define link [next] as label contains Next ; Lorel Grafo OEM Essencialmente uma adaptação da linguagem OQL para dados semi-estruturados (modelo OEM) Centrada no conceito de expressão de caminho (path expression): uma seqüência de arcos da forma l 1.l 2..l n. Sintaxe básica: select obj: v from l 1.l 2..l n v where cond title title publisher title name name first 3

4 Lorel: Expressões de Caminho Uma expressão de caminho é uma consulta simples cujo resultado, para um determinado grafo, é um conjunto de nodos Por exemplo,. {2,&o29} title title publisher title name name first Lorel: Expressões de Caminho A especificação de um caminho pode ser feita com base em propriedades do próprio caminho ou do rótulo de um determinado arco Expressões regulares são geralmente usadas para expressar essas propriedades Exemplos:.( ).._.._*.name Formato geral de uma expressão regular: e::=r ε _ e.e (e) e_e e* e+ e? Exemplos de Consultas em Lorel C1: select : X from... X {:, :,...} Exemplos de Consultas em Lorel C2: select : X from._*. X {: {:, name: },...} title title publisher title title title publisher title name name first name name first 4

5 Exemplos de Consultas em Lorel Exemplos de Consultas em Lorel C3: select result: X from._*.x where in X..name C4: select : Y from._*. X, X. Y, X.title Z where matches(.*(d d)atabase.*,z) {result: {: {:, name: }, title:..., :, :... },...} title title publisher title {:..., {:, name: }} title title publisher title name name first name Typechecking... databases name first Semântica de uma Consulta Lorel Seja uma consulta do tipo select E from B where C A semântica dessa consulta é definida pelos seguintes passos: 1. Determine os conjuntos de nodos definidos pelas variáveis especificadas em B 2. Filtre os nodos que satisfaçam C 3. Construa a expressão resultante E Junções em Lorel select row: W from. X X. Y Y. W X. Z where not (Y=Z) and W in Z. and matches( *Database*,X.title) Recupera autores referenciados pelo menos duas vezes em algum artigo cujo título inclua Database 5

6 Coerção Uma característica importante de qualquer linguagem de consulta para DSE é o poder de coerção Exemplo de coerção em Lorel: select row: X from. X where X. = J. Smith select row: X from. X where exists Y in X. (Y = J. Smith ) UnQL UnQL (Unstructured Query Language) é uma linguagem para dados semi-estruturados que utiliza padrões (patterns) que permitem a especificação concisa de condições estruturais complexas Ao contrário da linguagem Lorel não faz uso de coersão Em UnQL padrões correspondem a expressões de caminho acrescidas de variáveis: {: X} {: {: {: Y, title: Z}}} Exemplo de uma Consulta UnQL XML-QL select title: X where {: {: {title: X, : Y}}} in db, Y = é equivalente à consulta Lorel select title: X from. Z, Z.title X, Z. Y, where Y = title title publisher title name Typechecking... databases name first Combina a sintaxe XML com facilidades típicas das linguagens para dados semi-estruturados (variáveis, expressões de caminho, padrões para extração de dados, etc.) Utiliza gabaritos (templates) para formatar o resultado de acordo com a sintaxe XML Relacionalmente completa Desenvolvida na AT&T como parte do projeto Strudel 6

7 Exemplos de Consultas XML-QL C1: where <> <> Abiteboul </> <title> $T </title> </> in construct $T <liography> <description> SSD s </description> <s> <> <>Abiteboul </> <> Vianu </> <title> Regular path queries with constraints</title> <> <first> </first> <> </> </> </> <> <> Abiteboul </> <title> Querying semistructured data </title> </> </s> </liography> Exemplos de Consultas XML-QL C2: where <> <> Abiteboul</> <title> $T </title> <> $Y </> </> in construct <title> $T </> <> $Y </> </> <liography> <description> SSD s </description> <s> <> <>Abiteboul </> <> Vianu </> <title> Regular path queries with constraints </title> <> <first> </first> <> </> </> </> <> <> Abiteboul </> <title> Querying semistructured data </title> </> </s> </liography> Exemplos de Consultas XML-QL C2: where <> <> Abiteboul</> <title> $T </title> <> $Y </> </> in construct <title> $T </> <> $Y </> </> <title> Regular path queries with constraints </title> <title> Querying semistructured data </title>... Exemplos de Consultas XML-QL O resultado da consulta C2, entretanto, não é um documento XML correto pois não contém um elemento raiz. Na linguagem XML-QL um elemento raiz é definido da seguinte forma: C2 : <doc> where <> <> Abiteboul</> <title> $T </title> <> $Y </> </> in construct <title> $T </> <> $Y </> </> </doc> <doc> <title> Regular path queries with... </title> <title> Querying semistructured... </title>... </doc> 7

8 Exemplos de Consultas XML-QL Recuperação de elementos opcionais C3: where <> $P </> in <title> $T </title> in $P construct <title> $T </> where <> $G </> in $P construct <> $G </> <title> Regular path queries with... </title> <> <first> </first> <> </> </> <title> Querying semistructured... </title> Resumo Linguagens de consultas são essenciais para a manipulação de dados de fontes da Web Diversas linguagens propostas para dados semiestruturados e dados XML Lorel e UnQL são exemplos de linguagens de consulta para dados semi-estruturados XML-QL foi uma das primeiras linguagens de consultas específicas para dados XML XPath e XQuery são as linguagens usadas hoje para consulta/manipulação de dados XML Referências Abiteboul, S.; Buneman, P.; Suciu, D. Data on the Web: From Relations to Semistructured Data and XML. Morgan Kaufmann, San Francisco, CA, 2000 (Cap. 4-5). Abiteboul, S.; Quass, D.; McHugh, J.; Widom, J.; Wiener., J.L. The Lorel query language for semistructured data. International Journal on Digital Libraries, 1(1):68-88,. Arocena, G.O.; Mendelzon, A.O. Mihaila, G.O. Applications of a Web Query Language. Computer Networks, 29(8-13): ,. Arocena, G.O.; Mendelzon, A.O. WebOQL: Restructuring Documents, Databases and Webs. In Proc. of ICDE, Orlando, Florida, 1998, pp Bonifati, A.; Ceri, C. Comparative Analysis of Five XML Query Languages. SIGMOD Record, 29(1): 4-15, Buneman, P.; Davidson, S.D.; Hillebrand, G.G.; Suciu, D. A Query Language and Optimization Techniques for Unstructured Data. In Proc. of ACM SIGMOD, Montreal, Canada, 1996., pp Chamberlin, D.D.; Robie, J.; Florescu, D. Quilt: An XML Query Language for Heterogeneous Data Sources. In Proc. of WebDB (Selected Papers), 2000: 1-25 Deutsch, A.; Fernandez, M.; Florescu, D.; Levy, A.; Suciu, D. XML-QL: A Query Languange for XML. Computer Networks, 31(11-16): , Fernandez, M.; Florescu, D.; Levy, A.; Suciu, D. A Query Language for a Web-site Management System. SIGMOD Record, 26(3):4-11,. 8