Sistemas de Gerência de Bancos de Dados. 7 - Outras Arquiteturas para SGBDs SGBDs e a Web

Transcrição

1 Sistemas de Gerência de Bancos de Dados 7 - Outras Arquiteturas para SGBDs SGBDs e a Web 1

2 Tópicos Modelos de Dados para a Web Linguagens de Consulta para a Web Integração de Informação Extraída da Web 2

3 Modelos de Dados para a Web Modelos de Grafos Rotulados Web = coleção de documentos hipermídia modelagem de documentos hipermídia através de grafos: páginas = nós hiperlinks = arcos linguagens de consultas podem recorrer a expressões regulares sobre caminhos no grafo Modelos para Dados Semi-Estruturados dados na Web possuem estrutura irregular modelagem de dados semi-estruturados: o esquema conceitual não é definido a priori, sendo implícito nos dados o esquema conceitual é substancialmente grande, mudando frequentemente o esquema conceitual é descritivo, não prescritivo os dados não são fortemente tipados 3

4 WebSQL Linguagens de Consulta para a Web modela a Web através de duas relações (virtuais): documentos âncoras semântica depende da materialização de partes destas relações especificando os documentos de interesse na cláusula FROM modo de materialização: conjunto de documentos alcançáveis a partir de URLs dadas, utilizando expressões regulares sobre caminhos no grafo, cujos átomos são: d1 => d2 documento d1 aponta para d2 e d2 está em um servidor diferente de d1 d1 -> d2 mesmo, exceto que d1 e d2 estão no mesmo servidor pesquisa por conteúdo dos documentos, através do construtor MENTIONS 4

5 Linguagens de Consulta para a Web Exemplo de WebSQL liste todas as triplas da forma (d1, d2, label) tais que d1 está armazenado em d2 está armazenado em outro site d1 aponta para d2 por um link rotulado com "label" SELECT d.url, e.url, a.label FROM Document d SUCH THAT " ->* d, Document e SUCH THAT d => e, Anchor a SUCH THAT a.base = d.url WHERE a.href = e.url 5

6 WebOQL Linguagens de Consulta para a Web linguagem funcional para Web, permitindo: acessar a estrutura interna dos documentos em HTML, modelada como Hypertrees formular consultas cujo resultado são estruturas complexas, modeladas como Hypertrees e Webs Estruturas de dados: Hypertrees - árvores rotuladas, com dois tipos de arcos arcos internos: representam objetos estruturados arcos externos: representam referências entre objetos (hyperlinks) Webs - conjuntos de hypertrees 6

7 Linguagens de Consulta para a Web Exemplo de WebOQL [Group: Card Punching] [Group: Programming Language] [Title: Recente Discoveries. Authors: John Smith. Publication: TR015] [Title:Magnetic Media. Authors: Joe Doe. Publication: ACM TODP 1943] [Label: Abstract. url: [Label: Abstract. url: [Label: Full version. url: [Label: Full version. url: 7

8 Linguagens de Consulta para a Web Exemplo de WebOQL seja cspapers a hypertree da figura anterior obtenha a URL e o título da versão completa dos papers escritos por "Smith" select [y.title, y'.url] from x in cspapers', y in x' where y.authors ~ "Smith" h' denota o conjunto de subárvores de uma hypertree h d.field denota o campo "field" de um documento d s ~ p operador de pattern matching, onde s é uma cadeia e p um padrão [a,b]cria um arco rotulado com "a,b" 8

9 StruQL Linguagens de Consulta para a Web linguagem de consultas para data semi-estruturados, baseada em um modelo de grafos utilizada no STRUDEL Web site management system oferece os seguintes tipos de dados: coleções nomeadas URL e HTML file Postscript, texto, imagem,... consulta = conjunto de blocos, possivelmente aninhados, da forma: [where C1,...,Ck] [create N1,...,Nn] [link L1,...,Lp] [collect G1,...,Gq] 9

10 Integração de Informação Extraída da Web Motivação: a Web contém um número crescente de fontes de informação que podem ser vistas como containers de conjuntos de tuplas que podem ser extraídas das Web pages estar escondidas atrás de interfaces 10

11 Integração de Informação Extraída da Web WIIS - Web information integration system: sistema para processar consultas sobre dados extraídos de vários Web sites WIIS X Multi SGBDD: WIIS compartilham com Multi SGBDDs os mesmos problemas WIIS devem ainda lidar com: um grande número de Web sites metadados escassos sobre os Web sites maior autonomia dos componentes 11

12 Integração de Informação Extraída da Web Enfoques para construção de WIIS: Enfoque de Data Warehouse: dados de várias fontes são extraídos e armazenados em uma warehouse dados são atualizados periodicamente interessante quando: os dados são pouco voláteis processamento de consultas deve ser eficiente 12

13 Integração de Informação Extraída da Web Enfoques para construção de WIIS: Multi-SGBD: dados são mantidos nos Web sites consultas são decompostas e enviadas aos várias Web sites envolvidas processamento de consultas é mais sofisticado interessante quando: o número de Web sites é muito grande; os dados são voláteis há pouco controle sobre os Web sites 13

14 Integração de Informação Extraída da Web Componentes de um WIIS: Wrapper: programa construído para traduzir os dados de um Web site para uma forma que pode ser processada pelo WIIS Web source: combinação de um Wrapper com o Web site associado Mediated Schema: conjunto de visões sobre os dados armazenados nos Web sites Source Descriptions: conjunto de metadados e regras de reescrita indicando ao WIIS como reformular as consultas sobre o mediated schema para consultas sobre as Web sources 14

15 Integração de Informação Extraída da Web WWW-based GUI answer Source Descriptions query Plan Generator Execution Engine execution plan Internet Wrapper Wrapper Wrapper Wrapper Web site Web site Web site Web site 15

16 Integração de Informação Extraída da Web Especificação do Mediated Schema: problema idêntico ao da especificação de visões, incluindo a questão de atualização de visões Exemplo - WIIS relacional Wrapper define o esquema conceitual local (ECL) modelando os dados exportados pelo Web site especificação do mediated schema indica: definição do esquema conceitual relacional global (ECG) mapeamento das relações do ECG sobre as relações dos ECLs 16

17 Integração de Informação Extraída da Web Construção de Wrappers: problemas: páginas em HTML são projetadas para visualização, não para extração automática de dados formato das páginas pode mudar frequentemente técnicas para construção de Wrappers: técnicas baseadas em gramáticas: especificação de gramáticas para analisar páginas em HTML e extrair informação técnicas de aprendizagem automática criação semi-automatizada de gramáticas utilizando técnicas de aprendizagem automática 17