Gerência de Dados da Web

Transcrição

1 - DCC922 - Introdução Alberto H. F. Laender 2014 Programa Introdução Caracterização dos dados da Web Exemplos de ambientes e aplicações que utilizam dados da Web Modelagem e Representação de Dados Semi-Estruturados Conceitos básicos sobre orientação a objetos Características dos dados semi-estruturados Modelos para representação de dados semi-estruturados XML e acessórios para gerência de dados (DTD, XML Schema, XPath) Linguagens de consulta (Lorel, XML-QL, XQuery) Processamento de Consultas XML Fragmentação de documentos XML Estratégias para processamento de consultas XML Extração de Dados de Fontes Textuais da Web Métodos tradicionais de extração Métodos baseados em árvores DOM Métodos probabilísticos para extração em texto Web semântica: Ontologias, RDF e OWL Integração e Publicação de Dados Segundo o Padrão LOD (Linked Open Data) Avaliação Bibliografia Preliminar Trabalhos práticos e tarefas individuais: 30 pontos Seminários de pesquisa: 30 pontos Projeto final: 40 pontos Proposta a ser apresentada pelo aluno conforme calendário a ser definido Resultados serão reportados ao final do semestre Textos Básicos Abiteboul, S.; Buneman, P.; Suciu, D. Data on the Web: From Relations to Semistructured Data and XML. Morgan Kaufmann, Abiteboul, S.; Manolescu, I.; Rigaux, P.; Rousset, M.-C.; Senellart, P. Web Data Management. Cambridge, (webpage: Artigos de Referência Chang, C.-H.; Kayed, M.; Girgis, M. R.; Shaalan, K. F. A Survey of Web Information Extraction Systems. IEEE Trans. Knowl. Data Eng., 18(10): , Gou, G.; Chirkova, R. Efficiently Querying Large XML Data Repositories: A Survey. IEEE Trans. Knowl. Data Eng. 19(10): (2007) Florescu, D. Managing semi-structured data. ACM Queue, 3(8): 18-24, Laender, A.H.F.; Ribeiro-Neto, B.A.; da Silva, A.S.; Teixeira, J.S. A Brief Survey of Web Data Extraction Tools. SIGMOD Record, 31(2): 84-93, Laender, A.H.F.; da Silva, A.S. Cooperative Research on Web Data Management at UFMG and UFAM - A Brief Report. In Proc. of LA-WEB 2008, McCallum, A. Information Extraction: Distilling Structured Data from Unstructured Text. ACM Queue, 3(9): 48-57, Coletânea Doan, A.; Gravano, L.; Ramakrishnan, R.; Vaithyanathan, S. (eds.). Special Issue on Managing Information Extraction. SIGMOD Record, 37(4): 5-68,

2 Dados da Web A Web constitui hoje um repositório universal de dados, mas: a quantidade de sites existentes e o volume de dados disponível é muito grande a informação está espalhada e desorganizada os sites estão cada vez mais complexos para serem navegados complexidade torna difícil consultar ou manipular dados de múltiplas fontes Recuperação de informação na Web ainda limitada à busca por palavras-chave e navegação entre páginas ( browsing ) Características dos Dados da Web Disponíveis através de documentos textuais Utilizados apenas para consumo humano Constantemente alterados Estrutura implícita e não-declarada dados semi-estruturados Dados Semi-Estruturados Esquema geralmente extenso e definido a posteriori Esquema frequentemente ignorado ao se efetuar consultas Esquema evolui com os dados Distinção entre dados e esquema obscura. 2

3 Exemplo de Dados Semi-Estruturados Arquivo BibTex Exemplo de Dados Semi-Estruturados Página da author = {Yi Chen and Wei Wang and Zivang Liu and Xuemin Lin}, title = {Keyword Search on Structured and Semi-structured Data}, booktitle = {Proceedings of the 35th SIGMOD International Conference on Management of Data}, } year = {2009}, pages = { }, address = {Providence, Rhode Island, USA}, isbn = author = {Ricardo A. Baeza-Yates and Berthier A. Ribeiro-Neto}, } title = {Modern Information Retrieval}, publisher = {ACM Press / Addison-Wesley}, year = {1999}, isbn = author = {Jianhua Feng and Guoliang Li and Jianyong Wang and Lizhu Zhou}, } title = {Finding and ranking compact connected trees for effective keyword proximity search in XML documents}, journal = {Information Systems}, year = {2010}, volume = {35}, number = {2}, pages = { }, doi = { issn = { } Web x Bancos de Dados Sites e aplicações da Web necessitam de facilidades para gerência de dados: Sites são cada vez mais gerados a partir de bancos de dados (páginas dinâmicas) Serviços disponíveis são cada vez mais diversificados (ex., Flickr, Facebook, Twitter, YouTube, etc.) A Web oferece inúmeras oportunidades para uso da tecnologia de bancos de dados: Bancos de dados são geralmente bem projetados, os dados seguem uma estrutura rígida e são manipulados em um ambiente controlado A Web é constantemente alterada, os dados encontram-se distribuídos por diferentes fontes e são publicados em vários formatos Web x Bancos de Dados Arquitetura das Aplicações Cliente Cliente Servidor Cliente Rede Aplicações de Banco de Dados Arquitetura Cliente-Servidor Cliente Cliente Cliente Mediador Mediador Servidor Servidor Servidor Aplicações Web Arquitetura Multi-Camada 3

4 Três Visões da Web (cfm Juliana Freire) Web visual HTML+HTTP HTML: indica como os dados são apresentados Usuários podem apenas navegar pelos dados Web sintática HTML+HTTP+XML XML: indica a estrutura dos dados Aplicações podem processar os dados Web semântica HTML+HTTP+XML+RDF+OWL+ Anotações indicam o significado dos dados Aplicações podem entender os dados Trata de problemas relacionados a coleta, extração, consulta, modelagem, armazenamento, transformação e integração de dados existentes na Web de forma a gerar novas aplicações Abre novas perspectivas para uso da tecnologia de bancos de dados Requer a utilização de padrões para representação e troca de dados (ex., XML, JSON, etc.) <book> <title> Data on the Web: From Relations to Semistructured Data and XML </title> <author> Serge Abiteboul </author> <author> Peter Buneman </author> <author> Dan Suciu </author> <publisher> Morgan Kaufmann Series in Data Management Systems </publisher> <listprice> </listprice> <price> </price> <instock> 2 </instock> <edition> Hardcover </edition> </book> Visão Geral 4

5 Principais Contribuições da Tecnologia de BD Modelos de dados Linguagens de consulta Técnicas para processamento de consultas Mecanismos para manipulação de visões e integração de dados Mecanismos para manutenção de integridade Estruturas para armazenamento e indexação de grandes volumes de dados... Buzzwords Recentes Web Data Mining Big Data Geovisualization Linked Data Web Science Data Science Multi-source Data Ambiente DEByE Ambiente Web-DL Laender, A.H.F.; Silva, A.S.; Golgher, P.B.; Ribeiro-Neto, B.A.; Evangelista Filha, I.M.R.; Magalhães, K.V. The Debye Environment for Web Data Management. IEEE Internet Computing, 6(4): 60-69, Calado, P.; Gonçalves, M.A.; Fox, E.A.; Ribeiro-Neto, B.A.; Laender, A.H.F.; Silva, A.S.; Reis, D.C.; Roberto, P.A.; Vieira, M.V.; Lage, J.P. The Web-DL Environment for Building Digital Libraries from the Web. JCDL 2003:

6 Análise Geográfica da Produção em CC Evolução Temporal de Comunidades Científicas Menezes, G.V., Ziviani, N., Laender, A.H.F, Almeida, V.A.F. A Geographical Analysis of Knowledge Production in Computer Science. WWW 2009: Alves, B.L.; Benevenuto, F.; Laender, A.H.F. The Role of Research Leaders on the Evolution of Scientific Communities. WWW 2013 (Companion Volume): Resumo Dados da Web Geralmente disponíveis através de documentos textuais e utilizados apenas para consumo humano Constantemente alterados Estrutura implícita e não-declarada dados semi-estruturados Dados semi-estruturados Esquema geralmente extenso e definido a posteriori, é muitas vezes ignorado e evolui com os dados Distinção entre dados e esquema obscura Gerência de dados da Web Trata da coleta, extração, consulta, modelagem, armazenamento, transformação e integração de dados existentes na Web Requer a utilização de padrões para representação e troca de dados entre aplicações 6