Tópicos Especiais em Ciência da Computação: Gerência de Dados da Web DCC851 Introdução

Transcrição

1 Tópicos Especiais em Ciência da Computação: DCC851 Introdução Alberto H. F. Laender 2016 Programa Introdução Caracterização dos dados da Web Exemplos de ambientes e aplicações que utilizam dados da Web Modelagem e Representação de Dados Semi-Estruturados Conceitos básicos sobre orientação a objetos Características dos dados semi-estruturados Modelos para representação de dados semi-estruturados XML e acessórios para gerência de dados (DTD, XML Schema, XPath) Linguagens de consulta (Lorel, XQuery) Extração de Dados de Fontes Textuais da Web Métodos tradicionais de extração Métodos baseados em árvores DOM Métodos probabilísticos para extração em texto Casamento de Dados Objetivos e desafios Etapas do processo de casamento de dados Indexação/blocagem, seleção de casadores, combinação de casadores Desambiguação de nomes e descritores Avaliação Bibliografia Preliminar Trabalhos práticos e tarefas individuais: 50 pontos Projeto final: 40 pontos Proposta: 10 pontos (a ser apresentada pelo aluno conforme calendário a ser definido) Relatório: 30 pontos (a ser entregue no final do semestre) Participação: 10 pontos Textos Básicos Abiteboul, S.; Buneman, P.; Suciu, D. Data on the Web: From Relations to Semistructured Data and XML. Morgan Kaufmann, Christen, P. Data Matching: Concepts and Techniques for Record Linkage, Entity Resolution, and Duplicate Detection. Springer, Berlin, Liu, B. Web Data Mining: Exploring Hyperlinks, Contents, and Usage Data. Second Edition, Springer, Berlin, Artigos de Referência Chang, C.-H.; Kayed, M.; Girgis, M. R.; Shaalan, K. F. A Survey of Web Information Extraction Systems. IEEE Trans. Knowl. Data Eng., 18(10): , Christen, P. A Survey of Indexing Techniques for Scalable Record Linkage and Deduplication. IEEE Trans. Knowl. Data Eng., 24(9): , Ferreira, A.A.; Gonçalves, M.A.; Laender, A.H.F. A Brief Survey of Automatic Methods for Author Name Disambiguation. SIGMOD Record, 41(2): 15-26, Ferreira, A.A.; Gonçalves, M.A.; Laender, A.H.F. Disambiguating Author Names using Minimum Bibliographic Information. World Digital Libraries, 7(1): 71-84, Florescu, D. Managing semi-structured data. ACM Queue, 3(8):18-24, Jagadish, H.V. (ed.) Challenges and Opportunities with Big Data. White Paper, ( Laender, A.H.F.; Ribeiro-Neto, B.A.; da Silva, A.S.; Teixeira, J.S. A Brief Survey of Web Data Extraction Tools. SIGMOD Record, 31(2):84-93, Laender, A.H.F.; da Silva, A.S. Cooperative Research on Web Data Management at UFMG and UFAM - A Brief Report. In Proc. of LA-WEB 2008,

2 Dados da Web A Web constitui hoje um repositório universal de dados, mas: a quantidade de sítios existentes e o volume de dados disponível é muito grande a informação está espalhada e desorganizada os sítios estão cada vez mais complexos para serem navegados a complexidade torna difícil consultar ou manipular dados de múltiplas fontes Recuperação de informação na Web ainda limitada à busca por palavras-chave e navegação entre páginas ( browsing ) <book> <title> Data on the Web: From Relations to Semistructured Data and XML </title> <author> Serge Abiteboul </author> <author> Peter Buneman </author> <author> Dan Suciu </author> <publisher> Morgan Kaufmann Series in Data Management Systems </publisher> <listprice> </listprice> <price> </price> <instock> 2 </instock> <edition> Hardcover </edition> </book> Características dos Dados da Web Disponíveis através de documentos textuais Utilizados apenas para consumo humano Constantemente alterados Estrutura implícita e não-declarada dados semi-estruturados. 2

3 Dados Semi-Estruturados Esquema geralmente extenso e definido a posteriori Esquema frequentemente ignorado ao se efetuar consultas Esquema evolui com os dados Distinção entre dados e esquema obscura Exemplo de Dados Semi-Estruturados Arquivo author = {Yi Chen and Wei Wang and Zivang Liu and Xuemin Lin}, title = {Keyword Search on Structured and Semi-structured Data}, booktitle = {Proceedings of the 35th SIGMOD International Conference on Management of Data}, } year = {2009}, pages = { }, address = {Providence, Rhode Island, USA}, isbn = author = {Ricardo A. Baeza-Yates and Berthier A. Ribeiro-Neto}, } title = {Modern Information Retrieval - the concepts and technology behind search, Second edition}, publisher = {Pearson Education}, year = {2011}, isbn = author = {Jianhua Feng and Guoliang Li and Jianyong Wang and Lizhu Zhou}, } title = {Finding and ranking compact connected trees for effective keyword proximity search in XML documents}, journal = {Information Systems}, year = {2010}, volume = {35}, number = {2}, pages = { }, doi = { issn = { } Exemplo de Dados Semi-Estruturados Página da DBLP Web x Bancos de Dados Sítios e aplicações da Web necessitam de facilidades para gerência de dados: Sítios são hoje gerados praticamente a partir de bancos de dados (páginas dinâmicas) Serviços disponíveis são cada vez mais diversificados (ex., Facebook, Twitter, YouTube, Instagram, Amazon, Uber, Airbnb, etc.) A Web oferece inúmeras oportunidades para uso da tecnologia de bancos de dados: Bancos de dados são geralmente bem projetados, os dados seguem uma estrutura rígida e são manipulados em um ambiente controlado A Web é constantemente alterada, os dados encontram-se distribuídos por diferentes fontes e são publicados em vários formatos 3

4 Web x Bancos de Dados Arquitetura das Aplicações Cliente Cliente Servidor Cliente Rede Aplicações de Banco de Dados Arquitetura Cliente-Servidor Cliente Cliente Cliente Mediador Mediador Servidor Servidor Servidor Aplicações Web Arquitetura Multi-Camada Três Visões da Web (sic Juliana Freire) Web visual HTML+HTTP HTML: indica como os dados são apresentados Usuários podem apenas navegar pelos dados Web sintática HTML+HTTP+XML XML: indica a estrutura dos dados Aplicações podem processar os dados Web semântica HTML+HTTP+XML+RDF+OWL+ Anotações indicam o significado dos dados Aplicações podem entender os dados Trata de problemas relacionados a coleta, extração, consulta, modelagem, armazenamento, transformação e integração de dados existentes na Web de forma a gerar novas aplicações Abre novas perspectivas para uso da tecnologia de bancos de dados Requer a utilização de padrões para representação e troca de dados (ex., XML, JSON, etc.) Visão Geral Publicação Coleta Disseminação Busca Consulta Mineração Extração Classificação Integração Anotação Modelagem Segmentação Armazenamento 4

5 Principais Contribuições da Tecnologia de BD Modelos de dados Linguagens de consulta Técnicas para processamento de consultas Mecanismos para manipulação de visões e integração de dados Mecanismos para manutenção de integridade Estruturas para armazenamento e indexação de grandes volumes de dados... Buzzwords Recentes Web Data Mining Big Data Geodata Linked Data Web Science Data Science Multi-source Data Big Data Analytics Big Data: Como Processar Eficientemente? Principais Desafios The Big Data Pipeline Aquisição de Dados Extração e Higienização Recomendação Busca Análise Mineração... Integração, Agregação e Representação? Modelagem e Transformação Jagadish, H.V. (ed.) Challenges and Opportunities with Big Data. White Paper, ( 5

6 Ambiente DEByE Ambiente Web-DL Laender, A.H.F.; Silva, A.S.; Golgher, P.B.; Ribeiro-Neto, B.A.; Evangelista Filha, I.M.R.; Magalhães, K.V. The Debye Environment for Web Data Management. IEEE Internet Computing6(4): 60-69, Calado, P.; Gonçalves, M.A.; Fox, E.A.; Ribeiro-Neto, B.A.; Laender, A.H.F.; Silva, A.S.; Reis, D.C.; Roberto, P.A.; Vieira, M.V.; Lage, J.P. The Web-DL Environment for Building Digital Libraries from the Web. Proc. of JCDL, 2003, pp Análise Geográfica da Produção em CC Evolução de Redes de Comunidades Científicas Menezes, G.V., Ziviani, N., Laender, A.H.F, Almeida, V.A.F. A Geographical Analysis of Knowledge Production in Computer Science. Proc. of WWW, 2009, pp SIGMOD Benevenuto, F.; Laender, A.H.F. ; Alves, B.L. How Connected are the ACM SIG Communities? SIGMOD Record 44(4): 57-63,

7 Análise da Produção Científica em CC na AL Evolução da Rede de Coautoria Brasileira em CC Cg:2705 (89%), d:19, l: 6, Cg:10106 (98%), d:12, l: 5,18 Delgado-Garcia, J.F.; Laender, A.H.F.; Meira Jr., W. Analyzing the Coauthorship Networks of Latin American Computer Science Research Groups. Proc. of LA-WEB, 2014, pp Delgado-Garcia, J.F. Uma Análise da Produção Científica em Ciência da Computação na América Latina. Dissertação de Mestrado, UFMG, Resumo Dados da Web Geralmente disponíveis através de documentos textuais e utilizados apenas para consumo humano Constantemente alterados Estrutura implícita e não-declarada dados semi-estruturados Dados semi-estruturados Esquema geralmente extenso e definido a posteriori, é muitas vezes ignorado e evolui com os dados Distinção entre dados e esquema obscura Gerência de dados da Web Trata da coleta, extração, consulta, modelagem, armazenamento, transformação e integração de dados existentes na Web Requer a utilização de padrões para representação e troca de dados entre aplicações 7