Pós-Graduação em Bancos de Dados. Mirella M. Moro, UFMG

Transcrição

1 Pós-Graduação em Bancos de Dados Escrita, Apresentação e Além Mirella M. Moro, UFMG Participações Especiais: Carina Dorneles, UFSC Renata Galante, UFRGS Vanessa Braganholo, UFF

2 Observações Muuuuuita info em pooooouco tempo Slides estão online, não precisa copiar Já que estou aqui, preste atenção em mim Slides numerados: perguntas no final (Percebam que este é o último slide text only que tem nesta apresentação) Mirella M. Moro 2

3 Computação Mirella M. Moro 3

4 Início SGBD Modelagem, estrutura, consulta Aplicações tradicionais Agora NoSQL: texto, documentos, grafos e afins Conexão: Web, streams, móveis, paralelo, workflow, Contexto: nuvem, hardware, privacidade, proveniência IR Coleta, extração, indexação, processamento, entrega E.g., sistemas de recomendação e classificadores KDD Descoberta de Conhecimento Mineração de Dados E.g., aprendizado de máquina e big data analytics Mirella M. Moro Bancos de Dados 4

5 Não sou só eu que digo isso 26. Enhanced Data Models for Advanced Applications 27. Introduction to Information Retrieval and Web Search 28. Data Mining Concepts 26. Data Mining 27. Information Retrieval and XML Data 28. Spatial Data Management 29. Further Reading Mobile, Main Memory DB, Info Vis, 6 th ed rd ed 2002 Sugestão de CARINA DORNELES 5

6 Escrita Prepare-se para decorar o próximo slide Mirella M. Moro 6

7 Escrita Contexto Problema Con ProSA Solução Avaliação Mirella M. Moro 7

8 Contexto Problema Solução Avaliação Contexto geral Contexto específico [e.d.a] O que não funciona Funciona mas pode melhorar Contribuição Como resolve o problema É bom? É melhor? [Nem] Sempre: quando e por quê Mirella M. Moro 8

9 Escrita = vender o peixe PROBLEMA OBJETIVOS ABORDAGEM (solução) (solução) RESULTADOS entendem e descrevem e descrevem definem que fornece fornece do para PrOsAR obter a solução Adaptado de VANESSA BRAGANHOLO 9

10 Exemplo: Resumo [ ZHANG et SIGMOD 1996 ] Contexto Problema Solução (Detalhes) Avaliação Finding useful patterns in large datasets has attracted considerable interest recently, and one of the most widely studied problems in this area is the identification of clusters, or densely populated regions, in a multi-dimensional dataset. Prior work does not adequately address the problem of large datasets and minimization of I/O costs. This paper presents a data clustering method named BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies), and demonstrates that it is especially suitable for very large databases. BIRCH incrementally and dynamically clusters incoming multi-dimensional metric data points to try to produce the best quality clustering with the available resources (i.e., available memory and time constraints). BIRCH can typically find a good clustering with a single scan of the data, and improve the quality further with a few additional scans. BIRCH is also the first clustering algorithm proposed in the database area to handle noise (data points that are not part of the underlying pattern) effectively. We evaluate BIRCH s time/space efficiency, data input order sensitivity, and clustering quality through several experiments. We also present a performance comparison of BIRCH versus CLARANS, a clustering method proposed recently for laerge datasets, and show that BIRCH is consistently superior. Mirella M. Moro 10

11 Contexto Problema Solução (Detalhes) Avaliação Não é só em BD RAGHAVAN et SIGCOMM 2007 Today s cloud-based services integrate globally distributed resources into seamless computing platforms. Provisioning and accounting for the resource usage of these Internetscale applications presents a challenging technical problem. Na minha This paper presents the design and implementation of distributed rate limiters, which work together to enforce a global rate limit across traffic aggregates at multiple disciplina sites, enabling the coordinated policing of a cloud-based service s network traffic. Our abstraction not only enforces a global limit, but also ensures that congestion-responsive esse transport-layer artigo flows behave é as if they traversed a single, shared limiter. We present two designs one general purpose, and one optimized for TCP that allow service operators to explicitly trade off between esquartejado communication costs and system accuracy, efficiency, and scalability. Both designs are capable of rate limiting thousands of flows with negligible overhead (less than 3% in the tested configuration). We demonstrate that our TCP-centric design is scalable to hundreds of nodes while robust to both loss and communication delay, making it practical for deployment in nationwide service providers. Mirella M. Moro 11

12 Escrita = Difícil Título: keyword1 keyword2 Contexto e Relacionados Problema Solução p1 Solução p2 Avaliação Resumo: linha1 linha2 linha3 Intro: par1 par2 par3 par4 Conclusão: par1 par2 par3 Mirella M. Moro 12

13 Mirella M. Moro 13

14 Escrita em Bancos de Dados select from where Mirella M. Moro 14

15 Apresentação Prepare-se para decorar o próximo slide

16 Apresentação Contexto Problema Solução Avaliação Mirella M. Moro 16

17 Planejamento O que apresentar Mirella M. Moro 17

18 Planejamento O que apresentar EXEMPLO FICTÍCIO XHI Índice Híbrido para Dados XML Aula na Graduação Dados Banco de Dados XML Índices XML Dados Banco de Dados XML Índices XML XSym, XYME-P Mirella M. Moro 18

19 Prática: Contexto e Problema O estado-da-arte Mirella M. Moro 19

20 Estado-da-Arte EXEMPLO REAL Produtor Consumidor XML??? entrada Sistema Filtro de mensagens Rede Sobreposta consulta consulta consulta tabela de roteamento consultas resultados Mirella M. Moro 20

21 Problema e Objetivo EXEMPLO REAL Produtor Consumidor XML Sistema entrada Filtro de mensagens Rede Sobreposta consulta consulta consulta tabela de roteamento consultas resultados Mirella M. Moro 21

22 Prática: Demo EXEMPLO REAL Verificar, mapear e executar consulta TF-ORM Entrada do usuário: Consulta TF-ORM Resultado do mapeamento: Consulta SQL Mirella M. Moro 22

23 Dicas de Estilo SETE pecados capitais da APRESENTAÇÃO 1. Frases completas, longas 2. Slides poluídos (cores, figuras) 3. Fonte pequenas ou 4. Fontes difíceis 5. Imagens/tabelas ilegíveis (copy/paste do artigo) 6. Animações malucas 7. Falta de fluxo Mirella M. Moro 23

24 Dicas de Estilo Corrigindo os sete pecados capitais 1. Frases completas 2. Slides poluídos 3. Fonte pequenas ou 4. Fontes difíceis 5. Imagens ilegíveis 6. Animações malucas 7. Falta de fluxo 1. Palavras-chave 2. 1 slide = 1 informação 3. Fonte tamanho >= Arial, sans-serif 5. Novas imagens 6. Animações necessárias 7. Revisão, revisão, revisão Mirella M. Moro 24

25 Dicas de Estilo Exemplo: muita informação + fonte pequena EXEMPLO REAL The widespread employment of XML motivates the development of efficient methods for manipulating XML data. Query languages (e.g. XQuery, XPath) take into consideration the structure of the data and enable querying both on its structure and simple values. Tree-pattern queries are considered among the most important and yet more complex queries to process. Holistic processing techniques have outperformed more conventional solutions. Many techniques have been proposed to handle tree-pattern queries holistically (e.g. TwigStack, XML filtering, ViST, PRIX). Index structures (e.g. B+-tree, XR-tree, XB-tree) have been introduced to further improve performance. A common characteristic for all holistic approaches is that some preprocessing is required, either on the data (e.g. TwigStack) or both the data and query (e.g. ViST, PRIX). Thus the need for a dedicated (native or relational) XML storage manager where all data resides and can be preprocessed. Problem: While many processing methods have already been proposed for such queries (and were shown to have promising performance and potential), none of them has found its way to any of the existing lightweight XML engines (e.g. Galax XQuery processor, exist). Mirella M. Moro 25

26 Dicas de Estilo Exemplo: muita informação + fonte pequena EXEMPLO REAL Solução 1: dividir slide 1 slide = 1 informação The widespread employment of XML motivates the development of efficient methods for manipulating XML data. Query languages (e.g. XQuery, XPath) take into consideration the structure of the data and enable querying both on its structure and simple values. Tree-pattern queries are considered among the most important and yet more complex queries to process. Holistic processing techniques have outperformed more conventional solutions. Many techniques have been proposed to handle tree-pattern queries holistically (e.g. TwigStack, XML filtering, ViST, PRIX). Index structures (e.g. B+-tree, XR-tree, XB-tree) have been introduced to further improve performance. A common characteristic for all holistic approaches is that some preprocessing is required, either on the data (e.g. TwigStack) or both the data and query (e.g. ViST, PRIX). Thus the need for a dedicated (native or relational) XML storage manager where all data resides and can be preprocessed. Problem: While many processing methods have already been proposed for such queries (and were shown to have promising performance and potential), none of them has found its way to any of the existing lightweight XML engines (e.g. Galax XQuery processor, exist). XML everywhere XQuery, Xpath structure + values Tree-pattern queries Holistic Tree Pattern Query Better than conventional solutions E.g.: TwigStack, filtering, ViST, PRIX Index: B+tree, XR-tree, XB-tree Preprocessing required Data Data + query Problems Need for a dedicated XML storage manager (native or relational) No algorithm on lightweight XML engines Mirella M. Moro 26

27 Dicas de Estilo Exemplo: muita informação + fonte pequena Solução 2: usar cores 1 informação = 1 cor SELECT t2.nome, t3.salario FROM PESSOA t0, MEDICO t1, PESSOA_NOME t2, MEDICO_SALARIO t3 WHERE t0.oid = t1.oid AND t0.oid = t2.oid AND t1.rid = t3.rid AND t3.salario > 2000 AND EXEMPLO REAL t2.t_timei <= 01/01/2000 AND t3.t_timei <= 01/01/2000 MAPEAMENTO: Tabelas Relacionamentos Restrições dados Restrições tempo Mirella M. Moro 27

28 Dicas de Estilo Exemplo: importância da cor em exagero EXEMPLO REAL SELECT t2.nome, t3.salario FROM PESSOA t0, MEDICO t1, PESSOA_NOME t2, MEDICO_SALARIO t3 WHERE t0.oid = t1.oid AND t0.oid = t2.oid AND t1.rid = t3.rid AND t3.salario > 2000 AND t2.t_timei <= 01/01/2000 AND t3.t_timei <= 01/01/2000 SELECT t2.nome, t3.salario FROM PESSOA t0, MEDICO t1, PESSOA_NOME t2, MEDICO_SALARIO t3 WHERE t0.oid = t1.oid AND t0.oid = t2.oid AND t1.rid = t3.rid AND t3.salario > 2000 AND t2.t_timei <= 01/01/2000 AND t3.t_timei <= 01/01/2000 Mirella M. Moro 28

29 Dicas de Estilo Exemplo: copy/paste imagem EXEMPLO REAL Copy/paste imagem do artigo Nem sempre legível Horrível, informação demais Mirella M. Moro 29

30 Dicas de Estilo Exemplo: copy/paste imagem EXEMPLO REAL Solução: refazer imagem usando software de apresentação name (4,5) bib (1,26) book (2,9) paper (18,25) author (3,8) author (19,24) address (6,7) name (12,13) book (10,17) author(11,16) address (14,15) name (20,21) address (22,23) author (3,8) (11,16) (19,24) bib (1,16) address (6,7) (14,15) (22,23) name (4,5) (12,13) (20,21) paper (18,25) book (2,9) (10,17) B + Tree on ( tag, initial ) Mirella M. Moro 30

31 Dicas de Estilo Exemplo: copy/paste imagem EXEMPLO REAL Exemplo 2: apresentação de resultados de experimentos Resultados XMARK Não tem classificação fixa SingleDFA tem pior desempenho StrIdx melhor ou comparável a melhor solução Mirella M. Moro 31

32 Dicas de Estilo Exemplo: copy/paste imagem Solução: refazer imagem usando software de apresentação + animação EXEMPLO REAL Time (sec) X1 X2 X4 X6 Queries XBTwigStack SingleDFA IdxDFA INLJ StrIdx Resultados XMARK: 1. não tem classificação fixa Mirella M. Moro 32

33 Dicas de Estilo Exemplo: copy/paste imagem Solução: refazer imagem usando software de apresentação + animação EXEMPLO REAL Time (sec) X1 X2 X4 X6 Queries XBTwigStack SingleDFA IdxDFA INLJ StrIdx Resultados XMARK: 2 SingleDFA pior desempenho Mirella M. Moro 33

34 Dicas de Estilo SETE pecados capitais do(a) APRESENTADOR(A) 1. Monotonia, falar baixo 2. Falta de ensaio, se perder, ããã 3. Ticks: cabelos, pés, RELÓGIO 5. Exagerar: humor, gestos Falar rápido, atropelar informação / transição importante 7. Falta de contato visual, costas Mirella M. Moro 34

35 Aqui é o roteiro que eu vou estar apresentando Mirella M. Moro 35

36 E Além P R E P A R A

37 Grad MSc PhD Mirella M. Moro 37

38 Por quê? Feeling sobre o salário de estudante $ $ BSc MSc PhD BSc Tempo Trabalho direto Tempo Pós-Graduação Mirella M. Moro 38

39 Dados sobre o salário Escolaridade - Salário Escolaridade (maior grau) Média salário Programadores Região SE No. de respostas Avg. Salário Mirella M. Moro Nenhuma Técnico Graduação Pós-Grad Mestrado (latu sensu) Fonte: 24 de março de

40 Cuidado Mirella M. Moro 40

41 Pós é Carreira Mirella M. Moro 41

42 Pós é Leitura & Análise Mirella M. Moro 42

43 Pós é Sozinho & em Grupo* ainda mais em BD * Grupo = amigos da face/g+, colegas, professores, inclusive os de outras áreas Sugestão de RENATA GALANTE 43

44 Pós é Eventos Científicos Trabalho Evento Científico Viagem Mirella M. Moro 44

45 SIGCSE 11 Dallas SIGMOD 12 Phoenix code.org SBBD 2013 SIGCSE 13 Denver SIGMOD 13 NYC CSBC 13 Maceió VLDB 08 N.Zelandia SBBD 09 J.Pessoa ICDE 04 Boston SIGMOD 09 Providence (NYC) SIGMOD 10 Indianápolis SIGMOD 11 Atenas SIGMOD 07 (Amsterdam) SIGMOD 07 - Beijing VLDB 04 Toronto VLDB 05 Noruega CLEI 00 México SBBD 01 Rio CLEI 02 - Uruguai CSBC 97 Brasília IDEAS 04 Coimbra 45 (Lisboa) 45

46 Pós é Difícil Mirella M. Moro 46

47 Pós é Motivação & Reflexão Mirella M. Moro 47

48