Mirella M. Moro, UFMG

Transcrição

1 Pesquisa em Computação e Bancos de Dados Mitos, Pós-Graduação e Pesquisa Mirella M. Moro, UFMG

2 Observações Muuuuuita info em pooooouco tempo Slides estão online, não precisa copiar Já que estou aqui, preste atenção em mim Slides numerados: perguntas no final (Este é o último slide tradicional ) mirella@dcc.ufmg.br 2

3 3

4 MITOS EM COMPUTAÇÃO 4

5 MITO 1 Terminar a graduação não é necessário Esse tempo já se foi, a graduação não é emprego garantido, mas é um excelente começo mirella@dcc.ufmg.br 5

6 MITO 2 Mercado de TI está aquecido Certamente que sim: tem muita vaga aberta porém é um erro concluir que o aquecimento garante (bom) emprego para todos. mirella@dcc.ufmg.br 6

7 MITO 3 QI é Tudo Quem Indique pode ser importante para conseguir a entrevista, porém continuar e evoluir requerem competência mirella@dcc.ufmg.br 7

8 MITO 4 Não é lugar para?????????????? MENINAS mirella@dcc.ufmg.br 8

9 ( Gênero ) It s a UNIX system. I know this mirella@dcc.ufmg.br 9

10

11

12 12

13 E eu com isso? Computação Computador Equipe / Time mirella@dcc.ufmg.br 13

14 Men are from Mars Women are from Venus Boys' play is observed as more competitive Girls' play is more cooperative 14

15 Deborah Tannen's 1990 best-seller, You Just Don't Understand: Women and Men in Conversation Men World = a hierarchical social order Women World = network of connections ("one up or one down") Equipe mirella@dcc.ufmg.br 15

16 MITO 5 Pós-graduação não é valorizada Depende... É obrigatória para carreira acadêmica Auxilia a evoluir na carreira industrial/comercial Novidade: empresas no Brasil contratando mestres e doutores mirella@dcc.ufmg.br 16

17 FIM PARTE 1: MITOS 1. Terminar a 3. QI é tudo graduação não é necessário 4. Não é lugar para MENINAS 2. Mercado de TI está aquecido 5. Pós-graduação não é valorizada mirella@dcc.ufmg.br 17

18 PÓS-GRADUAÇÃO EM COMPUTAÇÃO

19 Grad MSc PhD 19

20 Por quê? Feeling sobre o salário de estudante $ $ BSc MSc PhD BSc Tempo Trabalho direto Tempo Pós-Graduação mirella@dcc.ufmg.br 20

21 Dados sobre o salário Escolaridade - Salário Escolaridade (maior grau) Média salário Programadores Região SE No. de respostas Avg. Salário mirella@dcc.ufmg.br Nenhuma Técnico Graduação Pós-Grad Mestrado (latu sensu) Fonte: 24 de março de

22 Internships at Silicon Valley MARÇO

23 Highest Paid Internships 2012 US$ 6,9 Google US$ 6,5 Twitter US$ 6,2 Facebook US$ 6,0 Yahoo US$ 5,7 Microsoft US$ 5,6 Zynga US$ 5,6 Amazon US$ 5,5 Apple US$ 5,0 Oracle US$ 4,9 LinkedIn US$ 4,0 IBM US$ 3,8 Cisco 2014 US$ 7,0 Palantir US$ 6,9 VMware US$ 6,8 Twitter US$ 6,2 LinkedIn US$ 6,2 Facebook US$ 6,1 Microsoft US$ 6,1 ebay US$ 5,9 Google US$ 5,7 Apple US$ 5,6 Amazon US$ 5,0 Yahoo US$ 4,6 Intel 23

24 Cuidado 24

25 Pós é Carreira 25

26 Pós é Leitura & Análise 26

27 Pós é Sozinho & em Grupo* ainda mais em BD * Grupo = amigos da face/g+, colegas, professores, inclusive os de outras áreas mirella@dcc.ufmg.br 27

28 Pós é Eventos Científicos Trabalho Evento Científico Viagem 28

29 SIGCSE 11 Dallas SIGMOD 12 Phoenix code.org SBBD 2013 SIGCSE 13 Denver SIGMOD 13 NYC CSBC 13 Maceió VLDB 08 N.Zelandia SBBD 09 J.Pessoa ICDE 04 Boston SIGMOD 09 Providence (NYC) SIGMOD 10 Indianápolis SIGMOD 11 Atenas SIGMOD 07 (Amsterdam) SIGMOD 07 - Beijing VLDB 04 Toronto VLDB 05 Noruega CLEI 00 México SBBD 01 Rio CLEI 02 - Uruguai CSBC 97 Brasília mirella@dcc.ufmg.br IDEAS 04 Coimbra 29 (Lisboa) 29

30 Pós é Difícil 30

31 Pós é Motivação & Reflexão 31

32 FIM PARTE 2: PósGrad É impossível se arrepender de ter estudado mais 32

33 ETAPAS DE PESQUISA 33

34 Algoritmo para Pesquisa Trabalho Resultados Tema Orientador/a 34

35 Algoritmo em Detalhes Orientador/a Afinidade + Responsabilidades Tema Trabalho Resultados Atual + Interessante + Futuro Sentar + Trabalhar Individualmente + Grupo Artigos + Conferências + Defesa mirella@dcc.ufmg.br 35

36 Porém a mais difícil parece ser RESULTADOS ESCRITA E APRESENTAÇÃO DE ARTIGOS

37 Escrita & Apresentação: Difícil?! Difícil Atividade inédita Escrever longamente Falar em público Fácil Receitas clássicas Fazer de novo Prática leva à perfeição 37

38 Escrita Prepare-se para decorar o próximo slide mirella@dcc.ufmg.br 38

39 Enquanto estiver Pensando Planejando Escrevendo Apresentando Discutindo Reunindo Argumentando CON-PROSA: Contexto Problema Solução Avaliação 39

40 Contexto Problema Solução Avaliação Contexto geral Contexto específico [estado da arte] O que *não* funciona? O que pode melhorar? Contribuição Como resolver o problema É bom? É melhor? [Nem] Sempre: Quando? Por quê? mirella@dcc.ufmg.br 40

41 Contribuições por TUDO!!!! Contexto X atual > novo contexto Problema Solução X atual > novo problema X atual > nova solução Solução atual > melhorias Avaliação Diferentes avaliações > X atual mirella@dcc.ufmg.br 41

42 42

43 Exemplo em Mineração [ ZHANG et SIGMOD 1996 ] Contexto Problema Solução (Detalhes) Avaliação Finding useful patterns in large datasets has attracted considerable interest recently, and one of the most widely studied problems in this area is the identification of clusters, or densely populated regions, in a multi-dimensional dataset. Prior work does not adequately address the problem of large datasets and minimization of I/O costs. This paper presents a data clustering method named BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies), and demonstrates that it is especially suitable for very large databases. BIRCH incrementally and dynamically clusters incoming multi-dimensional metric data points to try to produce the best quality clustering with the available resources (i.e., available memory and time constraints). BIRCH can typically find a good clustering with a single scan of the data, and improve the quality further with a few additional scans. BIRCH is also the first clustering algorithm proposed in the database area to handle noise (data points that are not part of the underlying pattern) effectively. We evaluate BIRCH s time/space efficiency, data input order sensitivity, and clustering quality through several experiments. We also present a performance comparison of BIRCH versus CLARANS, a clustering method proposed recently for laerge datasets, and show that BIRCH is consistently superior. mirella@dcc.ufmg.br 43

44 Exemplo em Redes [ RAGHAVAN et SIGCOMM 2007] Contexto Problema Solução (detalhes) Avaliação Today s cloud-based services integrate globally distributed resources into seamless computing platforms. Provisioning and accounting for the resource usage of these Internetscale applications presents a challenging technical problem. This paper presents the design and implementation of distributed rate limiters, which work together to enforce a global rate limit across traffic aggregates at multiple sites, enabling the coordinated policing of a cloud-based service s network traffic. Our abstraction not only enforces a global limit, but also ensures that congestion-responsive transport-layer flows behave as if they traversed a single, shared limiter. We present two designs one general purpose, and one optimized for TCP that allow service operators to explicitly trade off between communication costs and system accuracy, efficiency, and scalability. Both designs are capable of rate limiting thousands of flows with negligible overhead (less than 3% in the tested configuration). We demonstrate that our TCP-centric design is scalable to hundreds of nodes while robust to both loss and communication delay, making it practical for deployment in nationwide service providers. 44

45 Conectar as Ideias: *não* é fácil Título: keyword1 keyword2 Contexto & Relacionados Problema Solução 1 Solução 2 Avaliação Resumo: linha1 linha2 linha3 Intro: par1 par2 par3 par4 Conclusão: par1 par2 par3 mirella@dcc.ufmg.br 45

46 46

47 *Um* livro que pode mudar sua vida 47

48 Apresentação Prepare-se para decorar o próximo slide mirella@dcc.ufmg.br 48

49 Apresentação Contexto Problema Solução Avaliação 49

50 Planejamento O que apresentar mirella@dcc.ufmg.br 50

51 Planejamento EXEMPLO REAL ACM SAC/ CSBC SIGMOD/ SBBD WebDB XML Database XML Query Processing RoXSum XML Query Filtering XML Routing RoXSum XML Routing RoXSum Algorithms +GENÉRICO +BACKGROUND +ESPECÍFICO +DETALHES 51

52 Contexto e Problema: Estado-da-Arte EXEMPLO REAL Produtor Consumidor XML??? entrada Sistema Filtro de mensagens Rede Sobreposta consulta consulta consulta tabela de roteamento consultas resultados mirella@dcc.ufmg.br 52

53 Problema e Objetivo EXEMPLO REAL Produtor Consumidor XML Sistema entrada Filtro de mensagens Rede Sobreposta consulta consulta consulta tabela de roteamento consultas resultados mirella@dcc.ufmg.br 53

54 Solução: Demo EXEMPLO REAL Verificar, mapear e executar consulta TF-ORM Entrada do usuário: Consulta TF-ORM Resultado do mapeamento: Consulta SQL mirella@dcc.ufmg.br 54

55 Dicas de Estilo SETE pecados capitais da APRESENTAÇÃO 1. Frases completas, longas 2. Slides poluídos (cores, figuras) 3. Fonte pequenas ou 4. Fontes difíceis 5. Imagens/tabelas ilegíveis (copy/paste do artigo) 6. Animações malucas 7. Falta de fluxo 55

56 Dicas de Estilo Corrigindo os sete pecados capitais 1. Frases completas 2. Slides poluídos 3. Fonte pequenas ou 4. Fontes difíceis 5. Imagens ilegíveis 6. Animações malucas 7. Falta de fluxo 1. Palavras-chave 2. 1 slide = 1 informação 3. Fonte tamanho >= Arial, sans-serif 5. Novas imagens 6. Animações necessárias 7. Revisão, revisão, revisão mirella@dcc.ufmg.br 56

57 Dicas de Estilo Exemplo: muita informação + fonte pequena EXEMPLO REAL The widespread employment of XML motivates the development of efficient methods for manipulating XML data. Query languages (e.g. XQuery, XPath) take into consideration the structure of the data and enable querying both on its structure and simple values. Tree-pattern queries are considered among the most important and yet more complex queries to process. Holistic processing techniques have outperformed more conventional solutions. Many techniques have been proposed to handle tree-pattern queries holistically (e.g. TwigStack, XML filtering, ViST, PRIX). Index structures (e.g. B+-tree, XR-tree, XB-tree) have been introduced to further improve performance. A common characteristic for all holistic approaches is that some preprocessing is required, either on the data (e.g. TwigStack) or both the data and query (e.g. ViST, PRIX). Thus the need for a dedicated (native or relational) XML storage manager where all data resides and can be preprocessed. Problem: While many processing methods have already been proposed for such queries (and were shown to have promising performance and potential), none of them has found its way to any of the existing lightweight XML engines (e.g. Galax XQuery processor, exist). mirella@dcc.ufmg.br 57

58 Dicas de Estilo Exemplo: muita informação + fonte pequena EXEMPLO REAL Solução 1: dividir slide 1 slide = 1 informação The widespread employment of XML motivates the development of efficient methods for manipulating XML data. Query languages (e.g. XQuery, XPath) take into consideration the structure of the data and enable querying both on its structure and simple values. Tree-pattern queries are considered among the most important and yet more complex queries to process. Holistic processing techniques have outperformed more conventional solutions. Many techniques have been proposed to handle tree-pattern queries holistically (e.g. TwigStack, XML filtering, ViST, PRIX). Index structures (e.g. B+-tree, XR-tree, XB-tree) have been introduced to further improve performance. A common characteristic for all holistic approaches is that some preprocessing is required, either on the data (e.g. TwigStack) or both the data and query (e.g. ViST, PRIX). Thus the need for a dedicated (native or relational) XML storage manager where all data resides and can be preprocessed. Problem: While many processing methods have already been proposed for such queries (and were shown to have promising performance and potential), none of them has found its way to any of the existing lightweight XML engines (e.g. Galax XQuery processor, exist). XML everywhere XQuery, Xpath structure + values Tree-pattern queries Holistic Tree Pattern Query Better than conventional solutions E.g.: TwigStack, filtering, ViST, PRIX Index: B+tree, XR-tree, XB-tree Preprocessing required Data Data + query Problems Need for a dedicated XML storage manager (native or relational) No algorithm on lightweight XML engines mirella@dcc.ufmg.br 58

59 Dicas de Estilo Exemplo: muita informação + fonte pequena Solução 2: usar cores 1 informação = 1 cor SELECT t2.nome, t3.salario FROM PESSOA t0, MEDICO t1, PESSOA_NOME t2, MEDICO_SALARIO t3 WHERE t0.oid = t1.oid AND t0.oid = t2.oid AND t1.rid = t3.rid AND t3.salario > 2000 AND EXEMPLO REAL t2.t_timei <= 01/01/2000 AND t3.t_timei <= 01/01/2000 MAPEAMENTO: Tabelas Relacionamentos Restrições dados Restrições tempo mirella@dcc.ufmg.br 59

60 Dicas de Estilo Exemplo: importância da cor em exagero EXEMPLO REAL SELECT t2.nome, t3.salario FROM PESSOA t0, MEDICO t1, PESSOA_NOME t2, MEDICO_SALARIO t3 WHERE t0.oid = t1.oid AND t0.oid = t2.oid AND t1.rid = t3.rid AND t3.salario > 2000 AND t2.t_timei <= 01/01/2000 AND t3.t_timei <= 01/01/2000 SELECT t2.nome, t3.salario FROM PESSOA t0, MEDICO t1, PESSOA_NOME t2, MEDICO_SALARIO t3 WHERE t0.oid = t1.oid AND t0.oid = t2.oid AND t1.rid = t3.rid AND t3.salario > 2000 AND t2.t_timei <= 01/01/2000 AND t3.t_timei <= 01/01/2000 mirella@dcc.ufmg.br 60

61 Dicas de Estilo Exemplo: copy/paste imagem EXEMPLO REAL Copy/paste imagem do artigo Nem sempre legível Horrível, informação demais 61

62 Dicas de Estilo Exemplo: copy/paste imagem EXEMPLO REAL Solução: refazer imagem usando software de apresentação name (4,5) bib (1,26) book (2,9) paper (18,25) author (3,8) author (19,24) address (6,7) name (12,13) book (10,17) author(11,16) address (14,15) name (20,21) address (22,23) author (3,8) (11,16) (19,24) bib (1,16) address (6,7) (14,15) (22,23) name (4,5) (12,13) (20,21) paper (18,25) book (2,9) (10,17) B + Tree on ( tag, initial ) mirella@dcc.ufmg.br 62

63 Dicas de Estilo Exemplo: copy/paste imagem EXEMPLO REAL Exemplo 2: apresentação de resultados de experimentos Resultados XMARK Não tem classificação fixa SingleDFA tem pior desempenho StrIdx melhor ou comparável a melhor solução mirella@dcc.ufmg.br 63

64 Dicas de Estilo Exemplo: copy/paste imagem Solução: refazer imagem usando software de apresentação + animação EXEMPLO REAL Time (sec) X1 X2 X4 X6 Queries XBTwigStack SingleDFA IdxDFA INLJ StrIdx Resultados XMARK: 1. não tem classificação fixa mirella@dcc.ufmg.br 64

65 Dicas de Estilo Exemplo: copy/paste imagem Solução: refazer imagem usando software de apresentação + animação EXEMPLO REAL Time (sec) X1 X2 X4 X6 Queries XBTwigStack SingleDFA IdxDFA INLJ StrIdx Resultados XMARK: 2 SingleDFA pior desempenho mirella@dcc.ufmg.br 65

66 Dicas de Estilo SETE pecados capitais do(a) APRESENTADOR(A) 1. Monotonia, falar baixo 2. Falta de ensaio, se perder, ããã 3. Ticks: cabelos, pés, RELÓGIO 5. Exagerar: humor, gestos Falar rápido, atropelar informação / transição importante 7. Falta de contato visual, costas mirella@dcc.ufmg.br 66

67 FIM PARTE 3: PESQUISA Escrita & Apresentação Etapas E + A CON- PROSA Outras Orientador/a + Tema + Trabalho Resultados Escrita + Apresentação Difícil + Fácil Contexto > Problema > Solução > Avaliação Livro + Exemplos + Dicas mirella@dcc.ufmg.br 67

68 BANCOS DE DADOS

69 Computação 69

70 Início SGBD Modelagem, estrutura, consulta Aplicações tradicionais Agora NoSQL: texto, documentos, grafos e afins Conexão: Web, streams, móveis, paralelo, workflow, Contexto: nuvem, hardware, privacidade, proveniência IR Coleta, extração, indexação, processamento, entrega E.g., sistemas de recomendação e classificadores KDD Descoberta de Conhecimento Mineração de Dados E.g., aprendizado de máquina e big data analytics mirella@dcc.ufmg.br Bancos de Dados 70

71 Não sou só eu que digo isso 26. Enhanced Data Models for Advanced Applications 27. Introduction to Information Retrieval and Web Search 28. Data Mining Concepts 26. Data Mining 27. Information Retrieval and XML Data 28. Spatial Data Management 29. Further Reading Mobile, Main Memory DB, Info Vis, 6 th ed rd ed 2002 mirella@dcc.ufmg.br 71

72 Em Bancos de Dados select from where 72

73 Pesquisa em Bancos de Dados Contexto Problema Dados relacionais > streams Dados relacionais > móveis Dados relacionais > semiestruturado Dados relacionais > big data analysis Solução Avaliação Mais comum Escolha qualquer um e avalie em: paralelo, distribuído, grandes volumes, map-reduce, novos hardwares,... mirella@dcc.ufmg.br 73

74 Avaliação Descubra onde e por que mirella@dcc.ufmg.br 74

75 My PhD has almost died right here No f*ing pattern in the results!!!!! EXAMPLO REAL Time (sec) X1 X2 X4 X6 Queries XBTwigStack SingleDFA IdxDFA INLJ StrIdx mirella@dcc.ufmg.br 75

76 Look at the big picture & Play with your variables (data + queries) EXAMPLO REAL Time (sec) select XBTwigStack SingleDFA from IdxDFA INLJ StrIdx where X1 X2 X4 X6 Queries Moro et VLDB 2005 mirella@dcc.ufmg.br 76

77 Tópicos Atuais de Pesquisa 1. Recomendação Giseli Lopes [Palazzo] (ufrgs)* Michele Brandão 2. Redes Sociais Carolina Bigonha [Marcos André]* Wladston Viana [Ana Paula] Harlley Lima*, Thiago Henrique P. Silva [Wagner, Alberto] 3. Dados Avançados Pedro Onofre Santos [Clodoveu] Luciana Maroun *Concluídos 77

78 1. Recomendação Quais outros itens pessoas que compraram este livro também compraram? 78

79 >>>>>>>>>>> Com base nas minhas compras anteriores, quais são as sugestões? 79

80 Recomendação 1. Quais outros itens pessoas que compraram este livro também compraram? Outras pessoas Mesmo produto 2. Com base nas minhas compras anteriores, quais são as sugestões? Mesma pessoa Outros produtos 3. Conforme novo produto é armazenado, quem poderia estar interessado nele? Pessoas geralmente interessadas nas novidades Ajuda a melhorar o ranking de novos produtos Outras/mesma pessoa; outros produtos? mirella@dcc.ufmg.br 80

81 No mesmo contexto... Vários problemas 1001 alternativas Como se comparam? Qual a melhor? Quando? Como? mirella@dcc.ufmg.br 81

82 Recomendação de Pessoas 82

83 Recomendação de Pessoas CORALS: a COllaboration Recommender for Academic social networks mirella@dcc.ufmg.br 83

84 Várias fórmulas depois... JIDM 2014 SBBD 2013 SIMPLEX 2013 SIGMOD 2012 IJCSA 2012 AMW 2012 WWW/Internet 2011 SBBD 2011 ICITA 2011 AMW 2010 WISM 2010 LOPES, BRANDÃO + Palazzo, Barbosa mirella@dcc.ufmg.br 84

85 2. Redes Sociais Folha de São Paulo, 13/06/2010 Por quê? 85

86 On August 20, pm mirella@dcc.ufmg.br 86

87 Com tantos dados... Quais informações podemos descobrir?! 87

88 Influência no Twitter Marketing e avaliação do consumidor (ou eleitores no caso da política) Candidatos /empresas querem saber como sua campanha/produto está sendo recebida Entender e reagir adequadamente mirella@dcc.ufmg.br 88

89 Caso do FIAT Stilo Como é feito hoje 89

90 Problema Soluções MUITOS dados N pessoas, opiniões Por onde começar? Como? Identificar os influentes Quem influencia o maior número de pessoas mirella@dcc.ufmg.br 90

91 Detectando usuários influentes no Twitter 91

92 Detectando usuários influentes no Twitter CAROLINA BIGONHA et JBCS 2012 WebMedia 2010 SBBD 2009 mirella@dcc.ufmg.br 92

93 Ciência Brasil (InWeb) 93

94 CiênciaBrasil: Groups 94

95 CiênciaBrasil: Groups - período mirella@dcc.ufmg.br 95

96 CiênciaBrasil: Groups - período mirella@dcc.ufmg.br 96

97 Engenharia de Software Ciências Sociais 97

98 Biodiversidade na Amazônia 98

99 FIM PARTE 4: BANCOS DE DADOS BD Pesquisa Eu SGBD >> NoSQL, conexão, contexto + IR + KDD + Dados Consultas Recomendação de pessoas Redes Sociais Outros (processamento de consultas) mirella@dcc.ufmg.br 99

100 FINALIZANDO

101 Você Conhecimento Visão Estudo Experiência Resolução Problemas Você nunca irá se arrepender de investir em você e nos seus estudos mirella@dcc.ufmg.br 101

102 102