De SGBD a Gerência de Dados

Transcrição

1 De SGBD a Gerência de Dados Carlos A. Heuser ERBD 2012 Curi5ba

2 Pesquisa, ensino e trabalho na área de BD - - Passado, presente e futuro Uma visão pessoal e limitada 2

3 Obje>vo Tentar responder a perguntas: Ainda há o que pesquisar em BD? Se sim, quais os temas? O que alguém que quer trabalhar na área deve aprender? O que devemos ensinar? Como se posicionar como profissional? 3

4 Roteiro Evolução histórica de banco de dados Evolução da pesquisa na área de BD Perfil do pesquisador (ontem) Evolução dos temas de pesquisa Perfil do pesquisador (hoje) Mercado de trabalho na área de TI ( e na de BD )

6 Linha de tempo de BD

7 Pré- história (antes de 1970)

8 Pré- história (antes de 1970) Limitações de hardware Limitações de so\ware Baixíssimo nível de abstração Sistemas de gerência de arquivos 8

9 Infância (70 a 85)

10 Como era a área (70-85) Muitos recursos para pesquisa em BD. 10

11 Como era a área (70-85) Muitos recursos para pesquisa em BD. Muitos grupos de BD espalhados pelo mundo. 11

12 Como era a área (70-85) Principal resultado: Modelo de dados relacional de Codd (IBM) Técnicas para implementá- lo 12

13 Principais resultados da pesquisa (70 a 85) Teoria de banco de dados resultou na formalização do modelo relacional SQL linguagem declara5va de programação O5mização de consultas primeira abordagem realista de programação automá5ca 13

14 Principais resultados da pesquisa (70 a 85) Gerência de transações algoritmos eficientes para concorrência e reconstrução suportando grandes bases e grande número de usuários 14

15 Primeiros protó>pos e produtos System R (IBM) INGRES (Berkeley) 15

16 Primeiros protó>pos e produtos System R (IBM) INGRES (Berkeley) 16

17 Indústria de sotware de BD Pesquisas na área de BD resultaram em uma importante indústria de so\ware (IDC): US$ 19 bilhões Microso\ 15% Outros 19% Oracle 45% IBM 21% Divisão de mercado 17

18 Indústria de sotware de BD

19 Indústria de sotware de BD Mercado de SGBDs parou de crescer. Grandes usuários de SGBD já o adquiriram: sistemas legados. Novos usuários: Grande crescimento de bases de dados baseadas em so\ware livre (MySQL, PostgreSQL). Oracle e Microso\ já distribuem versões gratuitas. Novo foco das divisões de banco de dados de IBM e Oracle: Integração de informações. 19

20 SGBD omnipresente Originalmente: SGBD era u5lizado em sistemas de informação gerenciais Hoje: SGBD tornou- se sistema de arquivos de alto- nível Aparece em todo 5po de aplicações 20

21 SGBD omnipresente Originalmente: SGBD era u5lizado em sistemas de informação gerenciais Hoje: SGBD tornou- se sistema de arquivos de alto- nível Aparece em todo 5po de aplicações 21

23 Perfil dos pesquisadores Theory guys System guys 23

24 Theory guys O que era necessário saber para pesquisar na área Uma boa base de lógica matemá5ca Muitos pesquisadores de teoria de BD oriundos da área de teoria da computação 24

25 System guys O que era necessário saber para pesquisar na área Sistemas operacionais Rudimentos de arquitetura de computadores (principalmente, disposi5vos de armazenamento) Linguagens de programação e compiladores (?) Base (tênue) de matemá5ca discreta 25

26 Áreas de pesquisa compar>mentadas Áreas de pesquisa eram bem compar5mentadas Pouca cooperação entre pesquisadores de áreas diferentes Mesmo ocorria em outras áreas clássicas da Computação (Redes, Linguagens de programação, Sistemas distribuídos,... ). 26

28 Como era a pesquisa Temas das sessões das conferências: SIGMOD VLDB 28

29 Temas de sessões SIGMOD e VLDB pré- 85 nuvem de termos que aparecem nos otulos de sessões foram excluídas: stop words palavras muito comuns que não caracterizam o tema de pesquisa: database, query, technique,...

30 Temas de sessões SIGMOD e VLDB pré- 85 imperam aspectos de implementação

31 Temas de sessões SIGMOD e VLDB pré- 85 aplicações são importantes

32 Temas de sessões SIGMOD e VLDB pré- 85 teoria

33 Temas de sessões SIGMOD e VLDB pré- 85 linguagens, modelos e interfaces

34 1980 perfil das publicações Ar5gos analisados: SIGMOD'1980 (20 ar5gos) VLDB'1980 (30 ar5gos) 34

35 1980 perfil das publicações Ar5gos analisados: SIGMOD'1980 (20 ar5gos) VLDB'1980 (30 ar5gos) 35

36 1980 perfil das publicações Ar5gos foram classificados em: Formal: validação da proposta através de algum formalismo Experimentos: validação experimental Es5ma5va/simulação: validação através de um modelo matemá5co ou de simulação Comparação: ar5go situa a proposta dentro do estado- da- arte Um ar5go pode estar em mais de uma classe Ar5gos em nenhuma das acima: Só descrição 36

37 1980 perfil das publicações Experimentos Es5ma5va/simulação Comparação Formal Só descrição 0% 10% 20% 30% 40% 50% 60% 37

38 1980 perfil das publicações Experimentos Es5ma5va/simulação Comparação Ar5gos descreviam implementações, linguagens, modelos ou sistemas Formal Só descrição 0% 10% 20% 30% 40% 50% 60% 38

39 Adolescência (85-95) 39

40 Temas de sessões SIGMOD e VLDB (86-95) 40

41 Temas de sessões SIGMOD e VLDB (86-95) aspectos de implementação con5nuam 41

42 Temas de sessões SIGMOD e VLDB (86-95) linguagens e modelos também 42

43 Temas de sessões SIGMOD e VLDB (86-95) teoria diminui 43

44 Temas de sessões SIGMOD e VLDB (86-95) aparece OO... 44

45 Temas de sessões SIGMOD e VLDB (86-95)... e dedu5vo 45

46 Aplicações So\ware de banco de dados para aplicações não- convencionais : aplicações de projeto (engenharia), bases de dados espaciais, aplicações de tempo real,... 46

47 1995 perfil das publicações Ar5gos analisados: SIGMOD 95 (20 ar5gos) VLDB 95 (30 ar5gos) 47

48 1995 perfil das publicações Experimentos Es5ma5va/simulação Comparação Formal Só descrição 0% 10% 20% 30% 40% 50% 60% 70% 80% 48

49 1995 perfil das publicações Experimentos Es5ma5va/simulação Comparação Formal Ar5gos: relacionam o trabalho com o de outros; baseados em experimentos e/ou modelos analí5cos Só descrição 0% 10% 20% 30% 40% 50% 60% 70% 80% 49

50 Fase adulta ( ) 50

51 Temas de sessões SIGMOD (99-09) 51

52 Temas de sessões SIGMOD (99-09) mineração de dados é importante desde os anos 90 52

53 Temas de sessões SIGMOD (99-09) OLAP e datawarehousing também... 53

54 Temas de sessões SIGMOD (99-09) integração de dados, idem... 54

55 Temas de sessões SIGMOD (99-09) quebrando paradigmas: XML e semi- estruturado,... 55

56 Temas de sessões SIGMOD (99-09) quebrando paradigmas:..., streams 56

57 Temas de sessões SIGMOD (99-09) Web e busca aproximada 57

58 Temas de pesquisa Mineração de dados em conjunto com pesquisadores de outras áreas: IA aprendizagem de máquina Skyline queries, approximate queries, en:ty- resolu:on,... com um pé em: recuperação de informações e aprendizagem de máquina 58

59 Temas de pesquisa Databases on new hardware Memórias flash (disposi5vos com caracterís5cas diferentes que os HDs) Cloud compu:ng, Web databases Provenance, security... 59

60 2005 perfil das publicações Experimentos 20 ar5gos do SIGMOD'2005 foram examinados. Es5ma5va/simulação Não examinei mais, pois o perfil se mantém. Comparação Formal Só descrição 0% 20% 40% 60% 80% 100% 120% 60

61 2005 perfil das publicações Experimentos Es5ma5va/simulação Comparação Formal Só descrição 0% 20% 40% 60% 80% 100% 120% 61

63 O que é necessário saber para pesquisar na área Tudo que já era necessário conhecer anteriormente: Uma boa base de Lógica Matemá5ca Teoria de BD Sistemas operacionais Compiladores Base de matemá5ca discreta Rudimentos de arquitetura de computadores (principalmente, disposi5vos de armazenamento) Conhecimentos de BD relacional (linguagens, processamento de consultas, processamento de transações) 63

64 ..., e muito mais: O que é necessário saber para pesquisar na área Uma base mais ampla de Matemá5ca (volumes de dados envolvidos = métodos aproximados): álgebra, cálculo, estaos5ca... Algorítmica (foco não é mais somente o número de acessos a disco); Parlelismo; Recuperação de informações; Aprendizagem de máquina,... 64

65 O que é necessário saber para pesquisar na área Método experimental: Reproduzibilidade dos experimentos Exemplo: Sigmod 2005 (Jennifer Widom) 65

67 operário Papéis no mercado (extremos) usuário avançado engenheiro 67

68 Operário Função: operário da fábrica de sistemas de informação Tarefas repe55vas Uso de ferramentas existentes Pouca cria5vidade 68

69 Engenheiro Engenheiro de so\ware Projeta e constrói soluções para novas aplicações Boa base conceitual Capacidade de aprender novas técnicas e ferramentas 69

70 Usuário avançado Atua em outras áreas (medicina, engenharia, arquitetura,...) Projeta e constrói soluções para novas aplicações Pouco conhecimento de computação grande conhecimento de seu domínio de problema 70

71 Tendências no mercado EUA prevê declínio no seu mercado de trabalho de TI nesta área: Migração para países em desenvolvimento So\wares que automa5zam o desenvolvimento Até quanto vai? 71

72 Tendências no mercado (EUA) 72

73 Tendências no mercado (EUA) 73

74 Tendências no mercado (Canadá) Jobs With a Less- Than- Stellar Future Despite the rosy forecasts for technical workers men:oned earlier, some posi:ons, par:cularly in technical support (help desk) or computer programming, are seen as vulnerable to outsourcing. Ontario Job Futures points out that employment for computer programmers is expected to grow more slowly than for other computer- related occupa:ons because the programs can be transmiied digitally, meaning that the work can be done anywhere in the world. (Toronto s Online Employment Center, 2011) 74

75 Roteiro Evolução histórica de banco de dados Evolução da pesquisa na área de BD Perfil do pesquisador (ontem) Evolução dos temas de pesquisa Perfil do pesquisador (hoje) Mercado de trabalho na área de TI ( e na de BD ) Conclusões

76 Conclusões (temá>ca) A área de banco de dados deixou de tratar apenas o armazenamento de grandes bases de dados. O foco da pesquisa na área é: tratamento de grandes massas de dados em geral (não necessariamente persistentes); tratamento de dados que tenham alguma estrutura. 76

77 Conclusões (temá>ca) Fomos de Gerência de Banco de Dados (database management) para Gerência de grandes volumes de Dados (data management). 77

78 Conclusões (ensino) Banco de dados deixou de ser uma área de pesquisa compar5mentada e isolada das demais, para tornar- se uma área de pesquisa mul5- disciplinar. Base matemá5ca necessária para atuar na área aumentou muito. Para pesquisar com sucesso na área e necessário montar equipes mul5- disciplinares. 78

79 Conclusões (profissão) Desenvolvimento de so\ware e desenvolvimento de banco de dados estão mais maduros. Como na área industrial, papel de engenheiro e de operário tendem a se cristalizar. 79

80 Obrigado!