Introdução à Grid e Cloud Computing

Transcrição

1 Introdução à Grid e Cloud Computing Alberto Krone-Martins I WCCA 1

2 Introdução à Cloud Computing para astrônomos jovens (e nem tão jovens assim) 2

3 Breve histórico da computação astronômica... 3

4 Breve histórico da computação astronômica... 4

5 Breve histórico da computação astronômica... calculem! calculadoras... 5

6 Breve histórico da computação astronômica... Terminal burro Mainframe 6

7 Breve histórico da computação astronômica... PC 7

8 Breve histórico da computação astronômica... PC LAN PC LAN LAN Servidor Servidor 8

9 Breve histórico da computação astronômica... PC Servidor PC Internet PC PC Servidor 9

10 Breve histórico da computação astronômica... PC LAN Internet Cluster HPC 10

11 Breve histórico da computação astronômica... PC LAN Internet Clusters HPC 11

12 Breve histórico da computação astronômica... PC LAN Internet Clusters HPC GRID 12

13 Breve histórico da computação astronômica... PC CLOUD 13

14 Cluster/HPC? Grid? Cloud? Do ponto de vista do utilizador: Cluster/HPC: vários nós separados, conectados por rede rápida, fisicamente instalados em um mesmo local. Grid: vários nós separados, conectados por rede rápida ou lenta dependendo se estão ou não fisicamente instalados em um mesmo local. Cloud: quem se importa? apenas faça o que eu estou mandando! 14

15 Usos em astronomia Clusters: todo tipo de simulações, surveys de ontem SDSS (~60 TB) Grids: BaSTI, surveys de hoje LSST: tamanho (~22 PB) Gaia: complexidade (~1 PB) E amanhã? Clouds... 15

16 Grid 16

17 Componentes de um grid 3. Aplicativos 2. Middleware 1. Infraestrutura 17

18 Componentes de um grid 3. Aplicativos 2. Middleware xgrid 1. Infraestrutura 18

19 Componentes de um grid redução de dados do 3. Aplicativos vire-se! LHC 2. Middleware 1. Infraestrutura 19

20 Grids internacionais 20

21 21

22 Cloud 22

23 Cloud Muitas (muitas) definições Mas o mais importante: concentre-se no objetivo, terceirize os meios. 23

24 Componentes de uma Cloud 3. Aplicativos (SaaS) 2. Plataforma (PaaS) 1. Infraestrutura (IaaS) 24

25 Virtualização 25

26 Virtualização Hardware de verdade : CPU, memória, disco, rede... 26

27 Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização 27

28 Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização Hardware virtualizado: VM 28

29 Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização Hardware virtualizado: VM Sistema operacional 29

30 Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização Hardware virtualizado: VM Sistema operacional Aplicações 30

31 Virtualização: alta-disponibilidade Hardware de verdade Hypervisor Hardware de verdade Hypervisor VM OS Ap 31

32 Virtualização: múltiplos SOs... Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização VM VM VM VM VM Linux Win Mac BSD... Ap Ap Ap Ap Ap 32

33 Virtualização: migração Hardware Hypervisor VM OS Ap 33

34 Virtualização: migração Hardware Hypervisor Hardware Hypervisor VM OS Ap 34

35 Virtualização: migração Hardware Hypervisor VM OS Ap Hardware Hypervisor Internet 35

36 Virtualização: migração Hardware Hypervisor Hardware Hypervisor VM OS Ap 36

37 Virtualização: migração Hardware Hypervisor Hardware Hypervisor VM OS Ap 37

38 Componentes de uma Cloud 3. Aplicativos (SaaS) 2. Plataforma (PaaS) 1. Infraestrutura (IaaS) 38

39 1. Infraestrutura (IaaS) Hardware Hypervisor Hardware Hypervisor 39

40 1. Infraestrutura (IaaS) Hardware Hypervisor Hardware Hypervisor 40

41 1. Infraestrutura (IaaS) Hardware Hypervisor Hardware Hypervisor Conceito: você ganha o processamento. Agora, vire-se! 41

42 2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... 42

43 2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... 43

44 2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... 44

45 2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... Conceito: você ganha o sistema configurado e as ferramentas de programação. Agora, vire-se! 45

46 3. Aplicativos (SaaS) 46

47 47

48 Tudo parece muito lindo, mas e a realidade? 48

49 49

50 Tanuki approximates #114 on the last 2010 Top

51 desde outubro/

52 A Global Processing Unit for the PNA? desde outubro/

53 53

54 54

55 55

56 56

57 57

58 58

59 59

60 A situação do Brasil... 60

61 61

62 Akamai s The State of the Internet Q

63 Akamai s The State of the Internet Q

64 Akamai s The State of the Internet Q

65 Akamai s The State of the Internet Q

66 Interesse mundial: Grid, Cloud, HPC 02/

67 Interesse mundial e Brasileiro: Grid, Cloud, HPC mundo 02/2007 Brasil 04/

68 Interesse nos BRICs: Grid, Cloud, HPC Brasil 04/ /2008 Russia Índia 09/ /2007 China 68

69 Interesse nos BRICs: demografia de HPC Brasil Russia Índia China 69

70 Interesse nos BRICs: demografia de Grid Brasil Russia Índia China 70

71 Interesse nos BRICs: demografia da Cloud Brasil Russia Índia China 71

72 Fator novo... 72

73 A Cloud será uma bolha? Depende: Existirá uma padronização para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) 73

74 A Cloud será uma bolha? Depende: Existirá uma padronização para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) European Comission (consulta formal em Bruxelas dia 23 de maio!) IEEE (P2301 e P2302) 74

75 A Cloud será uma bolha? Depende: Existirá uma padronização para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) Problemas de infraestrutura de rede em alguns países serão resolvidos? (quase non-issue nos EUA, Europa e Asia, mas um problema real por aqui) A Cloud terá acesso rápido aos dados? (I/O bottleneck) 75

76 Algumas mensagens As Clouds foram criadas para facilitar a vida dos usuários. No mundo atual a Cloud é inevitável: ela já existe e já é utilizada. Em Astronomia ela já está sendo adotada: Nasa & ESA já adotam. 76

77 77

78 Algumas mensagens As Clouds existem para facilitar a vida dos usuários. No mundo atual a Cloud é inevitável: ela já existe e já é utilizada. Em Astronomia ela já está sendo adotada: Nasa & ESA já adotam. O Brasil pode não ter infraestrutura para abrigar Clouds (especialmente científicas). Rede é hoje o principal gargalo, mas também falta um plano nacional consistente e de longo prazo em HPC (pelo menos para a Astronomia). A CLOUD É UM PROJETO INTEGRADOR! 78

79 Obrigado! 79

80 1 iphone Linpack (dp) pico : 38 MFlop/s médio: 32 MFlop/s 80

81 1 iphone Linpack (dp) pico : 38 MFlop/s médio: 32 MFlop/s ~3x10^15 Flop/s ou... 3 Petaflop/s em iphones! 81

82 1 iphone Linpack (dp) pico : 38 MFlop/s médio: 32 MFlop/s ~3x10^15 Flop/s ou... 3 Petaflop/s em iphones! e o problema é... rede! 82

83 Obrigado! 83

84

85

86 Telégrafo Internet

87 Exemplo de hardware de cloud... 87