Introdução à Grid e Cloud Computing

Introdução à Grid e Cloud Computing Alberto Krone-Martins I WCCA 1

Introdução à Cloud Computing para astrônomos jovens (e nem tão jovens assim) 2

Breve histórico da computação astronômica... 3

Breve histórico da computação astronômica... 4

Breve histórico da computação astronômica... calculem! calculadoras... 5

Breve histórico da computação astronômica... Terminal burro Mainframe 6

Breve histórico da computação astronômica... PC 7

Breve histórico da computação astronômica... PC LAN PC LAN LAN Servidor Servidor 8

Breve histórico da computação astronômica... PC Servidor PC Internet PC PC Servidor 9

Breve histórico da computação astronômica... PC LAN Internet Cluster HPC 10

Breve histórico da computação astronômica... PC LAN Internet Clusters HPC 11

Breve histórico da computação astronômica... PC LAN Internet Clusters HPC GRID 12

Breve histórico da computação astronômica... PC CLOUD 13

Cluster/HPC? Grid? Cloud? Do ponto de vista do utilizador: Cluster/HPC: vários nós separados, conectados por rede rápida, fisicamente instalados em um mesmo local. Grid: vários nós separados, conectados por rede rápida ou lenta dependendo se estão ou não fisicamente instalados em um mesmo local. Cloud: quem se importa? apenas faça o que eu estou mandando! 14

Usos em astronomia Clusters: todo tipo de simulações, surveys de ontem SDSS (~60 TB) Grids: BaSTI, surveys de hoje LSST: tamanho (~22 PB) Gaia: complexidade (~1 PB) E amanhã? Clouds... 15

Grid 16

Componentes de um grid 3. Aplicativos 2. Middleware 1. Infraestrutura 17

Componentes de um grid 3. Aplicativos 2. Middleware xgrid 1. Infraestrutura 18

Componentes de um grid redução de dados do 3. Aplicativos vire-se! LHC 2. Middleware 1. Infraestrutura 19

Grids internacionais 20

21

Cloud 22

Cloud Muitas (muitas) definições Mas o mais importante: concentre-se no objetivo, terceirize os meios. 23

Componentes de uma Cloud 3. Aplicativos (SaaS) 2. Plataforma (PaaS) 1. Infraestrutura (IaaS) 24

Virtualização 25

Virtualização Hardware de verdade : CPU, memória, disco, rede... 26

Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização 27

Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização Hardware virtualizado: VM 28

Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização Hardware virtualizado: VM Sistema operacional 29

Virtualização Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização Hardware virtualizado: VM Sistema operacional Aplicações 30

Virtualização: alta-disponibilidade Hardware de verdade Hypervisor Hardware de verdade Hypervisor VM OS Ap 31

Virtualização: múltiplos SOs... Hardware de verdade : CPU, memória, disco, rede... Hypervisor: software de virtualização VM VM VM VM VM Linux Win Mac BSD... Ap Ap Ap Ap Ap 32

Virtualização: migração Hardware Hypervisor VM OS Ap 33

Virtualização: migração Hardware Hypervisor Hardware Hypervisor VM OS Ap 34

Virtualização: migração Hardware Hypervisor VM OS Ap Hardware Hypervisor Internet 35

Virtualização: migração Hardware Hypervisor Hardware Hypervisor VM OS Ap 36

Virtualização: migração Hardware Hypervisor Hardware Hypervisor VM OS Ap 37

Componentes de uma Cloud 3. Aplicativos (SaaS) 2. Plataforma (PaaS) 1. Infraestrutura (IaaS) 38

1. Infraestrutura (IaaS) Hardware Hypervisor Hardware Hypervisor 39

1. Infraestrutura (IaaS) Hardware Hypervisor Hardware Hypervisor 40

1. Infraestrutura (IaaS) Hardware Hypervisor Hardware Hypervisor Conceito: você ganha o processamento. Agora, vire-se! 41

2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... 42

2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... 43

2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... 44

2. Plataforma (PaaS) VM OS bibliotecas linguagens configuração... Conceito: você ganha o sistema configurado e as ferramentas de programação. Agora, vire-se! 45

3. Aplicativos (SaaS) 46

47

Tudo parece muito lindo, mas e a realidade? 48

49

Tanuki approximates #114 on the last 2010 Top 500 50

desde outubro/2010 51

A Global Processing Unit for the PNA? desde outubro/2010 52

53

54

55

56

57

58

59

A situação do Brasil... 60

www.telegeography.com 61

Akamai s The State of the Internet Q4 2010 62

Akamai s The State of the Internet Q4 2010 63

Akamai s The State of the Internet Q4 2010 64

Akamai s The State of the Internet Q4 2010 65

Interesse mundial: Grid, Cloud, HPC 02/2007 66

Interesse mundial e Brasileiro: Grid, Cloud, HPC mundo 02/2007 Brasil 04/2008 67

Interesse nos BRICs: Grid, Cloud, HPC Brasil 04/2008 09/2008 Russia Índia 09/2007 09/2007 China 68

Interesse nos BRICs: demografia de HPC Brasil Russia Índia China 69

Interesse nos BRICs: demografia de Grid Brasil Russia Índia China 70

Interesse nos BRICs: demografia da Cloud Brasil Russia Índia China 71

Fator novo... 72

A Cloud será uma bolha? Depende: Existirá uma padronização para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) 73

A Cloud será uma bolha? Depende: Existirá uma padronização para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) European Comission (consulta formal em Bruxelas dia 23 de maio!) http://www.pcworld.com/businesscenter/article/223010/eu_puts_standardization_at_forefront_of_cloud_computing.html IEEE (P2301 e P2302) http://www.pcworld.com/businesscenter/article/224157/ieee_hopes_to_drive_cloud_computing_standards.html 74

A Cloud será uma bolha? Depende: Existirá uma padronização para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) Problemas de infraestrutura de rede em alguns países serão resolvidos? (quase non-issue nos EUA, Europa e Asia, mas um problema real por aqui) A Cloud terá acesso rápido aos dados? (I/O bottleneck) 75

Algumas mensagens As Clouds foram criadas para facilitar a vida dos usuários. No mundo atual a Cloud é inevitável: ela já existe e já é utilizada. Em Astronomia ela já está sendo adotada: Nasa & ESA já adotam. 76

77

Algumas mensagens As Clouds existem para facilitar a vida dos usuários. No mundo atual a Cloud é inevitável: ela já existe e já é utilizada. Em Astronomia ela já está sendo adotada: Nasa & ESA já adotam. O Brasil pode não ter infraestrutura para abrigar Clouds (especialmente científicas). Rede é hoje o principal gargalo, mas também falta um plano nacional consistente e de longo prazo em HPC (pelo menos para a Astronomia). A CLOUD É UM PROJETO INTEGRADOR! 78

http://en.wikipedia.org/wiki/cloud_computing Obrigado! 79

1 iphone Linpack (dp) pico : 38 MFlop/s médio: 32 MFlop/s 80

1 iphone Linpack (dp) pico : 38 MFlop/s médio: 32 MFlop/s ~3x10^15 Flop/s ou... 3 Petaflop/s em iphones! 81

1 iphone Linpack (dp) pico : 38 MFlop/s médio: 32 MFlop/s ~3x10^15 Flop/s ou... 3 Petaflop/s em iphones! e o problema é... rede! 82

http://en.wikipedia.org/wiki/cloud_computing Obrigado! 83

1901 84

2009 85

Telégrafo Internet 1901 2009 86

Exemplo de hardware de cloud... 87