Autores. Colaboração. Local: II/ UFRGS. L. Cavalheiro, R. Real et al. Curso Dell, 2003 C. Geyer revisão 2005 Diego Gomes (versão para GT4) 2006

Transcrição

1

2 Autores L. Cavalheiro, R. Real et al. Curso Dell, 2003 C. Geyer revisão 2005 Diego Gomes (versão para GT4) 2006 Colaboração Eder Fontoura Local: II/ UFRGS GT 4 - Serviço de Informação 2

3 O globus fornece ferramentas para localização, transferência e gerência de dados distribuídos. GT 4 - Serviço de Informação 3

4 São elas: GridFTP Reliable File Transfer (RFT) service Replica Location Service (RLS) Data Replication Service (DRS) OGSA Data Access and Integration (OGSA- DAI) GT 4 - Serviço de Informação 4

5 O GridFTP é um protocolo para transferência de dados definido pelo Global Grid Forum (GGF); Este protocolo é seguro, robusto e eficiente; O GT4.0 fornece uma implementação deste protocolo (embora não completa), através das ferramentas: globus-gridftp-server globus-url-copy GT 4 - Serviço de Informação 5

6 O GT4.0 fornece ainda uma biblioteca para que um cliente GridFTP próprio seja desenvolvido. GT 4 - Serviço de Informação 6

7 O servidor GridFTP dá suporte às seguintes interfaces de armazenamento: Sistema de Arquivos POSIX Storage Resource Broker (SRB) High Performance Storage System (HPSS) NeST O cliente globus-url-copy pode acessar dados através dos protocolos http, https, ftp, gsiftp e file (arquivo local). GT 4 - Serviço de Informação 7

8 Inicializando o servidor: globus@hosta:~$ globus-gridftp-server -s Requisitando a transferência do arquivo remoto /tmp/arqteste para o arquivo local com o nome /tmp/meuarq: user@hostb:~$ grid-proxy-init user@hostb:~$ globus-url-copy gsiftp://hosta/tmp/arqteste file:///tmp/meuarq GT 4 - Serviço de Informação 8

9 Transferência entre terceiros: globus-url-copy gsiftp://hosta/tmp/foo gsiftp://hostb/tmp/bar Especificando o número de conexões TCP para transferências em paralelo (8 conexões): user@hostc:~$ globus-url-copy -p 8 file:///tmp/teste gsiftp://hostb/tmp/teste GT 4 - Serviço de Informação 9

10 O GridFTP suporta as seguintes funcionalidades: Segurança GSI: infra-estrutura de chave pública e certificação X509; Transferências entre terceiros; Acesso parcial a arquivos; Suporte a arquivos grandes: offsets e tamanhos de arquivo são de 64 bits; GT 4 - Serviço de Informação 10

11 O GridFTP suporta as seguintes funcionalidades: Reuso de canais de dados: reuso de conexões TCP; Estatísticas da transferência; Transferências em paralelo: diferentes partes do arquivo sendo transferidas simultaneamente; Controle do tamanho do buffer TCP; Stripping: transferência de um mesmo arquivo envolvendo várias fontes e/ ou vários destinos. GT 4 - Serviço de Informação 11

12 O Reliable File Transfer (RFT) é um mecanismo para fazer persistência do estado das transferências em armazenamento confiável; Sua interface é baseada em protocolos de web services (SOAP, WSDL,...); Funciona como um escalonador de jobs para transferências de arquivos; GT 4 - Serviço de Informação 12

13 Permite consultar o estado das transferências. RFT evita que o usuário tenha que manter a conexão durante transferências demoradas; GT 4 - Serviço de Informação 13

14 Usa bancos de dados de terceiros (PostgreSQL, MySQL,...); Servidor disponível através de um serviço no container do Globus; Classes java disponíveis para desenvolvimento de aplicações customizadas; Ferramentas por linha de comando: rft: submete e monitora transferências rft-delete: apaga arquivos usando RFT GT 4 - Serviço de Informação 14

15 # true= binary false= ascii true # Block size in bytes Gerando um proxy antes de usar a ferramenta: user@hosta:~$ grid-proxy-init Criando um job de transferências (arquivo exemplo_transfer.xfr): GT 4 - Serviço de Informação 15

16 ... # TCP Buffer size in bytes # Notpt (No thirdpartytransfer) false # Number of parallel streams 8 # Data Channel Authentication (DCAU) true # Concurrency of the request... GT 4 - Serviço de Informação 16

17 ... 1 # Grid Subject name of the source gridftp server / O= Grid/ OU= GlobusTest/ OU= simplecavenus.inf.ufrgs.br/ CN= host/ venus # Grid Subject name of the destination gridftp server / O= Grid/ OU= GlobusTest/ OU= simplecavenus.inf.ufrgs.br/ CN= host/ labtec... GT 4 - Serviço de Informação 17

18 ... # Transfer all or none of the transfers false # Maximum number of retries 10 # Source/ Dest URL Pairs gsiftp:// venus/ tmp/ rfttest1.tmp gsiftp:// labtec:5678/ tmp/ Done1.tmp gsiftp:// venus/ tmp/ rfttest2.tmp gsiftp:// labtec:5678/ tmp/ Done2.tmp GT 4 - Serviço de Informação 18

19 Submetendo o job de transferência vai transferir 2 arquivos do host venus para o host labtec, salvando o EPR do recurso WSRF criado em meujobtransfer.epr: user@hosta:~$ rft -h hosta -file meujobtransfer.epr -f exemplo_transfer.xfr Consultando o estado da transferência vai produzir um XML de saída: user@hosta:~$ wsrf-query -e meujobtransfer.epr GT 4 - Serviço de Informação 19

20 Criando um job para remover arquivos arquivo exemplo_delete.xfr: # Subject name (defaults to host subject) /O=Grid/OU=GlobusTest/OU=simpleCAvenus.inf.ufrgs.br/CN=host/labtec gsiftp://labtec:5678/tmp/done1.tmp gsiftp://labtec:5678/tmp/dirtest/ GT 4 - Serviço de Informação 20

21 Apagando arquivos apaga o arquivo /tmp/done1.tmp e apaga recursivamente o diretório /tmp/dirtest: user@hosta:~$ rft-delete -h hosta -file meujobdelete.epr -f exemplo_delete.xfr GT 4 - Serviço de Informação 21

22 O Replica Location Service (RLS) é usado para localizar réplicas (cópias) de arquivos em um ambiente de grade; Usuários e/ou serviços registram os arquivos criados junto ao RLS para posterior consulta; O RLS é um registro distribuído podendo consistir em diversos servidores em diferentes sites; O servidor não é um web service; GT 4 - Serviço de Informação 22

23 O RLS mantém associações (mapeamentos) entre um LFN e um ou mais PFNs, onde: LFN (Logical File Name): é o identificador único para o conteúdo do arquivo (ex.: dset_simcms); PFN (Physical File Name): é a URL de uma cópia do arquivo em um sistema de armazenamento (ex.: gsiftp://labtec:5678/opt/donesim.dat); Usuários podem associar atributos (ex.: tamanho do arquivo, checksum, etc.) ao LFN ou ao PFN; GT 4 - Serviço de Informação 23

24 Usuários podem fazer consultas baseadas nesses atributos. O RLS não garante a corretude nem a consistência dos mapeamentos que armazena; GT 4 - Serviço de Informação 24

25 Consiste de dois tipos de servidores: Local Replica Catalog (LRC): armazena mapeamentos entre LFNs e PFNs em um BD local. Independe da existência de RLIs e responde localmente às consultas; Replica Location I ndex (RLI ): cada RLI coleta informações sobre LFNs de um ou mais LRCs ou RLIs. Ao receber uma consulta por um LFN, retorna uma lista de LRCs que contém o mapeamento. GT 4 - Serviço de Informação 25

26 Exemplo de configuração entre LRCs e RLIs: Cada LRC envia periodicamente as informações (que expiram) para os RLIs (protocolo soft state). Pode-se compactar estas informações de diferentes formas (ex.: bloom filters) para evitar o tráfego excessivo. GT 4 - Serviço de Informação 26

27 Inicializando o postgres: globus@hosta:~$ postmaster -D $GLOBUS_LOCATION/var/lib/postgresql/ -i -o -F -p 5433 Inicializando o daemon RLS: globus@hosta:~$ $GLOBUS_LOCATION/sbin/SXXrls start Requisitando credenciais: user@hosta:~$ grid-proxy-init GT 4 - Serviço de Informação 27

28 Verificando se o servidor está ativo: user@hosta:~$ $GLOBUS_LOCATION/bin/globus-rlsadmin -p rls://hosta Criando um LFN novo: user@hosta:~$ globus-rls-cli create dset_simcms gsiftp://labtec:5678/opt/donesim.dat rls://hosta GT 4 - Serviço de Informação 28

29 Adicionando outros PFNs com realação a um LFN já criado: user@hosta:~$ globus-rls-cli add dset_simcms gsiftp://venus/tmp/sim.dat rls://hosta Consultando LFN: user@hosta:~$ globus-rls-cli query lrc lfn dset_simcms rls://hosta Resposta: gsiftp://labtec:5678/opt/donesim.dat gsiftp://venus/tmp/sim.dat GT 4 - Serviço de Informação 29

30 Consultando por um PFN no catálogo: globus-rls-cli query lrc pfn gsiftp://venus/tmp/sim.dat rls://hosta Apagando um mapeamento: globus-rls-cli delete dset_simcms gsiftp://venus/tmp/sim.dat rls://hosta Renomeando: globus-rls-cli rename lfn dset_simcms dsetsimcms rls://hosta GT 4 - Serviço de Informação 30

31 O Data Replication Service (DRS) é um serviço de mais alto nível construído usando os serviços do RFT e do RLS; Sua função é assegurar que um conjunto de arquivos exista em um elemento de armazenamento; Ao receber uma requisição, o DRS cria um recurso WSRF para dar persistência à operação e para permitir o seu monitoramento; O DRS é um web service; GT 4 - Serviço de Informação 31

32 Cada requisição é atendida da seguinte forma: Consulta-se o RLS para saber onde o arquivo existe na grade (PFNs); Uma vez localizado, cria-se uma requisição de transferência para ser executada pelo RFT; Terminado a transferência, registra-se o PFN da cópia recém criada junto ao RLS. GT 4 - Serviço de Informação 32

33 Inicializando um proxy: grid-proxy-init Deve-se criar uma credencial: globus-credential-delegate -h hosta -p 8443 mycredential.epr O próximo passo é criar o arquivo de requisição. Esse arquivo deve conter pares LFN -> URL destino para cada arquivo que deseja-se transferir. Ex.: user@hosta:~$ cat testrun.req GT 4 - Serviço de Informação 33

34 testrun-1 gsiftp://venus/tmp/files/testrun-1 testrun-2 gsiftp://labtec:5678/opt/testrun-2 testrun-3 gsiftp://hosta/sandbox/files/testrun-3 Deve-se então criar um recurso de replicação: globus-replication-create -s icationservice -C mycredential.epr -V myreplicator.epr file:///home/user/testr un.req GT 4 - Serviço de Informação 34

35 Inicializando a replicação: user@hosta:~$ globus-replication-start -e myreplicator.epr Verificando-se o status da requisição: user@hosta:~$ wsrf-get-property -e myreplicator.epr "{ rg/namespaces/2005/05/replica/replicator}statu s" Resposta: <ns1:status xmlns:ns1=" us.org/namespaces/2005/05/replica/rep licator">active</ns1:status> GT 4 - Serviço de Informação 35

36 Solicitando-se mais informações: wsrf-get-property -e myreplicator.epr "{ rg/namespaces/2005/05/replica/replicator}count " Resposta: <ns1:count xmlns:ns1=" 05/05/replica/replicator"> <ns1:total>3</ns1:total> <ns1:finished>0</ns1:finished> <ns1:failed>0</ns1:failed> <ns1:terminated>0</ns1:terminated> </ns1:count> GT 4 - Serviço de Informação 36

37 Destruindo o recurso de replicação: user@hosta:~$ wsrf-destroy -e myreplicator.epr Destroy operation was successful GT 4 - Serviço de Informação 37

38 O OGSA-DAI é um middleware que permite que os recursos de dados (tais como DBs relacionais ou DBs XML) sejam acessados via web services; Pode-se consultar dados, atualizá-los, transformálos e então entragá-los à aplicação; O OGSA-DAI é fornecido em um pacote independente ao Globus; GT 4 - Serviço de Informação 38

39 É compatível com as seguintes especificações de web services: Web Services Inter-operability (WS-I) Web Services Resource Framework (WSRF) A implementação WSRF funciona junto ao Globus; GT 4 - Serviço de Informação 39

40 O OGSA-DAI fornece: Suporte a diferentes recursos de dados (DBs relacional e XML, arquivos...), a serem expostos por web services; Os dados em cada um desses tipos de recursos podem ser consultados e atualizados; Os dados podem ser transformados (usando XSLT), compactados e descompactados (usando ZIP e GZIP); GT 4 - Serviço de Informação 40

41 O OGSA-DAI fornece: Dados podem ser entregues a clientes, outros web services, URLs, servidores FTP, GridFTP ou ainda a arquivos. Requisições a web services OGSA-DAI tem sempre um mesmo formato, independente do tipo de recurso de dados; Usuários podem extender os WS do OGSA-DAI para expor seus próprios tipos de recursos de dados GT 4 - Serviço de Informação 41

42 GT4 Data Management docs: toolkit/ docs/ 4.0/ data/ GridFTP Docs: toolkit/ docs/ 4.0/ data/ g ridftp/ RFT Docs: toolkit/ docs/ 4.0/ data/ rf t/ GT 4 - Serviço de Informação 42

43 RLS Docs: toolkit/ docs/ 4.0/ data/ rl s/ GT 4.0 Tech Preview: Data Replication Service (DRS) toolkit/ docs/ 4.0/ techpr eview/datarep/ OGSA-DAI Home: GT 4 - Serviço de Informação 43

44 This document was created with Win2PDF available at The unregistered version of Win2PDF is for evaluation or non-commercial use only. This page will not be added after purchasing Win2PDF.