Integração de aplicações em. Luiz Eduardo Borges

Transcrição

1 Integração de aplicações em Luiz Eduardo Borges

2 Sumário Integração de aplicações Aplicações distribuídas Camada de comunicação Formatos de dados Aplicações externas

3 Integração de aplicações (tradicional) Aplicação A Aplicação B Bibliotecas Funções disponíveis para as aplicações. Dados e regras de negócio precisam estar em um SGBD para garantir a integridade e sigilo. Dados Ambiente que requer muita administração para se manter organizado.

4 Integração através de middleware Aplicação A Aplicação B Regras de negócio podem ficar em componentes. Middleware Funções disponíveis para todas as aplicações. Dados O ambiente requer muita padronização para se manter organizado.

5 Middleware É uma camada de software que conecta componentes ou aplicações, tendo como o objetivo a interoperabilidade. Várias opções: ZOPE (Z Object Publishing Environment) WSGI (Web Server Gateway Interface) Twisted Muitos outros O próprio Python pode ser encarado como um middleware.

6 Aplicações distribuídas Arquiteturas: Computacional De recursos De aplicação ou híbrida

7 Modelo computacional O servidor distribui as requisições e centraliza os resultados. A B C D Os outros nós (workers) recebem as tarefas e calculam os resultados.

8 Modelo de recursos A B Os clientes enviam as requisições e recebem os resultados. C D E F Os servidores recebem as requisições e devolvem os resultados. G H

9 Modelo híbrido ou de aplicação A aplicação se confunde com a infraestrutura, provendo os recursos. A B C D Cada nó pode atuar como servidor e cliente, inclusive ao mesmo tempo.

10 Modelos (comparação) Computacional Recursos Híbrido Escalabilidade Média Alta Alta Complexidade Baixa Média Alta Tolerância a falhas Média Alta Alta Principal Aplicação Processamento memória Infra Arquivos Exemplo SETI@home Servidores Web P2P

11 Aplicações distribuídas (requisito I) Primeiro requisito: definir a forma de comunicação entre os nós. A B C D

12 Segundo requisito: manter os metadados sobre os nós, usuários, arquivos e outros recursos. Aplicações distribuídas (requisito II) A B C D

13 Terceiro requisito: fazer o monitoramento e controle dos componentes do sistema. Aplicações distribuídas (requisito III) A B C D

14 Aplicações distribuídas (requisito IV) A B C D Quarto requisito: manter a segurança (sigilo, integridade e disponibilidade) dos dados e sistemas envolvidos.

15 Camada de comunicação A camada torna transparente os protocolos de rede. Máquina Rede Máquina Framework Framework Aplicação Aplicação

16 Camadas de comunicação em Python PYRO XML-RPC Socket

17 Implementa: PYRO (Python Remote Objects) Um protocolo que permite a execução remota via TCP/IP de métodos de um objeto. Envio de estruturas de dados serializáveis como parâmetros. Servidor de nomes que facilita a localização automática dos métodos. Validadores para verificar as credenciais do cliente.

18 PYRO (servidor) import numpy import Pyro.core class Dist(Pyro.core.ObjBase): def fft(self, l): return numpy.fft.fft(l) Classe do objeto que será publicado na rede pelo PYRO. Método que calcula a transformada de Fourier. # Inicia a thread do servidor Pyro.core.initServer() # Cria o servidor daemon = Pyro.core.Daemon() # Publica o objeto uri = daemon.connect(dist(),'dist') # Coloca o servidor em estado operacional daemon.requestloop()

19 PYRO (cliente) # -*- coding: utf-8 -*- import numpy import Pyro.core # Dados de teste dados = numpy.random.rand(100) # Cria um objeto local para acessar o objeto remoto proxy = Pyro.core.getProxyForURI('PYROLOC:// /dist') # Evoca um método do objeto distribuído print proxy.fft(dados)

20 Implementa: Protocolo de execução remota de procedimentos. XML-RPC Transferências de dados em XML usando HTTP ou HTTPS (criptografado) como protocolo de transporte. Suporte a tipos básicos: inteiro, ponto flutuante, texto,...

21 XML-RPC (servidor) import numpy from SimpleXMLRPCServer import SimpleXMLRPCServer # Cria um servidor server = SimpleXMLRPCServer(('localhost', 8888)) server.register_introspection_functions() def fft(l): return [ float(x) for x in numpy.fft.fft(l) ] server.register_function(fft) # Inicia o loop do servidor server.serve_forever() Conversão para tipos que o XML-RPC aceita.

22 XML-RPC (cliente) import numpy import xmlrpclib # Dados de teste dados = [ float(x) for x in numpy.random.rand(100) ] server = xmlrpclib.server(" # Evoca o procedimento remoto print server.fft(dados) Conversão para tipos que o XML-RPC aceita.

23 Implementa: Acesso de baixo nível a biblioteca de sockets que disponível em praticamente qualquer sistema operacional atual. Conexões ponto a ponto vai TCP/IP. Socket

24 Socket (servidor I) import cpickle import socket import threading import numpy class Server(threading.Thread): def init (self, skt): self.skt = skt threading.thread. init (self) def run(self): # Recebe os dados rec = self.skt.recv(5000) # Calcula o resultado ff = numpy.fft.fft(cpickle.loads(rec)) # Retorna a resposta self.skt.send(cpickle.dumps(ff)) Classe que implementa as threads para o servidor. Método que é executado na thread. Dados foram serializados no cliente. Continua...

25 Socket (servidor II) # cria um socket INET STREAM server = socket.socket( socket.af_inet, socket.sock_stream) # Associa o socket a uma porta na interface de rede server.bind((socket.gethostname(), 8000)) # Passa a "ouvir" a porta server.listen(5) while True: # aceita acesso externo (skt, addr) = server.accept() svr =Server(skt) svr.start()

26 Socket (cliente) import cpickle import socket import numpy # Dados dados = numpy.random.rand(100) # cria um socket INET STREAM svr = socket.socket( socket.af_inet, socket.sock_stream) # Conecta na interface de rede svr.connect((socket.gethostname(), 8000)) svr.send(cpickle.dumps(dados)) # Recebe a resposta rec = svr.recv(5000) print cpickle.loads(rec) Os resultados foram serializados no servidor.

27 Comunicação (comparação) PYRO XML-RPC Socket Performance Alta Baixa Alta Portabilidade Baixa Alta Alta Escalabilidade Alta Baixa Depende da aplicação Complexidade Baixa Média Alta Dependências Média Baixa Baixa

28 Implementa: YAML (YAML Ain't a Markup Language) Formato de serialização de dados para texto, amigável para humanos. Representação de dados através de combinações de listas, dicionários e escalares. Convenções de sintaxe similares as linguagens dinâmicas, com forte influência do Python. Um superset do JSON (JavaScript Object Notation).

29 YAML (exemplo) - Artista: King Crimson Faixas: - Starless - Frature - Red - Lizard - Artista: Genesis Faixas: - Supper's Ready - In The Cage - The Lamia [{'Artista': 'King Crimson', 'Faixas': ['Starless', 'Frature', 'Red', 'Lizard']}, {'Artista': 'Genesis', 'Faixas': ["Supper's Ready", 'In The Cage', 'The Lamia']}] Documento YAML Estrutura Python

30 Formatos (comparação) YAML / JSON XML (c)pickle Performance Média Baixa Alta Portabilidade Alta Alta Baixa Escalabilidade Média Alta Alta Complexidade Baixa Média Baixa Dependências Média Baixa Baixa

31 Aplicações externas Aplicações pythônicas : BrOffice.org Blender GIMP Inkscape PostgreSQL

32 Implementa: BrOffice.org Suporte ao Python como linguagem de macro, permitindo a automatização de tarefas e a construção de extensões (add ons). Serviço para atender conexões, através de uma API chamada UNO (Universal Network Objects).

33 BrOffice.org (serviço) Interpretador PyUNO BrOffice.org Python UNO Bridge Aplicação Aceita conexões remotas via named pipes ou sockets.

34 BrOffice.org (exemplo I) # -*- coding: latin1 -*- # Para iniciar o BrOffice.org como servidor: # swriter.exe -headless # "-accept=pipe,name=py;urp;staroffice.servicemanager" import os import uno from com.sun.star.beans import PropertyValue # Dados... mus = [('Artista', 'Faixa'), ('King Crimson', 'Starless'), ('Yes', 'Siberian Khatru'), ('Led Zeppellin', 'No Quarter'), ('Genesis', 'Supper\'s Ready')] rows = len(mus) cols = len(mus[0]) Continua...

35 BrOffice.org (exemplo II) # Inicio do "Boiler Plate"... # Contexto de componente local loc = uno.getcomponentcontext() # Para resolver URLs res = loc.servicemanager.createinstancewithcontext( 'com.sun.star.bridge.unourlresolver', loc) # Contexto para a URL con = res.resolve('uno:pipe,name=py;urp;staroffice.componentcontext') # Documento corrente desktop = con.servicemanager.createinstancewithcontext( 'com.sun.star.frame.desktop', con) # Fim do "Boiler Plate"... Continua...

36 BrOffice.org (exemplo III) # Cria um documento novo no Writer doc = desktop.loadcomponentfromurl('private:factory/swriter', '_blank', 0, ()) # Cursor de texto cursor = doc.text.createtextcursor() # Muda propriedades cursor.setpropertyvalue('charfontname', 'Verdana') cursor.setpropertyvalue('charheight', 20) cursor.setpropertyvalue('charweight', 180) doc.text.insertstring(cursor, 'Músicas favoritas\n', 0) Texto inserido # Cria tabela tab = doc.createinstance('com.sun.star.text.texttable') tab.initialize(rows, cols) doc.text.inserttextcontent(cursor, tab, 0) Continua...

37 BrOffice.org (exemplo IV) # Preenche a tabela for row in xrange(rows): for col in xrange(cols): cel = chr(ord('a') + col) + str(row + 1) tab.getcellbyname(cel).setstring(mus[row][col]) Tabela # Propriedades para exportar o documento props = [] p = PropertyValue() p.name = 'Overwrite' p.value = True # Sobrescreve o documento anterior props.append(p) p = PropertyValue() p.name = 'FilterName' p.value = 'writer_pdf_export' # Writer para PDF props.append(p) Continua...

38 BrOffice.org (exemplo V) # URL de destino url = uno.systempathtofileurl(os.path.abspath('musicas.pdf')) # Salva o documento como PDF doc.storetourl(url, tuple(props)) # Fecha o documento doc.close(true) Arquivo de saída

39 PYRO: Socket Programming HOWTO: YAML Cookbook: Python OpenOffice.org Wiki: Referências

40 Integração de aplicações em Luiz Eduardo Borges Fim