Novas Tecnologias em Arquiteturas de Sistemas

Transcrição

1 Novas Tecnologias em Arquiteturas de Sistemas Nilson Sant Anna LAC/INPE Laboratório rio de Computação e Matemática tica Aplicada Caltech California Institute of Technology Janeiro a Dezembro de 2007

2 Agenda Motivação Contexto de Trabalho Objetivos Metodologia de Pesquisa Objetivo 1: A base de sistemas de informação Bancos de Dados Objetivo 2: Novas Arquiteturas Arquitetura Orientada a Serviço - SOA Fundamento do Trabalho Engenharia de Software e Arquiteturas. Exemplo de Sistema: VO Virtual Observatory Conclusão

3 Motivação Com relação à Demanda Sistemas Grandes, Complexos e Integrados Exemplos: Comércio Eletrônico: Amazon.com, Americanas.com, etc Área Cientifica: BRAVO Brasilian VO, Gestão de Clima e Clima Espacial,etc. Aplicações em Diversos Campos do Conhecimento SICS(MECB INPE) LOC (10 anos) Software para Sindicato: ewp-sindct Módulos Controle de Sócios, S Jurídico, Convenios,etc 2065 Arquivos de Códigos C Fontes (1449 JSPs/HTML, 616 JAVA Class) linhas de código c em JAVA (2 anos)

4 Motivação Com relação aos Sistemas Maior demanda de Uso (Web/Intenert( Web/Intenert) Segurança a (compras on-line: Posso Comprar?) Alta disponibilidade (sistema 24/7?) Alta confiabilidade (faz o que quero sempre?) Escalável (se aumentar a demanda posso crescer o sistema?) Alta capacidade de Manutenção Flexibilidade (posso trocar o Gerenciador de Bancos de Dados?) Multi-Language Eficiente (Recursos de Máquina: M memória, processador,etc. Interoperavel (posso relacionar com outros sistemas e trocar Informações?) Autonomia de Serviços (Distribuição de Serviços por servidores diversos)

5 Contexto do Trabalho: : A Caltech Academic Divisions Biology Chemistry & Chemical Engineering Engineering & Applied Science Geological & Planetary Sciences Humanities & Social Sciences Physics, Mathematics & Astronomy Interdisciplinary Programs

6

7 CACR, Caltech's Center for Advanced Computing Research CACR exists to ensure that Caltech is at the forefront of computational science and engineering (CS&E). CS&E is the practice of computer based modeling, simulation and data analysis for the study of scientific phenomena and engineering designs. CACR provides an environment that cultivates multidisciplinary collaborations. Currently work with Caltech groups in applied mathematics, astronomy, biology, engineering, geophysics, and experimental physics

8 Palomar Quest - Observatory The Palomar Observatory is located in north San Diego County, California. It is a world-class center of astronomical research that is owned and operated by the California Institute of Technology. The observatory is home to five telescopes that are nightly used for a wide variety of astronomical research programs. The research is conducted by Caltech's faculty, post-doctoral fellows and students, and by researchers at Caltech's collaborating institutions.

9 48-inch (1.2 m) Samuel Oschin Telescope The Samuel Oschin Telescope was used to generate the Second Palomar Observatory Survey POSS II and the Digital Palomar Observatory Sky Survey DPOSS. In 2000 and 2003 the Samuel Oschin Telescope was converted to using a large format CCD camera to replace photographic plates, and the control system was automated. Search for moving objects in the Solar System Search for variable stars and galaxies The new QUEST camera on the Samuel Oschin Telescope at Palomar has 161 million pixels, making it one of the largest and most capable digital cameras in the world. There are 112 individual CCDs, each 600 x 2400 pixels, arranged in a mosaic of 4 rows or "fingers" of 28 CCDs each (2400 x pixels).

10 The Palomar Quest Sky Survey palquest.org/

11 Objetivo Pesquisar como as Informações Astronômicas são armazenadas e utilizadas no âmbito do projeto Palomar-Quest Survey Pesquisar como os Sistemas e as Aplicações são desenvolvidas em termos de Engenharia e Arquitetura

12 Metodologia de Pesquisa Objetivo 1: Entender o Banco de dados para o PipeLine Construir um Banco de Dados para o 2DPHOT- BRAVO para o Gerenciador PostgreSQL Objetivo 2: Implantar uma Aplicação Cliente SOA para o OpenSkyQuery para o pipeline ; Implantar uma Aplicação exemplo para o projeto BRAVO.

13 Objetivo 1: A base de sistemas de informação Bancos de Dados Banco de Dados do Pipeline Sistema SDSS skyserver database and CASJOBS. Desenvolvido em Parceria com a Microsoft SQL Server Database Banco de Dados e Aplicativos não Prontos. Muito arquivos espalhados no projeto Banco de Dados BRAVO Desenvolvimento do 1 o Modelo Desenvolvimento do Script em PostgreSQL Table 1: SDSS data sizes (in 2006) in terabytes. About 7 TB online and 10 TB in archive (for reprocessing if needed). Product Raw Compressed Pipeline input 25 TB 10 TB Pipeline output (reduced images) 10 TB 4 TB Catalogs 1 TB 1 TB Binned sky and masks ½ TB ½ TB Atlas images 1TB 1TB

14 SDSS skyserver database

15 SQL Search Tools

16 O Modelo para o 2DPhot-BRAVO Baseado em Imagem Astronômica FITs e Informações Geradas pelo Sextractor e 2DPhot. Modelo com Aproximadament e 40 Entidades Modelo Final com 50 a 60 Entidades create table ASTRO_OBJECT ( ID BIGINT not null, NAME CHARACTER VARYING(200) not null, primary key (ID) ); create table BAND ( ID BIGINT not null, NAME CHARACTER VARYING(200) not null, DETECTOR_FK BIGINT, FILTER_FK BIGINT, primary key (ID) ); create table CLASSIFIERS ( ID BIGINT not null, NAME CHARACTER VARYING(200) not null, primary key (ID) ); create table COMPL_PS ( ID BIGINT not null, NAME CHARACTER VARYING(100) not null, PATH CHARACTER VARYING(1024) not null, PROCESSING_FK BIGINT not null, primary key (ID) ); create table DEFAULT_PARAM ( ID BIGINT not null, MINAREA INTEGER not null, DETECT_THRESH INTEGER not null, SATUR_LEVEL BIGINT not null, MAG_ZEROPOINT REAL not null, GAIN REAL not null, PIXEL_SCALE REAL not null, READOUT REAL not null, primary key (ID) );

17 O Modelo para o 2DPhot-BRAVO

18 Objetivo 2: Novas Arquiteturas Arquitetura Orientada a Serviço - SOA

19 Qualidade de um Bom Projeto Fatores de qualidade de McCall Manutenabilidade (Posso arrumar um erro?) Flexibilidade (Posso modificar?) Testabilidade (Posso testar?) Mudanças Carac. Operacionais Novos Ambientes Portabilidade (Operacional em outra plataforma?) Reusabilidade (Posso reutiliza-lo?) Interoperabilidade (Interfacea com outros sistemas?) Corretude (Ele faz o que eu quero?) Confiabilidade (Faz correto todo o momento?) Eficiência (Utiliza todos os recursos disponíveis?) Integridade (É seguro?) Usabilidade (É projetado para o usuário?)

20 Precursores da Qualidade: Coesão e Acoplamento Coesão A coesão de um componente é uma medida da proximidade das relações entre seus componentes Um componente função lógica l ou entidades simples Níveis de Coesão: Funcional cada parte necessária p/ execução de função (melhor( coesão); Seqüencial encial output serve como input Comunicação mesmo input e output Procedimento uma seqüência de controle Temporal Lógica Coincidental (pior coesão) OO coesão natural

21 Precursores da Qualidade: Coesão Acoplamento e Acoplamento Grau de interconexões entre os componentes É desejável que os sistemas sejam fracamente acoplados OO: favorece o acoplamento fraco pois não tem estado compartilhado

22 Arquiteturas

23 Projeto de Arquitetura: Conceitos Subsistema é um sistema cuja operação não depende dos serviços de outros subsistemas. Composto por módulosm Interfaces são utilizadas p/ comunicação entre subsistemas Módulo componente que fornece e utiliza um ou mais serviços p/ outros módulosm Modelo afeta: Desempenho Robustez Distribuição Manutenção

24 Desenvolvimento Monolítico Aplicações vistas como um bloco único Forte acoplamento entre as camadas lógicasl Somente uma camada física Baixa coesão Dificuldade de Manutenção Conseqüência: Dificuldade de modificação. Alterações podem introduzir erros em partes aparentemente não relacionadas Camada de Apresentação Lógica de Negócios Camada de Acesso à dados (Integração) Banco de Dados

25 Cliente Servidor: 2 Camadas Físicas Acrescenta certa quantidade de escalabilidade e flexibilidade; Diminuição do acoplamento duas camadas físicas: f banco de dados poderia ser totalmente substituído desde que as interfaces de acesso permanecessem as mesmas Problemas: Camadas de apresentação e negócios ainda fortemente acopladas; Dificuldade de manutenção e distribuição Forte dependência de plataforma, necessidade aumento de desempenho de hardware. Camada de Apresentação Lógica de Negócios Lógica de Acesso à dados Banco de Dados

26 Arquitetura 3 Camadas FísicasF Alto grau de modularização ão; Fraco acoplamento entre os módulos; Melhor atendimento aos requisitos não funcionais: escalabilidade,, conectividade, tolerância à falhas; Mais facilidade de manutenção; Mais facilidade para distribuição; Ponto fraco: Maior necessidade de conhecimento e profissionalismo da equipe técnica. Profissionais cada vez mais especializados em diversas tecnologias Camada de Apresentação Lógica de Negócios Lógica de Acesso à dados Banco de Dados

27 A plataforma Web Características: Baseada em HTTP (RFC 2068) Protocolo simples de transferência de arquivos Sem estado (não mantém m sessão aberta) Abre conexão para endereço:80 Requisição... GET / Index.html Uma resposta...apresenta Index.html Fecha Conexão

28 Tecnologias para o Servidor Características: Rodam do lado do servidor, portanto, não dependem de suporte por parte dos browsers Browsers fornecem apenas a interface do usuário Interceptam o curso normal da comunicação Recebem dados via requisições HTTP (GET e POST) Devolvem dados através s de respostas HTTP Categorias de Tecnologias CGI - Common Gateway Interface APIs: : ISAPI, NSAPI, Apache API, Servlet API,... Scripts: ASP, JSP, LiveWire (SSJS), Cold Fusion,, PHP,...

29 APIs Servlet Servlet API independente de plataforma e praticamente independente de fabricante Componentes são escritos em Java e se chamam servlets Como os componentes SAPI proprietários, rios, rodam dentro do servidor, mas através s de uma Máquina M Virtual Java Disponível como plug-in ou conector para servidores ue não o suportam diretamente Nativo em servidores Sun, IBM,... Servidor HTTP Interface ISAPI Componente ISAPI Oferecendo Interface Servlet API via conector JVM Servlet Aplicação Remota

30 Linguagens Scripts e JSP Java Server Page Coloca a linguagem de programação dentro do HTML ( e não o contrário) rio) Permite o controle da aparência e estrutura da página p em softwares de design ( DreamWeaver,, FrontPage) Página fica mais legível Quando houver muita programação, código c pode ser escondido em servlets, JavaBeans,, componentes ( por exemplo: componentes ActiveX,, no caso do ASP) Alguns dos mais populares: Microsoft Active Server Pages ( ASP), Sun JavaServer Pages ( JSP), Macromedia Cold Fusion,, PHP

31 Exemplo de Servlet e JSP equivalente import java.io.*; import javax.servlet.*; import javax.servlet.http.*; public class SimpleServlet extends HttpServlet { public void doget (HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { PrintWriter out; response.setcontenttype("text/html"); out = response.getwriter(); String user = request.getparameter("usuario"); if (user == null) user = "World"; out.println("<html><head><title>"); out.println("simple Servlet Output"); out.println("</title></head><body>"); out.println("<h1>simple Servlet Output</H1>"); out.println("<p>hello, " + user); out.println("</body></html>"); out.close(); } } SERVLET: Bom para Processamento <HTML><HEAD> <TITLE>Simple Servlet Output</TITLE> </HEAD><BODY> <% String user = request.getparameter("usuario"); if (user == null) user = "World"; %> <H1>Simple Servlet Output</H1> <P>Hello, <%= user %> </BODY></HTML> JSP: Bom para apresentação

32 Arquitetura: Cenários

33 Utilização de JSP na Aplicação: Arquitetura Elementar Browser JSP/ Servlet Código SQL no JSP try { Class.forName(jdbcDriver).newInstance(); conn = DriverManager.getConnection(dbURL,username, passwd); stmt = conn.createstatement(); rs = stmt.executequery( SELECT * FROM CLIENTES ); ResultSetMetaData rsmd = rs.getmetadata(); int numcols = rsmd.getcolumncount(); %>

34 Introduzindo classes JAVA: Desacoplamento das Camadas Apresentação Integração JSP/ Servlet DAO JSP usando DAO <% Clientes[] clientes = ClientesDAO.getInstance().loadAll();%> <table> <% for(int i=0; i <clientes.length; i++) { %> <tr> <td><%=clientes[i].getnome()%><td> <td><%=clientes[i].getrg()%></td> </tr> <%}%>

35 Introduzindo Componentes: Melhoria na Camada de Apresentação Apresentação Integração Controller DAO JSP/ Servlet

36 Introduzindo Componentes: Mais Desacoplamento e Ganhos em Escala Apresentação Negócios Integração Controller Command Business Delegate DAO Request Dispatcher Service locator JSP/ Servlet

37 Modelo de n Camadas n Tier

38 Sun Java Center SJC Core J2EE Design Patterns

39

40 SOA Service Oriented Architecture

41 Modelo Centralizado para Distribuído Modelo Centralizado Domínio/Identidade de Rede Único Repositório Único Controle Centralizado Ponto de Falha Único Serviço é igual e sempre o Mesmo Modelo Distribuído (Open Federated Model) Vários Domínios de Rede Sem Controle Centralizado Sem Ponto de Falha Único Serviço pode ser igual mas não necessariamente. Central Provider Provider Provider Provider Provider Provider Provider

42 SOA e Web-Services A A software system designed to support interoperable machine-to to-machine interaction over a network. It has an interface described in a machine-processable format. - W3C Palavras Chave: Interoperabilidade e Sistemas Distribuídos Not a new idea: RPC/RMI CORBA DCOM XML-RPC

43 Princípios de SOA Encapsulamento do Serviço Esconder detalhes detalhes de implementação e código Autonomia do Serviço O Serviço tem autonomia sobre a lógica que ele encapsula Acoplamento Fraco ou Baixo Minimizar dependências Contrato de Serviço Acordo com as funções que presta, descritos por documentos descritores Composição de Serviços Os serviços podem ser agregados formando coleções de serviços. Diretório de Serviços (Service discoverability) Serviços podem ser encontrados and agregados através de mecanismos de diretórios (listas ou páginas amarelas)

44 A Arquitetura SOA

45 A Arquitetura de um Sistema de Negócio usando SOA

46 O Projeto dos Observatórios rios Virtuais VO IVOA International VO Alliance

47 Exemplo do NVO (US) JHU/StSci Caltech Registry Publish OAI NCSA Registry Publish OAI 2 Registry OAI Query 4 Goddard DIS 1 3

48 DataScope

49

50

51 O OpenSkyQuery e SkyNodes SkyQuery é uma Aplicação Concentradora e que disponibiliza o acesso a Nós( N s(sky Nodes) ) de um Sistema Distribuído. SkyNode é uma interface dos Nós N s que respeita as regras (protocolos) de Federação do SkyQuery. No coração do SkyQuery existe um cruzamento spacial de catálogos, ou seja, é possível cruzar informações existentes nos nós. n Portanto o SkyQuery tem acesso a catálogos armazenados em localidades geográficas diferentes.

52 O OpenSkyQuery e SkyNodes

53 Fluxo de Dados query SkyQuery SkyNode 1 SkyNode 2 SkyNode 3

54 Serviços Oferecidos Web-Services The following operations are supported. For a formal definition, please review the Service Description. * GetTables Returns tables. * MakePlan Creates an ExecPlan.. This runs cost queries as well. (req. for correct plan ordering) * GetAllSkyNodesVOTable Lists names of all available node shortnames in a votable. * GetAllSkyNodes Lists names of all available node shortnames. * GetMetaTables Returns column info for one column. * GetMetaColumns Returns an array of column info. * GetColumns Returns an array of column names. * NodeContainsColumn * UploadTable Returns literal table name * SubmitQuery Runs a single node query. * GetTableInfo Returns column info for one column. * SubmitDistributedQuery Runs a distributed query query by making a plan and then executing it - you may call the two steps seperately if you wish to view the plan or track progress. * GetColumnInfo Returns column info for one column. * SubmitPlan Executes a plan and returns results. * SubmitDistributedQuerySigma Allows MyData Sigma

55 Um Exemplo: WebFindingClusters Interfaces JSPs Request Response loaddata.java Servlet + Classes e Classes AXIS PostgreSQL - Database

56 Conclusão Os Sistemas (Providers( Providers) ) devem ser desenvolvidos usando arquiteturas Sólidas S e robustas. Portais de Projetos (BRAVO, Clima Espacial, etc) podem ser construídos com objetivo de Federar Nós. Pesquisas em Engenharia de Software (Arquitetura) devem ser intensificadas no INPE e principalmente fortalecida pela pós-graduap graduação para atender a demanda dos projetos. Há muitos conceitos envolvidos quando se trabalha com SOA e muitos ainda poucos explorados (Pesquisa) como a Qualidade de Serviços.

57 Obrigado!