XML. Levantea mãose você. XML Nativo. XML Nativo. XML Nativo

Transcrição

1 Levantea mãose você Mirella M. Moro Nunca ouviu falar de XML Sabe escrever um documento XML Sabe consultas em XPath/XQuery Faz pesquisa com XML Conhece XML nativo Esta palestra é para todos vocês 2 XML A linguagem que apareceu para resolver todos os problemas do mundo É tipo assim XML Fever E. Wilde, R. J. Glushko Communications ACM, July 2008 XML A melhor linguagem para resolver alguns problemas de gerenciamento de dados Sim bem resolvido? mirella@dcc.ufmg.br 3 mirella@dcc.ufmg.br 4 XML está por toda a parte Web services (formato de feeds RSS) Integração (e-commerce) Padrões abertos para troca de arquivos mirella@dcc.ufmg.br 5 XML está por toda a parte Advertising: adxml place an ad onto an ad network or to a single vendor Banking: MBA Mortgage Bankers Association of America credit report, loan file, underwriting Directories: dirxml Novell s Directory Services Markup Language Literature: Gutenberg convert the world s great literature into XML Geospatial: ANZMETA distributed national directory for land information Healthcare: HL7 DTDs for prescriptions, policies & procedures, clinical trials Human Resources: XML-HR standardization of HR/electronic recruiting XML definitions International Dvt: IDML improve the mgt. and exchange of info. for sustainable development Math: MathML Mathematical Markup Language News: NewsML creation, transfer and delivery of news Surveys: DDI Data Documentation Initiative, codebooks in the social and behavioral sciences Travel: opentravel information for airlines, hotels, and car rental places Voice: VoxML markup language for voice applications Wireless: WAP Wireless Application Protocol, wireless devices on the World Wide Web Weather: OMF Weather Observation Markup Format Web Servers: apachexml parsers, XSL, web publishing mirella@dcc.ufmg.br 6

2 Na Web BD = tecnologia base para qualquer aplicação web Semi-estruturado Modelo relacional: relações e propriedades tabelas e colunas Semi-estruturado: relaxa as restrições adiciona aninhamento, repetição e recursão mirella@dcc.ufmg.br 7 mirella@dcc.ufmg.br 8 Aninhamento Repetição Recursão <continents> <LatinAmerica> <Brazil language= Portuguese population=> <FamousThings> <people> <TopModels> </TopModels> <SoccerPlayers> </SoccerPlayers> <artists> <painter> </painter> <painter> </painter> </artists> </people> <parties> <carnival> </carnival> </parties></famousthings></brazil></latinamerica> </continents> Aninhamento Repetição Recursão <continents> <LatinAmerica> <Brazil language= Portuguese population=> <FamousThings> <people> <TopModels> </TopModels> <SoccerPlayers></SoccerPlayers> <artists> <painter></painter> <painter></painter> </artists> </people> <parties> <carnival> </carnival> </parties> </FamousThings> </Brazil> </LatinAmerica> </continents> TopModels SoccerPlayers people painter continents LatinAmerica Brazil FamousThings artists painter parties carnival mirella@dcc.ufmg.br 9 mirella@dcc.ufmg.br 10 Muito se tem feito na pesquisa Mais ainda na indústria Muitas opções XML sobre tabelas relacionais XML como arquivos texto XML como estruturas de árvore FORMATO NATIVO Ao final desta palestra Conceitos básicos de XML Modelo de dados XML Armazenamento de dados XML Consulta a dados XML MAIS outros tópicos Web mirella@dcc.ufmg.br 11 mirella@dcc.ufmg.br 12

3 1.1. XML HTML usa tags para formatação (italic) 1. Conceitos Básicos 1. XML 2. O que? 3. Quando? Por quê? Onde? 4. Como? 5. Criar conjunto de tags para um domínio (ex. genoma), e traduzir dados para documentos apropriadamente marcados (tags) Linguagem usa tags para semântica Aplicável para qualquer semântica extensible Markup Language mirella@dcc.ufmg.br O que XML? Modelo de Dados Relacional Normalizado em tabelas (colunas, linhas) Estrutura definida Novo Modelo de Dados Baseado em árvores Representação de dados flexível, estrutura variável Compartilhamento de documentos entre sistemas e base de dados OqueXML? É uma metalinguagem não uma linguagem específica Define regras de como marcar o documento não define os nomes usados na marcação Document Type Definition (DTD) para restringir a marcação permitida em uma classe de documentos Todas as linguagens naturais, independente de conjunto de caracteres, orientação de escrita, mirella@dcc.ufmg.br 15 mirella@dcc.ufmg.br 16 O que XML? <bibliografia> Tipo de elemento <artigo ID="object-fusion"> <autores> <autor>y. Papakonstantinou</autor> <autor>s. Abiteboul</autor> <autor>h. Garcia-Molina</autor> </autores> <artigocompleto source="fusion"/> <título>object Fusion in Mediator Systems</título> <public>vldb 96</public> </artigo> </bibliografia> Conteúdo, caracteres Elemento Elemento Vazio Conteúdo Elemento XML vs. HTML <h1> Bibliografia </h1> <p> <i> Foundations of DB Systems</i>, Elmasri, Navathe <br> Addison-Wesley, 2006 <p> <i> Encyclopedia of DB Systems</i>, Ozsu, Liu, eds. <br> 2008 <bibliografia> <livro> <titulo> Foundations of DB Systems </titulo> <autor> Elmasri </autor> <autor> Navathe </autor> <editora> Addison-Wesley </editora>. </livro> <livro> <editor> Ozsu</editor> </livro> </bibliografia> HTML tags apresentação, estrutura genérica XML tags conteúdo, semântica, (DTD-) específica mirella@dcc.ufmg.br 17 mirella@dcc.ufmg.br 18

4 Quando? 1995 Evolução para novos tipos de negócios: baseados em conexão com pessoas do mundo inteiro e conexão de aplicações construídas por vários fornecedores (B2C, B2B) Necessidade de um formato de dados novo e comum (padrão) para ser usado na Internet Por quê? Flexível Padrão para descrever formato de dados Auto-descritivo, metadados no documento Legível e disponível em qualquer língua Possibilita o conteúdo (informação) de um documento ser separado dos detalhes de apresentação Onde? Microsoft Office 2003, Adobe PDF, Adobe Photoshop, Sun StarOffice, OpenOffice mirella@dcc.ufmg.br 19 Por que XML? Auto-descritivo horrível TERCEIRA LINHA DO PRIMEIRO ok VERSO?! muito melhor ÐÏ^Qà ±^Zá^@^@^@^@^@^@^@^@^@^@^@^@ \documentclass{article} <?xml version="1.0"?> ^@^@^@^@>^@^C^@þÿ^@^F^@^@^@^@^ \begin{document} \{Some Quotations from the <books> ÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿ Universal Library} ÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿ <book> ÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿ \section{famous Quotes} <> Some Quotations from the Universal ÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿÿì Á^@q^@^D^@^@^@^R \subsection{by William I} Library</> ^@^@^@^@^@^@^P^@^@^@^@^@^D^@^ \textbf{\cite[sonnet <section> <> Famous Quotes XVIII]{shakespeare-sonnets- <subsection> <> By William I </> ^@Some Quotations from the Universal Library^M1 1609}} <quote bibref="shakespeare-sonnets-1609"> Famous Quotes^M1.1 By William I^M[2, \begin{verse} Sonnet XVIII]^MShall I compare thee to a <> Sonnet XVIII</> Shall I compare thee to a summer's summer's day?^mthou art more lovely and day?\\ <verse> more temperate.^mrough winds do shake the Thou art more lovely and more <line>shall I compare thee to a summer's darling buds of May,^MAnd summer's lease temperate. \\ day? </line> hath all too short a date.^msometime too hot Rough winds do shake the darling <line>thou art more lovely and more the eye of heaven shines,^mand often is his buds of May, \\ gold complexion dimmed.^mand every fair temperate. </line> And summer's lease hath all too short from fair some declines,^mby chance or a date. \\ <line>rough winds do shake the darling nature's changing course untrimmed.^mbut thy Sometime too hot the eye of heaven buds of May, </line> eternal summer shall not fade,^mnor lose shines, \\ </verse> possession of that fair thou owest,^mnor shall And often is his gold complexion Death brag thou wander'st in his dimmed. \\ shade^mwhile in eternal lines to time thou </subsection> growest.^mso long as men can breathe, or <subsection> <>By William II</> \qquad So long as men can breathe, eyes can see,^mso long live this, and this or eyes can see,\\ <quote bibref="gates-road-ahead-1995"> gives life to thee.^m1.2 By William II^M[1, \qquad So long live this, and this p.265]^m\223the obvious mathematical gives life to thee. \\ </quote> breakthrough would be development of^man \end{verse} easy way to factor large prime </subsection> numbers."^mreferences^m[1] W. H. Gates. </section> \subsection{by William II} The Road Ahead. Viking Penguin, 1995.^M[2] </book> W. Shakespeare. The Sonnets of \bibliographystyle{abbrv} </books> Shakespeare.609.^M^@^@^@^@^@^@^@^ \bibliography{msg} \end{document} mirella@dcc.ufmg.br </universal_library> Como XML? CLOB/BLOB Armazenar XML como documento texto PROBLEMAS? Difícil de consultar e atualizar Não fornece integridade aos dados Como XML? XML/SQL Shredding Mapear e reduzir XML em tabelas SQL Consultas XML usando SQL ou SQL/XML PROBLEMAS? Cada SGBD SQL tem uma técnica diferente Consulta XML usando SQL, reconstrói dados XML Uma coluna texto em uma tabela Várias colunas texto em várias tabelas mirella@dcc.ufmg.br 21 mirella@dcc.ufmg.br XML NATIVO XML/SQL Shredding Mapear e reduzir XML em tabelas SQL Consulta XML usando SQL, reconstrói dados XML BLOB/CLOB Armazenar XML como documento texto Difícil de consultar e atualizar ArmazenaXML no modonativo, com ou sem esquema ConsultausandolinguagemXML (XQuery, XPath) Utiliza índices XML apropriados mirella@dcc.ufmg.br 23 Documento <Library> <book = 14 > <>Adventures of Huckleberry Finn</> <author><last>twain</last> <first>mark</first> </author> <>2002</> <otherinfo> <isbn> </isbn> <collection>penguin Classics</collection> <publisher>penguin Classics</publisher> </otherinfo> </book> <book = 5 > atributo elemento <>How the Grinch Stole Christmas!</> <author>dr. Seuss</author> <publisher> Random House</publisher> <>1957</> <isbn> </isbn> valor </book> <DVD = 2 rated= PG > <>The Grinch</> <director><last>howard</last> <first>ron</first></director> <actors><actor>jim Carrey</actor> <actor>taylor Momsen</actor> </actors> <studio>universal Studios</studio> <>2001</> </DVD> </Library> book author otherinfo last first isbn publisher collection Representação Árvore Library book author publisher isbn DVD rated studio director actors last first actor actor mirella@dcc.ufmg.br 24

5 , e não SQL Consulta Relacional em JAVA, SGBD relacional shredding public long queryaccumulation(stringxquery)throws SQLException, IfsException{ AttributeSearchSpecification asp=new AttributeSearchSpecification();StringclassNames[] =newstring[] {"SWAPSTREAM", "CALCULATIONPERIODAMOUNT", "CALCULATION", "FLOATINGRATECALCULATION", "NOTIONALSCHEDULE","NOTIONALSTEPSCHEDULE"}; StringaliasNames[] =newstring[] {"ss","cpa","c","frc","ns","nss"};boolean delbvrs[] = {false,false,false,false,false,false};boolean recbvrs[] = {false,false,false,false,false,false};searchclassspecification scp =new SearchClassSpecification(classNames,aliasNames,delBvrs,recBvrs);scp.addResultClass("sS");asp.setSearchClassSpecification(scp);JoinQualificati on jq1 =new JoinQualification();JoinQualificationjq2 =new JoinQualification();JoinQualificationjq3 =new JoinQualification();JoinQualificationjq4 =new JoinQualification();JoinQualificationjq5 =new JoinQualification(); jq1.setleftattribute("ss","calculationperiodamount"); jq1.setrightattribute("cpa",null); jq2.setleftattribute("cpa","calculation"); jq2.setrightattribute("c",null); jq3.setleftattribute("c","floatingratecalculation"); jq3.setrightattribute("frc",null); jq4.setleftattribute("c","notionalschedule"); jq4.setrightattribute("ns",null); jq5.setleftattribute("ns","notionalstepschedule"); jq5.setrightattribute("nss",null);attributequalificationaq1 =new AttributeQualification(); aq1.setattribute("frc","floatingrateindex"); aq1.setoperatortype("="); aq1.setvalue("usd-libor-bba");attributequalificationaq2 =new AttributeQualification(); aq2.setattribute("frc","daycountfraction"); aq2.setoperatortype("="); aq2.setvalue("act/360");attributequalificationaq3 =new AttributeQualification(); aq3.setattribute("nss","currency"); aq3.setoperatortype("="); aq3.setvalue("usd");searchclausesc1 =new SearchClause(); sc1.setleftsearchqualification(jq1); sc1.setrightsearchqualification(jq2); sc1.setoperatortype(searchclause.and);searchclausesc2 =new SearchClause(); sc2.setleftsearchqualification(sc1); sc2.setrightsearchqualification(jq3); sc2.setoperatortype(searchclause.and);searchclausesc3 =new SearchClause(); sc3.setleftsearchqualification(sc2); sc3.setrightsearchqualification(jq4); sc3.setoperatortype(searchclause.and);searchclausesc4=new SearchClause(); sc4.setleftsearchqualification(sc3); sc4.setrightsearchqualification(jq5); sc4.setoperatortype(searchclause.and);searchclausesc5 =new SearchClause(); sc5.setleftsearchqualification(aq1); sc5.setrightsearchqualification(aq2); sc5.setoperatortype(searchclause.and);searchclausesc6 =new SearchClause(); sc6.setleftsearchqualification(sc5); sc6.setrightsearchqualification(aq3); sc6.setoperatortype(searchclause.and);searchclausesc7=new SearchClause(); sc7.setleftsearchqualification(sc4); sc7.setrightsearchqualification(sc6); sc7.setoperatortype(searchclause.and);asp.setsearchqualification(sc7);viewspecification vs;vs=new ViewSpecification("VIEW_SWAPSTREAM",asp,true); vs.addclass(sess, "frc",newstring[] {"FLOATINGRATEINDEX","DAYCOUNTFRACTION"}); vs.addclass(sess, "nss",newstring[] {"CURRENCY","INITIALVALUE"});sess.createView(vs);long sum= 0; Stringsql= "SELECT SUM(INITIALVALUE) FROM VIEW_SWAPSTREAM";PreparedStatement pstmt=databasecon.preparestatement(sql);resultset rset=pstmt.executequery();rset.next();sum=rset.getlong(1);rset.close();pstmt.close();return sum;}, e não SQL Consulta XQuery, SGBD XML nativo sum(/fpml[trade/swap/swapstream/ calculationperiodamount/calculation [notionalschedule/notionalstepschedule/currency='usd and floatingratecalculation/floatingrateindex='usd-libor-bba' and daycountfraction='act/360']] /trade/swap/swapstream/calculationperiodamount/calculation/notio nalschedule/notionalstepschedule/initialvalue) mirella@dcc.ufmg.br 25 mirella@dcc.ufmg.br 26 SGBD TIMBER [Jagadish et al VLDB J. 2002] ROX [Halverson et al VLDB 2004] NeoCore XML Management System (Xpriori) Tamino XML Server (SoftwareAG) TX1 (Toshiba) exist (open source) SGBD Híbrido (relacional + engine nativo) DB2 goes hybrid, Beyer et al IBM Systems Journal, 45(2), 2006 Native Xquery processing in Oracle XMLDB, Liu et al. SIGMOD 2005 Conceitos Básicos XML: linguagem usa tags para qualquer semântica Por quê? Flexível, padrão, auto-descritivo, metadados no documento, legível e disponível em qualquer língua Onde? MS Office, Adobe, Open Office Como? BLOB/CLOB, Shredding mirella@dcc.ufmg.br 27 mirella@dcc.ufmg.br Revisão Modelo de Banco de Dados 1. Revisão 2. Regras Básicas 3. Fundamentos 2. Modelo de Dados Definição Representação matemática dos dados Exemplos Modelo relacional: tabelas Modelo semiestruturado: árvores, grafos Operações nos dados Restrições sobre os dados mirella@dcc.ufmg.br 30

6 Modelo Semiestruturado 2.2. Regras Básicas nome Joe s bar servidoem end Maple ceva nome Bud manuf A.B. raiz ceva manuf Objeto bar p/ o bar do Joe nome M lob ano 1995 premiação Gold Tipo de dados diferentes premio Objeto cerveja (ceva) para a Budweiser Informação é representada em unidades chamadas Documentos XML Um documento contém um ou mais elementos Um elemento: tem um nome é definido no doc. com marcação explícita pode conter outros elementos pode ser associado com atributos mirella@dcc.ufmg.br 31 mirella@dcc.ufmg.br Fundamentos Elemento Texto delimitado: tag de início, tag de fim Elementos podem ser aninhados Tags não são pré-definidas <bd> <leilao> <data> </data> <lote> <no>534</no> <valor>200000</valor> <obra>abapuru</obra> </lote> </leilao> </bd> Fundamentos Atributos do elemento <bd> <leilao leiloeiro="ec" local="cp"> <data> </data> <lote> <no>534</no> <valor moeda="reais">200000</valor> <obra>abapuru</obra> </lote> </leilao> </bd> ATRIBUTOS mirella@dcc.ufmg.br 33 mirella@dcc.ufmg.br 34 Fundamentos Declaração: <?xml version= 1.0?> Componentes de dados lógicos Vocabulário de marcação: elementos, atributos <produto categoria = telefone móvel"> <mfg>nokia</mfg><modelo>8890</modelo> </product> Espaços em branco Dados (caracteres) parseados e não parseados Referências a entidades: &diagrama; Comentários: <!-- interessante --> Instruções de processamento <?xml-stylesheet href="catalog-style.css" type="text/css"?> Fundamentos Declarações de marcação (DTD) Declarações internas e externas Tipo do elemento raiz Tipos de elementos: EMPTY, children, mixed, ANY <!ELEMENT categoria (mfg, modelo, descrição, relógio?)> <!ELEMENT descrição (#PCDATA feature)*> <!ELEMENT relógio EMPTY> Tipos de atributos: CDATA, ID, IDREF(-S), ENTITY(-TIES), NMTOKEN(-S) <!ATTLIST relógio setting CDATA #IMPLIED alarme (yes, no, dual) "yes" > Notações Entidades mirella@dcc.ufmg.br 35 mirella@dcc.ufmg.br 36

7 Fundamentos Conformidade Bem formado (Well-formed) Tags sintaticamente corretas Tags combinadas (matching tags) Elementos aninhados Todas entidades declaradas antes de serem usadas Válido Bem formado DTD + documento obedece DTD IDs únicos sem IDREFs perdidas Modelo de Dados XML: conceitos básicos O que, quando, porque, onde, como Modelos de Banco de Dados [próximo slide] Fundamentos do Modelo mirella@dcc.ufmg.br 37 mirella@dcc.ufmg.br 38 Documento <Library> <book = 14 > <>Adventures of Huckleberry Finn</> <author><last>twain</last> <first>mark</first> </author> <>2002</> <otherinfo> <isbn> </isbn> <collection>penguin Classics</collection> <publisher>penguin Classics</publisher> </otherinfo> </book> <book = 5 > atributo elemento <>How the Grinch Stole Christmas!</> <author>dr. Seuss</author> <publisher> Random House</publisher> <>1957</> <isbn> </isbn> valor </book> <DVD = 2 rated= PG > <>The Grinch</> <director><last>howard</last> <first>ron</first></director> <actors><actor>jim Carrey</actor> <actor>taylor Momsen</actor> </actors> <studio>universal Studios</studio> <>2001</> </DVD> </Library> book author otherinfo last first isbn publisher collection Representação Árvore Library book author publisher isbn DVD rated studio director actors last first actor actor mirella@dcc.ufmg.br Modelagem de Dados XML 1. Exemplo: livrarias online 2. Uma metodologia 3. Padrões de modelagem 3.1. Exemplo: Livrarias online mirella@dcc.ufmg.br 41 mirella@dcc.ufmg.br 42

8 <!-- Amazon --> book FreeSuperSaving SurpriseMe author* type list_price our_price you_save perc buy_used <! BookPool --> book fig author* type publisher date_published month id usually_ships_in instock list_price our_used you_save <! Barnes & Nobel--> book fig author* type date_published usually_ships_in instock isbn type sales_rank our_price you_save ± Mesma info Vocabulário? Elementos? Atributos? Uma Metodologia p/ Modelagem Fase Modelo Relacional Modelo XML Conceitual: semântica Entidades, atributos, tipo, relacionamentos, restrições. Diagrama ER. Nomes (taxonomia, vocabulário), relacionamentos. Lógica: Tabelas, colunas, Elementos, atributos, valores, estrutura relacionamentos, visões. Formas normais, modelo relacional, DDL. relacionamentos (aninhamento). DTD, XML Schema. Física Implementação e otimização: armazenamento e partições, índices, caminhos de acesso. DDL. Escrever esquema, instâncias, otimizações: armazenamento e partições, índices, unidades reusáveis Padrões de Modelagem E-Catalog Endereço Endereço permanente Endereço de cobrança Endereço de envio [MORO, LIM, SIGMOD 2007] mirella@dcc.ufmg.br 45 mirella@dcc.ufmg.br 46 RUSSIAN DOLLS Sem reusabilidade Mudanças locais VENETIAN BLINDS SALAMI SLICES Reusabilidade Mudanças globais GARDEN OF EDEN <purchaseorder number="10293"> <permaddress></permaddress> <billtoaddress></billtoaddress> <sendtoaddress></sendtoaddress> </purchaseorder> <purchaseorder number="10293"> <address type= permaddress ></address> <address type= billtoaddress ></address> <address type= sendtoaddress ></address> </purchaseorder> <purchaseorder number="10293"> <permaddress> <address></address> </permaddress> <billtoaddress> <address></address> </billtoaddress> <sendtoaddress> <address></address> </sendtoaddress> </purchaseorder> <purchaseorder number="10293"> <address> <permaddress></permaddress> <billtoaddress></billtoaddress> <sendtoaddress></sendtoaddress> </address> </purchaseorder> mirella@dcc.ufmg.br 47 Critérios para escolher Flexibilidade Vocabulário, namespaces Reuso: Quais estruturas precisam ser reutilizadas? Todas? Por várias aplicações diferentes? Especialização: Quais estruturas alguém pode querer modificar? Qual o impacto para estas modificações? mirella@dcc.ufmg.br 48

9 Modelagem de Dados XML Exemplo: livrarias online Cada qual com sua informação Diferentes maneiras de representar, nomear Uma metodologia Dados relacionais x dados XML Padrões de modelagem Russian dolls, salami slices, venetian blinds, garden of Eden mirella@dcc.ufmg.br 49