XVERSIONING - UMA FERRAMENTA PARA VERSIONAMENTO DE ESQUEMAS XML

Transcrição

1 RENAN BET RODRIGUES XVERSIONING - UMA FERRAMENTA PARA VERSIONAMENTO DE ESQUEMAS XML JOINVILLE SC 2011

2 ii UNIVERSIDADE DO ESTADO DE SANTA CATARINA CENTRO DE CIÊNCIAS TECNOLÓGICAS DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO RENAN BET RODRIGUES XVERSIONING - UMA FERRAMENTA PARA VERSIONAMENTO DE ESQUEMAS XML Trabalho de conclusão de curso submetido à Universidade do Estado de Santa Catarina como requisito para obtenção do título de Bacharel em Ciência da Computação. Orientador: Dr. Cristiano Damiani Vasconcellos Co-orientador: Dr. Denio Duarte (UFFS) JOINVILLE SC 2011

3 iii RENAN BET RODRIGUES XVERSIONING - UMA FERRAMENTA PARA VERSIONAMENTO DE ESQUEMAS XML Este Trabalho de Conclusão de Curso foi julgado adequado para a obtenção do título de Bacharel em Ciência da Computação e aprovado em sua forma final pelo Curso de Ciência da Computação Integral do CCT/UDESC. Banca Examinadora: Orientador: Dr. Cristiano Damiani Vasconcellos Co-orientador: Dr. Denio Duarte (UFFS) Membro: Dr. Marco Aurélio Wehrmeister Membro: Dr. Carla Diacui Medeiros Berkenbrock Joinville SC 2011

4 iv RESUMO A XML é a linguagem mais utilizada para garantir a troca de dados entre as aplicações computacionais com grande flexibilidade e independência de plataforma. A boa formação dos documentos XML é a única restrição para a construção dos documentos, porém algumas aplicações podem necessitar conhecer a estrutura dos documentos a priori. A definição da estrutura de um documento XML fica a cargo dos esquemas, que estabelecem regras para a construção dos documentos. Todavia é necessário que os esquemas evoluam devido a alguma necessidade da aplicação, e por esta evolução documentos que anteriormente respeitavam as restrições impostas pelo esquema podem perder a validade perante as regras. A adequação dos documentos ao novo esquema pode acarretar em perda de dados. Para verificar se documentos não respeitam mais o novo esquema seria necessário reavaliar esses documentos, porém este é um processo computacionalmente caro, que aumenta de acordo com o número e tamanho dos documentos. Este trabalho tem como objetivo propor uma abordagem para versionamento de esquemas, e validação das instâncias, para que documentos XML anteriormente válidos não percam sua validade perante o esquema atualizado. PALAVRAS-CHAVE: XML, Esquemas XML, Evolução de Esquemas, Versionamento de Esquemas.

5 v ABSTRACT The XML is most often used language to perform data exchange between computer applications with great flexibility and platform independence. The only restriction for document construction is to have a well formed XML document, but some applications need to know the document structure "a priori". The XML document structure definition is responsibility of the schemes, which establish rules for the documents construction. However, it is necessary that the schemes evolve because of some need of the application and documents for this development that previously complied with the restrictions imposed by the scheme may expire before the rules. The adequacy of the documents for the new scheme may result in data loss. To verify that documents no longer honor the new scheme would need to review these documents, but this process is a computationally "expensive", which increases with the number and size of documents. This paper aims to propose an approach for versioning of schemas, and validation of instances, so that valid XML documents previously not lose its validity before the schema updated. KEYWORDS: XML, XML Schema, Schema Evolution, Schema Versioning.

6 vi LISTA DE FIGURAS Figura 1: Documento XML... 7 Figura 2: Representação em árvore de um documento XML... 8 Figura 3: Documento DTD Figura 4: Documento XSD Figura 5: Expressão XQuery Figura 6: Documento XML alterado Figura 7: Documento XUpdate Figura 8: Representação de versões (GALANTE, 2003) Figura 9: Exemplo de versões da árvore RBVM (CHIEN, 2002) Figura 10: Arquitetura Xyleme Figura 11: Versionamento com identificadores persistentes Figura 12: Módulo de validação do TXSchema (DYESON, 2007) Figura 13: Casos de uso Figura 14: Arquitetura Figura 15: Diagrama de Classes Figura 16: Documento XSD Figura 17: versao.xml Figura 18: versao.xml Figura 19: Diagrama de atividades do versionamento snapshot-delta Figura 20: Diagrama de atividades do versionamento snapshot-collection Figura 21: Diagrama de atividades da validação do snapshot-delta Figura 22: Diagrama de atividades da validação snapshot-collection Figura 23: Interface da ferramenta Figura 24: Tela de cadastro de XML Schema Figura 25: Tela de versionamento do Esquema XML... 45

7 vii Figura 26: Tela de validação de documentos XML Figura 27: publicacoes.xsd Figura 28: publicacoes.xml Figura 29: Tela principal da ferramenta com publicacoes.xsd cadastrado Figura 30: Documento XUpdate de inserção do elemento nivelprodutividadecnpq Figura 31: Documento XUpdate de inserção do elemento patente Figura 32: Tela com versões do documento publicações.xsd Figura 33: Documento XML publicações com a adição do elemento nivelprodutividadecnpq Figura 34: XML publicações com a adição do elemento patente Figura 35: Alerta de documento válido... 55

8 viii LISTA DE TABELAS Tabela 1: Comparativo entre as abordagens

9 ix LISTA DE ABREVIATURAS API Application Programming Interface DOM Document Object Model DTD Document Type Definition HTML HyperText Markup Language JSP Java Server Pages SAX Simple API for XML SGBD Sistema Gerenciador de Banco de Dados XML extensible Markup Language XSD XML Schema Definition W3C World Wide Web Consortium

10 x SUMÁRIO 1. Introdução Objetivos Estrutura do Trabalho Dados semi-estruturados XML API XML SAX (Simple API for XML) DOM (Document Object Model) Esquemas XML DTD XML Schema Associação de documentos XML a esquemas Evolução de esquemas Evolução de esquemas em banco de dados semi-estruturados Xquery XUpdate Versionamento Considerações parciais Trabalhos Relacionados Snapshot-collection e Snapshot-delta Usefulness-Based Change Control Reference-Based Version Model Xyleme Identificadores Persistentes TXSchema Considerações Parciais XVersioning Arquitetura Estrutura do banco de dados exist Método de cadastro de Esquemas XML... 36

11 xi 4.4. Método de versionamento de Esquemas XML Método de validação de documentos XML Projeto de Interface Gráfica Tela cadastrar Esquema XML Tela Versionar Esquema XML Tela Validar Documento XML Considerações Parciais Estudo de caso Conclusões Referências... 57

12 2 1. Introdução A tecnologia XML (extensible Markup Language) foi padronizada em 1996 pela World Wide Web Consortium (W3C). A principal característica desta linguagem é a sua independência de plataforma, por ser aplicada a uma grande variedade de aplicações heterogêneas, e flexibilidade possibilitando ao usuário definir seus próprios elementos e linguagens de marcação. Um documento XML descreve os dados e o que eles significam (ALMEIDA, 2002). A linguagem XML é o principal mecanismo para representação de dados semi-estruturados. Os dados semi-estruturados são caracterizados por não possuírem tipos associados à sua estrutura, são auto descritivos e irregulares. Outra utilidade desta linguagem, devido a sua independência de plataforma, é a troca de dados entre aplicações. Para tornar isto possível é necessário que o documento XML esteja bem formado 1. Porém, aplicações podem necessitar conhecer a estrutura dos documentos a priori, a fim de aperfeiçoar consultas ou então integrar documentos de várias fontes. Para tornar isto possível é necessário que existam padrões estabelecidos entre as aplicações, ou seja, definir a estrutura dos documentos XML a serem trocados (W3C, 2008). O padrão da estrutura de documentos XML é estabelecidos por esquemas. Ao associar um esquema a um documento XML, este se torna uma instância do esquema. Um documento XML que respeita as regras impostas pelo esquema é um documento válido a seu esquema. Portanto a validade de um documento XML está totalmente ligada ao padrão previamente especificado e associado (BRAGANHOLO, 2001). Conforme Galante (2003), a padronização de documentos XML é necessária devido às variações de estruturas dos documentos para uma mesma aplicação, ou seja, vários documentos diferentes com a mesma informação. Ao estabelecer este padrão algumas vantagens podem ser citadas como: A estrutura dos documentos são definidas a priori ; 1 A propriedade de boa formação (well formedness) é parte da estrutura lógica do documento XML. Cada documento contém apenas uma raiz, que abre e fecha o documento. Outros elementos dentro das marcas de abertura e fechamento da raiz são opcionais (TITTEL, 2002).

13 3 Auxílio na consulta sobre os documentos associados; Otimização na consultas dos dados; Permite a padronização de um documento XML. Segundo Bex (2004), existem inúmeras formas de padronizar os documentos XML, podendo ser por uma aplicação ou então alguma linguagem. Duas das principais linguagens para este fim são: Document Type Definition (DTD); XML Schema Definition (XSD). No início, quando a tecnologia XML surgiu, quem exercia o papel de padronizador dos documentos XML eram as DTDs. Esta já era utilizada para definir regras aos documentos de outra tecnologia, a Standard Generalized Markup Language (SGML), antecessora ao XML, e passou a ser utilizada também para documentos XML (BEX, 2004). DTDs são capazes de estabelecer as regras a serem seguidas por um documento XML, porém apresenta algumas limitações como: O único tipo de dado suportado por essa tecnologia é o texto; Não é escrito na linguagem XML. Assim, por estas limitações e por não ser uma recomendação W3C, o DTD caiu em desuso, abrindo espaço para outras tecnologias como o XML Schema. O padrão XML Schema teve sua recomendação lançada em 2001 pelo consórcio W3C, este responsável por vários padrões Web. Esta tecnologia supre todas as limitações da DTD, além de fornecer recursos, tais como (W3C, 2004): Construir tipos próprios; Realizar relacionamentos entre elementos; É escrito na linguagem XML. Esquemas não são entidades estáticas pois necessitam evoluir conforme a necessidade do usuário. Ao se atualizar um esquema, documentos XML que estão associados e válidos a este esquema podem perder sua validade devido às alterações realizadas. Segundo Silveira (2003) a alteração dos documentos para a nova estrutura seria uma solução. Contudo, para esquemas com instâncias que apresentam alto grau de distribuição, tal abordagem não pode ser adotada, pois normalmente a totalidade do conjunto de instâncias não é conhecido com antecedência, ou alguns documentos podem não ser acessados no momento da

14 4 propagação das alterações. Logo, determinados documentos XML podem se tornar inválidos. Para contornar este problema, este trabalho propõe uma ferramenta de versionamento de esquemas e validação de documentos XML. Onde ao ocorrer a evolução do esquema, cria-se uma nova versão do esquema, garantindo que documentos XML válidos em relação ao esquema em determinado momento do tempo, possam ser acessados pelas aplicações através do esquema associado (COOX, 2003). Segundo Galante (2003) a evolução e versionamento de esquemas são duas técnicas para realizar modificações na estrutura dos esquemas, mantendo a consistência entre o esquema e os documentos associados. Enquanto a evolução mantém apenas a versão corrente do esquema e seus respectivos documentos associados, o versionamento preserva todas as versões anteriores à evolução, e também seus documentos associados, em cada evolução, garantindo a funcionalidade das instâncias armazenadas frente às alterações, evitando a perda de informações dos documentos e garantindo a compatibilidade das aplicações Objetivos Objetivo Geral: Propor uma abordagem para versionamento de esquemas XML e validação de documentos XML, para que documentos XML não percam sua validade perante o esquema associado, após ocorrer uma evolução. Será implementada uma aplicação para validar essa abordagem. Objetivos Específicos: Catalogar as abordagens para versionamento de documentos; Identificar abordagens comuns entre as abordagens catalogadas; Definir um estudo de caso para a aplicação do trabalho proposto; Especificar e implementar a aplicação para versionamento de esquemas XML e validação de documentos XML associados a um conjunto de versões do esquema XML Estrutura do Trabalho Este trabalho está disposto em quatro capítulos, da maneira que segue:

15 5 O próximo capítulo apresenta alguns conceitos necessários para o entendimento deste trabalho. Serão detalhados os conceitos básicos para fundamentação teórica deste trabalho. No Capítulo 3 são relatados estudos realizados na área de versionamento de documentos. Estes contendo métodos fundamentais para a realização deste trabalho. O Capítulo 4 detalha o projeto de implementação para o versionamento de esquemas XML. Primeiramente serão apresentados definições básicas para executar o versionamento de esquemas XML. Assim ao definir os componentes chave para a sua realização, e apresentado diagramas de fluxo para a sua execução.

16 6 2. Dados semi-estruturados Os dados semi-estruturados são caracterizados por não possuírem tipos associados a sua estrutura. Estes propõem uma estrutura heterogênea, não sendo completamente não-estruturados ou tipados. Tipos são esquemas a serem respeitados pelos documentos XML durante seu tempo de vida. Além disso, são auto descritivos e irregulares, a estrutura e o conteúdo são descritos no mesmo escopo sem distinção entre suas estruturas e os dados propriamente ditos (ABITEBOUL, 2000) XML Recomendado pela W3C (World Wide Web Consortium) em 1998, o XML (extensive Markup Language) é uma linguagem de marcação para representar dados semi-estruturados. De forma explícita ou implícita o esquema de representação está presente juntamente com o dado, propondo uma representação única (W3C, 2010). Um documento XML descreve os dados e o que eles significam. A principal característica desta linguagem é a sua independência de plataforma, por ser aplicada a uma grande variedade de aplicações, garantindo a interoperabilidade de aplicações heterogêneas. É também flexível, possibilitando ao usuário definir seus próprios elementos e linguagens de marcação (ALMEIDA, 2008). Um documento XML é composto por elementos, chamados de tag. Estas tags são aninhadas uma na outra, modelando e rotulando o conteúdo do documento. No nível mais alto do documento, está presente uma única tag, denominada raiz, outros elementos são opcionais e devem ser declarados após a abertura e antes do fechamento da raiz. Quando um documento satisfaz às regras mínimas da XML, ou seja, respeitar o aninhamento das tags, diz-se que ele é bem formado. A Figura 1 mostra um exemplo de documento bem formado em XML (ERIK, 2003).

17 7 Figura 1: Documento XML. O documento da Figura 1, por exemplo, possui as tags universidade, aluno, nome, matricula, endereco, cidade, estado e pais. Além dos elementos internos também chamados de subelementos, a tag aluno possui um atributo sexo. Este documento é bem formado pois todas as tags são abertas e fechadas respeitando o aninhamento da XML. A tag universidade é a raiz do documento, pois é o primeira a ser aberta e a última a ser fechada. O mesmo é válido para as outras tags internas, respeitando o aninhamento. A linguagem XML propõe um modelo hierárquico onde os dados podem ser representados sob a forma de uma árvore com nós etiquetados. A Figura 2 representa o documento XML da Figura 1 no formato de árvore.

18 8 Figura 2: Representação em árvore de um documento XML. Na árvore representada pela Figura 2, pode-se perceber que o nó raiz é o elemento universidade, pois este é o elemento mais externo do documento. O elemento aluno aparece como um subelemento de universidade (duas vezes), assim estes são filhos do nó universidade. Por fim os elementos nome, matricula e endereco são descritos na árvore como sendo filhos de um dos elementos aluno, pois seguem a regra de aninhamento, ou seja, são abertos após o elemento aluno e fechados antes do elemento aluno ser fechado. O nó sexo é representado na árvore como filho do elemento aluno. Porém este é um atributo do elemento aluno e não um filho propriamente dito. Atributos podem ou não ser representados na árvore e, quando são, aparecem normalmente como os filhos mais a esquerda, cujo nome é precedido pelo Para a manipulação de documentos XML é necessário um analisador (parser) que suporte todas as funcionalidades necessárias para percorrer as estruturas destes documentos, permitindo o acesso aos elementos e seus atributos. Exemplo de processador XML são os browsers da Web. Os processadores XML são programas de software usados para analisar documentos XML e fornecem acesso ao conteúdo e à estrutura do documento. Com estes é possível também validar a estrutura de documentos XML. Com a popularização da linguagem XML e seus dialetos uma série de produtos surgiu para facilitar o uso desta nova tecnologia. Entre eles destacam-se, editores e gerenciadores de recursos. Todos estes compartilhavam características,

19 9 tais como: lidar com documentos, analisar e tratar da marcação XML. Também surgiram interfaces de programação de aplicações, ou API (Application Programming Interface), para o processamento da XML API XML Uma API é um conjunto de rotinas e padrões estabelecidos por um software, utilizado para acesso das suas funcionalidades por aplicações, evitando que a aplicação envolva-se em detalhes da implementação do software, assim, utilizando apenas seus serviços. Uma API XML é utilizada para facilitar a leitura, criação e atualização de documentos no formato XML. Além disso é encarregada da análise e o redirecionamento de dados para manipuladores de evento, enquanto as aplicações tratam somente os eventos2 (ERIK, 2003). O manipulador de eventos é um mecanismo de tratamento de ocorrência de um evento. Algumas tarefas exigem que a estrutura dos documentos permaneça em memória, possibilitando operações não seqüenciais. Para esse tipo de processamento é necessário a representação em árvore do documento na memória (ERIK, 2003). SAX (Simple API for XML) e DOM (Document Object Model) são dois exemplos de APIs XML. O desenvolvimento do padrão para a interface SAX foi liderado por David Megginson (HAROLD, 2002) e o padrão para a interface DOM foi publicado pelo World Wide Web Consortium (W3C, 2005). SAX é baseada em eventos, enquanto DOM é baseada em árvores, com métodos para permitir a criação e modificação de objetos. 2 Evento é uma mudança de comportamento em um fluxo de dados. O processador XML recebe um conjunto de dados e no momento que for encontrado alguma instrução de processamento o processador realiza, por exemplo, abertura ou fechamento de tag. Essas instruções são tratadas pelo processador em particular. (ERIK, 2003).

20 SAX (Simple API for XML) A SAX considera um documento XML como sendo uma cadeia de caracteres. É baseada em um mecanismo serial e orientado a eventos, que faz o acesso de elemento a elemento do documento XML a ser processado. A API SAX, gera eventos à medida que encontra elementos, atributos ou textos no documento. Existem eventos gerados quando o parser encontra o início do elemento, término do elemento, atributos, conteúdo de textos, entidades e outros (SANTOS, 2003). A interface SAX pode ser utilizada por aplicações que têm a necessidade de processar os documentos XML de modo seqüencial. Tende a processar um documento de forma rápida e baixo uso de memória para processamento. Esta interface é indicada para aplicações que processam muitos documentos simultaneamente ou aplicações que não suportam a representação em memória de todo o documento XML (ERIK, 2003) DOM (Document Object Model) DOM é uma interface de programação, baseada no modelo de objetos, que permite a manipulação e transformação de documentos em XML. A interface DOM manipula documentos XML na forma de uma estrutura em árvore. Quando um documento é carregado na memória do computador, suas estruturas podem ser lidas e manipuladas através do objeto DOM (ERIK, 2003). A interface DOM faz a representação do documento XML na forma de uma árvore de objetos, onde cada nó da árvore representa um componente do documento. Após o processamento completo do documento XML, a memória deverá conter a árvore de objetos DOM, a qual disponibiliza para as aplicações qualquer informação relacionada à estrutura e ao conteúdo do documento (SANTOS, 2003). O modelo implementado pela interface DOM é a forma mais flexível para manipulação do conteúdo de um documento XML. É possível navegar pelo documento em ordem aleatória. A utilização do objeto DOM requer a leitura de toda estrutura XML em uma árvore armazenada em memória, podendo levar a um alto consumo desse recurso do computador (ERIK, 2003). Segundo Santos (2003), o modelo DOM define classes de objetos para representar cada fragmento de um documento XML. Existem objetos para

21 11 representação de elementos, atributos, entidades, texto, entre outros. O objeto básico do DOM é o nó e, a maioria dos objetos DOM herda as características da sua classe dele. A raiz da árvore DOM é representada pelo nó Document, a qual possibilita o acesso à árvore completa do documento XML Esquemas XML Devido à independência de plataforma da XML, aplicações baseadas na tecnologia XML podem trocar dados com outras diferentes aplicações. Para tal é necessário que o documento XML esteja bem formado, porém aplicações podem necessitar conhecer a estrutura dos dados trocados a priori, a fim de otimizar consultas ou então integrar documentos de várias fontes. Para tornar isto possível é necessário que existam padrões estabelecidos entre as aplicações, ou seja, definir a estrutura dos documentos XML a serem trocados. A estrutura dos documentos XML são definidas por esquemas. Todavia existem inúmeras formas de padronizar os documentos XML, podendo ser por uma aplicação ou então alguma linguagem. Como citado anteriormente duas das principais linguagens que definem esquemas XML são: DTD e XML Schema (XSD) DTD A DTD (Document Type Definition) define as regras de quais elementos que um documento XML associado pode conter e seus conteúdos. Esta definição é feita por uma lista de elementos e atributos. Uma declaração de um DTD pode ser feita por um subconjunto interno ou externo de um documento XML. As declarações como um subconjunto interno são declaradas no documento, enquanto as declarações externas estão localizados em um documento separado declarados através de um identificador no documento XML. A Figura 3 ilustra um exemplo de documento DTD.

22 12 Figura 3: Documento DTD. No documento da Figura 3 são exemplificado alguns componentes de um DTD:!ELEMENT: Define um elemento do documento. Na linha 2 é declarado o elemento aluno que contém nome, matricula e endereco como elementos filho. Na linha 4 é declarado o elemento nome e contém uma string como conteúdo.!attlist: Define um atributo de um elemento. Na linha 3 é declarado o atributo sexo ao elemento aluno que contém um caractere como conteúdo, é obrigatório e seu padrão é M. A declaração interna ou externa de um DTD no documento XML é feita pela tag!doctype. Nessa tag é definido o elemento raiz do documento e o DTD associado. A DTD era utilizada como forma padrão de validação de documentos, porém em 2001 foi proposta pela W3C a linguagem XML Schema que por sua vem substituindo a DTD por possuir maneira de definir esquemas mais complexos e é baseada na linguagem XML XML Schema O W3C lançou no ano 2001 a recomendação para a linguagem de esquemas XML, o XML Schema. Escrito na linguagem XML, é utilizado para definir regras de validação para documentos XML. Um documento XSD (XML Schema Definition) é um documento XML utilizado para descrever a estrutura de um documento XML. Este documento é formado por: namespace, elemento, atributo e tipo de dados. A Figura 4 mostra um esquema XML escrito na linguagem XML Schema.

23 13 Figura 4: Documento XSD. No documento da Figura 4 são exemplificado alguns dos componentes de um documento XSD: Elemento: nas linhas 3, 6, 9, 10, 11, 14, 15 e16 são exemplos de declaração de elementos, esta regra define os elementos que um documento XML deve possuir, considerando o aninhamento das tags; Atributo: na linha 21 há a declaração de um atributo. Esta declaração define um atributo do elemento aluno declarado na linha 6, pois a declaração está dentro da declaração do elemento aluno; Tipo de dados: nas linhas 9, 10, 14, 15,16 e 21 o atributo type da tag define o tipo de dado do conteúdo do elemento ou atributo deve possuir, neste caso a linha 10 há a declaração do tipo decimal, as demais linhas são do tipo string. Em XSD há também a possibilidade da declaração de tipo de dados complexos, linhas 4, 7 e 12, onde o conteúdo são elementos e/ou atributos.

24 14 Namespace: na linha 2 o atributo xmlns contém a declaração de um namespace. Um namespace é uma coleção de dados e tem seu nome associado a um nome único. Com este componente um elemento e/ou atributo contém a característica única do nome associado. Em documentos XSD é obrigatório o uso da tag schema como elemento raiz dos documentos podendo conter um prefixo xsd ou xs, caso tenha-se utilizado o atributo xmlns e definido tais prefixos. As demais tags presentes no documento serão filhos da tag schema, respeitando o aninhamento da XML Associação de documentos XML a esquemas Como visto, o padrão da estrutura de documentos XML é estabelecido por esquemas. Ao associar um esquema a um documento XML, este se torna uma instância do esquema, afirma-se então que, se além de bem formado, o documento XML é válido e está de acordo com as regras impostas pelo esquema associado. Portanto, a validade de um documento XML está totalmente ligada ao padrão previamente especificado e associado (BRAGANHOLO, 2001). A padronização de documentos XML é necessária devido às variações de estruturas dos documentos para uma mesma aplicação, ou seja, vários documentos diferentes com a mesma informação. Ao estabelecer este padrão algumas vantagens podem ser citadas como (GALANTE, 2003): A estrutura dos documentos são definidas a priori ; Auxílio na consulta sobre os documentos associados; Otimização na consultas dos dados; Permite a padronização de um documento XML. A associação do esquema ao documento instância em XML Schema, se dá através de uma referência ao documento XSD no elemento raiz do documento. Com isso, o documento XML, além de obedecer às regras de formatação de documentos XML, deve também obedecer às regras que o esquema associado impõe. O documento da Figura 1 é associado ao esquema apresentado na Figura 4 e terá sua estrutura válida, pois o documento XML está de acordo com todas as regras impostas pelo esquema. No elemento raiz do documento XML há um atributo

25 15 nonamespaceschemalocation onde é especificado o caminho do arquivo referente ao esquema associado para validação Evolução de esquemas Em sistemas de informação a natureza da informação é dinâmica, portanto uma aplicação evolui ao longo do tempo por diversas razões: erros ocasionados devido à má especificação do projeto; modificação ou refinamento de requisitos; incorporação de novos requisitos na aplicação, entre outros. (SILVEIRA, 2007). Ao aplicar ações de alteração em um esquema, levam-se em consideração as instâncias previamente armazenadas. Tais alterações requerem o armazenamento de esquemas antigos para garantir o acesso aos dados associados, levando o problema de administrar diferentes versões do esquema e as relações com as instâncias. A evolução de esquemas em sistemas de banco de dados envolve a solução de dois problemas (GALANTE, 2003): a semântica de modificação de esquemas, que se refere aos efeitos das modificações no próprio esquema. Envolve a verificação e manutenção da consistência após as modificações no esquema; a semântica de propagação de mudanças, que descreve a forma como essas modificações nos esquemas afetam as instâncias da base de dados. Envolve a consistência das instâncias de acordo com as mudanças realizadas. A fim de preservar a consistência do banco de dados, a complexidade da evolução de esquemas pode ser classificada em cinco níveis (GALANTE, 2003): Representação de esquema: identificar os aspectos do esquema que devem sofrer alterações; Operações de modificação de esquema: identificar as operações de modificações permitidas para o esquema; Consistência na modificação de esquema: como qualificar e propagar as modificações do esquema no banco de dados; Integridade do banco de dados: identificar a forma como as instâncias no banco de dados são afetadas em uma modificação do esquema;

26 16 Disponibilidade do banco de dados: aplicações devem continuar em execução após a modificação do esquema. Alterações da base de dados em decorrência de uma evolução de esquema podem ser realizada de duas formas distintas: (i) on-line: o SGBD é mantido em operação enquanto o processo de evolução de esquemas é realizado; (ii) off-line: os processos em andamento são interrompidos enquanto a base de dados está sendo alterada (CAMOLESI, 1996). Tratar a evolução de esquemas é uma tarefa necessária, não somente durante a fase de projeto de um banco de dados, mas também durante toda sua fase operacional. Uma mudança no esquema dos dados pode afetar o sistema como um todo Evolução de esquemas em banco de dados semi-estruturados Em um SGBD atualizações que violam a integridade da base de dados em relação às restrições são consideradas como ilegais e são recusadas. Porém os dados das atualizações são dados mais recentes e podem ser considerados como prioritários em relação aos dados já armazenados. Logo, estabelecer um método para serem possível atualizações mantendo a integridade da base de dados torna-se necessário (COOX, 2003). Em banco de dados semi-estruturados a atualização pode ser uma tarefa complexa. Pois nesse contexto é permitido que usuários atualizem a base de dados sem a preocupação com as restrições impostas pelo esquema. No processo de evolução de esquemas XML alguns cenários devem ser considerados, tais como: (i) geração automática de documentos XML por aplicações; (ii) documentos distribuídos em pontos de rede não acessíveis, e entre outros. Se esses cenários não forem tratados, o processo de evolução torna-se incompleto (COOX, 2003). Um esquema evolui quando é aplicado alguma modificação. Segundo Zschornack (2002) esta modificação pode ser realizada pelo usuário, aplicação ou alguma linguagem de modificação de documentos XML. A XQuery e XUpdate são dois exemplos de linguagem de modificação de documento XML, são apresentadas a seguir.

27 Xquery Em janeiro de 2007 o W3C lançou a recomendação para a linguagem Xquery. Esta linguagem foi projetada para efetuar consultas (extrair e localizar elementos e atributos) em documentos XML. A linguagem utiliza expressões FLWOR (acrônimo para For, Let, Where, Order by e Return) para efetuar as consultas em documentos XML. Para efetuar alterações em documentos XML, a linguagem Xquery conta com uma extensão da linguagem que contém a cláusula Update, responsável pelo encapsulamento e descrição das modificações a serem realizadas em documentos XML. A cláusula Update aceita as operações: Delete, Rename, Insert, InsertBefore, InsertAfter, Replace e Sub-Update. A Figura 5 ilustra uma expressão Update da linguagem Xquery. Figura 5: Expressão XQuery. Se a cláusula representada na Figura 5 for aplicada no documento XSD representado na Figura 4, será adicionado a tag <xsd:element name="cpf" type= xsd:string /> entre as linhas 10 e 11. A Figura 6 mostra parte do documento ilustrado na Figura 4 após esta modificação. Figura 6: Documento XML alterado.

28 XUpdate XUpdate é uma linguagem para alteração de documentos XML proposta pelo grupo XML:DB. Ao contrário da linguagem Xquery, esta linguagem não necessita de uma terminologia específica para a declaração das modificações a serem realizadas. Essa linguagem utiliza a própria linguagem XML como meio de expressão das alterações (LAUX, 2000). Esta linguagem utiliza expressões de caminho para localizar a parte do documento a ser alterada e então efetuar as alterações. Exemplos de métodos de alteração de atributos e/ou elementos utilizados são: insert-before: Adicionar um elemento após um elemento específico; insert-after: Adicionar um elemento antes de um elemento específico; append: Acrescentar um elemento filho em um elemento do documento XML; update: Alterar o conteúdo de um elemento; remove: Remover um elemento e seus elementos filho; rename: Alterar o nome de um elemento. As modificações realizadas com XUpdate garantem que o documento XML continue bem formado após sua aplicação. Porém após esta modificação o documento XML pode perder sua validade perante o esquema associado, se existir. As modificações podem ser feitas tanto para uma coleção de documentos como para um documento específico (LAUX, 2000). A Figura 7 representa um exemplo de modificação que pode ser aplicada pela XUpdate no documento da Figura 4. A Figura 6 mostra parte do documento ilustrado na Figura 4 após a modificação. Figura 7: Documento XUpdate.

29 19 Após a modificação realizada no documento da Figura 4 pela instrução XUpdate representada na Figura 7, é adicionado um novo elemento após o elemento matrícula deste documento. Representado na Figura 6, o elemento é inserido entre as linhas 10 e 11 da Figura 4. Ao realizar essa alteração no documento XSD da Figura 4, o documento XML representado na Figura 1 perde sua validade perante as regras do esquema associado. Dependendo da aplicação, uma ação de adaptação pode ser aplicada para que o documento XML volte a respeitar as regras do esquema. Segundo Galante (2003), a evolução de esquemas não implica um suporte completo à história evolutiva do esquema, mas somente a habilidade para alterar as definições do esquema. Enquanto a evolução mantém apenas a versão corrente do esquema da base de dados, o versionamento preserva todas as versões de esquemas durante a evolução Versionamento Diversas aplicações, nas mais diferentes áreas, necessitam armazenar o histórico e a evolução de seus dados. O histórico dos dados se refere aos valores que um determinado dado assume no decorrer da sua existência. A evolução dos dados é referente às diversas alternativas estabelecidas para um dado. Essas alternativas são denominadas versões, e geralmente são aplicadas a aplicações que lidam com projetos (ROSSETTI, 2002). Versionamento é uma técnica que possibilita a existência de linhas paralelas na evolução de um objeto, que representam diferentes alternativas para a evolução deste. Cada versão é independente das demais, e embora compartilhem a mesma estrutura, cada uma possui o seu próprio histórico. Isto com exceção da versão inicial, novas versões são criadas através do processo de derivação de versões existentes, onde uma versão serve de base para a criação de outra. Considerando a derivação como uma relação do tipo pai-filho, cria-se uma hierarquia envolvendo o conjunto de versões definidas de acordo com este processo. Dependendo do modelo de dados, esta hierarquia pode tomar a forma de uma árvore ou de um grafo acíclico (GOLENDZINER, 1995). Um SGBD que trata o versionamento de esquemas, permite a visualização de todos os dados, tanto retrospectiva quanto prospectivamente, por meio de várias

30 20 versões de esquemas. Através do conceito de versão, é mantido um histórico das alterações efetuadas no banco de dados. O estado anterior às alterações é mantido, permitindo a navegação e consulta na base de dados. Além disso, é assegurado a integridade das instâncias armazenadas em qualquer versão solicitada (MORO, 2002). O versionamento de esquemas XML é proposto como forma de guiar as alterações efetuadas em uma base de dados. A principal motivação é o problema de gerenciar as modificações em esquemas enquanto o banco de dados permanece disponível, buscando minimizar o impacto nas aplicações existentes (MORO, 2002). Durante o desenvolvimento de um projeto de esquema, a evolução é mantida através do mecanismo de versionamento de esquemas. Um esquema que possui versões é representado através de um esquema versionado, este é o agrupamento de todas as suas versões, de tal forma que cada uma delas pode ser utilizada onde o esquema versionado é solicitado (GALANTE, 2003). Segundo Galante (2003) as versões de um esquema versionado estão relacionadas através de um relacionamento de derivação, formando um grafo, no qual uma versão pode ser derivada da versão corrente. A Figura 8 mostra graficamente um esquema sem versões e um esquema versionado com suas respectivas versões (V1, V2, V3). Figura 8: Representação de versões (GALANTE, 2003). Um esquema versionado possui uma versão que é considerada a versão corrente (V3 na Figura 8). A versão corrente é mantida como a mais recente criada. A versão é utilizada sempre que o usuário solicita uma operação sobre um esquema versionado, sem especificar uma de suas versões (GALANTE, 2003). Segundo Galante (2003), o versionamento de esquemas pode ser classificado em duas categorias: Versionamento parcial: as requisições de modificação de esquemas são permitidas somente no esquema corrente. Considerando a Figura

31 21 8, a requisição de evolução pode somente ser aplicada na versão V3, assim gerando uma nova versão (no caso V4) que será a próxima versão corrente; Versionamento total: as requisições de modificação de esquemas são permitidas em qualquer versão de esquema. Considerando a Figura 8, a requisição de evolução pode ser aplicada na versão V1, V2 ou V3. Assim criando uma nova versão, podendo ser derivada de V1, V2 ou V3, criando assim uma forma de árvore. As formas mais comuns de grafos de versões são de seqüência linear, árvore e grafo acíclico dirigido. O diferencial em cada uma das formas é o número de antecessores e/ou sucessores permitido. A relação entre duas versões em um grafo é representado por um delta. Delta é um script, que por sua vez são listas de operações que, quando aplicadas a um estado do grafo, transformam-no gerando um novo estado. Esta operação é suficiente para transformar qualquer documento em outro. Quanto mais operações forem adicionadas ao script, maior a sua semântica (CHIEN, 2001). Segundo Marian (2001) os scripts podem ser de três tipos: (i) progressivos, quando permitem obter um novo estado a partir de um estado antigo; (ii) regressivos, quando permitem voltar de um estado mais recente a um estado anterior; (iii) completos, quando servem tanto como scripts progressivos ou regressivos Considerações parciais Neste capítulo foram relacionados os principais conceitos para a implementação deste trabalho. Como visto a linguagem XML tem sido o principal mecanismo para representação de dados semi-estruturados. Todavia é necessário que o documento XML esteja bem formado e deve seguir o padrão imposto pelo seu esquema associado. Foram relacionadas as características das duas principais linguagens para a criação de esquemas XML, DTD e XML Schema. A padronização de documentos XML é necessária, devido às variações de estruturas dos documentos XML para uma mesma aplicação.

32 22 Porém esquemas não são entidades estáticas pois necessitam evoluir conforme a necessidade do usuário. Com isso foram apresentados os conceitos para a evolução de um esquema, assim como as linguagens que realizam esta operação, XQuery e XUpdate. Todavia ao modificar um esquema, documentos XML que estão associados podem perder sua validade. Contudo a evolução de um esquema deve ser controlada. Foram relacionados as características de versionamento, onde, este trabalho irá propor uma abordagem de versionamento de esquemas XML, que, ao ocorrer a evolução do esquema XML, cria-se uma nova versão do esquema, garantindo que as instâncias não percam a consistência entre o esquema e instâncias. Há propostas acadêmicas que aplicam técnicas de versionamento de documentos XML para solucionar o problema da evolução. No próximo capítulo serão descritos trabalhos que utilizam este conceito em banco de dados semiestruturados.

33 23 3. Trabalhos Relacionados Este capítulo apresenta algumas abordagens para o versionamento de documentos semi-estruturados. Estas abordagens para versionamento podem ser aplicadas aos esquemas XML, pois um esquema XML nada mais é que uma instância XML, ou seja, um documento XML Snapshot-collection e Snapshot-delta Em CHAWATHE (1998), são propostas duas abordagens que podem ser empregadas para o armazenamento de registros históricos (versões) de documentos semi-estruturados que evoluem linearmente, denominadas snapshot-collection e snapshot-delta. A snapshot-collection consiste em armazenar integralmente todos os estados assumidos pelo documento. Nesta abordagem é armazenado o estado original do documento X. Quando X sofre uma modificação, é gerada uma nova cópia de X com a parte modificada, ou seja, contêm todos os fragmentos do documento que foi alterado, quanto os trechos que permaneceram os mesmos. Rótulos temporais podem ser associados a essas diferentes cópias do documento, indicando seu período de validade. Esta abordagem otimiza o tempo de recuperação de um estado qualquer documento XML, pois todos estão presentes em sua totalidade, porém o custo em espaço de armazenamento é alto. A outra abordagem, snapshot-delta, consiste em armazenar um único estado, por exemplo o mais recente, em conjunto com uma coleção de regras de transformação (deltas). Dessa forma, a partir do primeiro estado armazenado podese gerar qualquer estado do documento aplicando os deltas. Esta abordagem otimiza o espaço consumido para armazenar o conjunto de estados, levando em consideração que um estado cujo conteúdo está armazenado explicitamente ocupa um espaço maior do que um script de conversão. Em compensação, este método requer um maior processamento para reconstruir estados passados, maximizando o tempo de recuperação de estados.

34 Usefulness-Based Change Control Em Chiem (2001b) é apresentado um método para reduzir os custos de recuperação de estados chamado de page-usefulness (utilidade de página). Neste método há o um agrupamento físico de todos os objetos válidos de um determinado estado em algumas páginas de dados. Quando o número de objetos válido em determinada página cai abaixo de certo limiar, os objetos são copiados para uma nova página. Na reconstrução de um estado, são acessadas as páginas úteis para este estado. O Usefulness-based Change Control (UBCC) possui duas variantes: (i) Editbased UBCC, baseado em scripts; e (ii) Copy-based UBCC, baseado em cópias de segmentos. O UBCC foi projetado para funcionar com o método snapshot-collection e snapshot-delta de forma híbrida, juntamente com o conceito page-usefulness. No Edit-based UBCC ao ocorrer uma instrução de inserção de um objeto em determinada posição, obtém-se o script de transição dos estados, então será buscado nas páginas úteis dos estados anteriores os trechos do estado, até que o trecho para inserção seja reconstruído e assim aplicado a instrução. Já no copybased UBCC, ao invés de representar as transições de estado com scripts, é aplicado o conceito de referência para fragmentos equivalentes. Referências são nós da árvore que referenciam outro nó da mesma árvore. A reconstrução de um estado é feita através das páginas úteis que contém os objetos e referências de subárvores. Ao encontrar uma referência, é feita uma recursão para recuperar o trecho específico do estado. Segundo Chiem (2002), que fez um estudo de caso comparativo entre as duas variantes do UBCC, ambas apresentaram um desempenho e custo de armazenamento similares. O copy-based UBCC ora supera o edit-based UBCC ora não, porém oferece flexibilidade para a escrita de consultas, mas com o mesmo desempenho.

35 Reference-Based Version Model Proposto em (CHIEN, 2002), o Reference-Based Version Model (RBVM) contém as seguintes características: (i) Preserva a estrutura lógica do documento, permitindo recuperação de estados e consultas baseadas em conteúdo; (ii) A história de evolução de um documento XML pode ser representada por outro documento XML; (iii) Utiliza técnicas para reduzir o custo de armazenamento da informação, umas delas é o conceito page-usefulness, detalhado em (CHIEN, 2001a). Além dos elementos de XML, a árvore proposta no RBVM inclui também nós de estado (servindo de raiz para as subárvores, e identificando cada uma das versões de um documento) e nós de referência (apontadores para subárvores em comum a dois estados distintos). A Figura 9 apresenta um exemplo de árvore gerada após um período de tempo a um documento XML versionado. Figura 9: Exemplo de versões da árvore RBVM (CHIEN, 2002). A árvore representada na Figura 9 desconsidera o nó raiz, pois é ilustrado somente a árvore a partir do segundo nível do documento XML. Neste exemplo é aplicado uma exclusão de um nó E (chapter) que contém como elemento filho title de conteúdo TSQL2 Tutorial e uma inserção de um nó E (chapter) que contém como elemento filho o nó title de conteúdo A second Example. O nó V representa as versões do documento XML, da esquerda para direita. O primeiro nó V representa a primeira versão do documento, e assim o segundo a segunda versão. Quando gerada a segunda versão, a subárvore E mais a direita do nó V é preservada pelo nó

36 26 de referência R. Já a subárvore E mais a esquerda é excluída segundo a instrução aplicada e adicionado uma nova subárvore. Para acesso das informações do nó E que contém como elemento filho o title de conteúdo Introduction to TSQL 2 a partir da segunda versão do documento XML, é feito através do nó R adicionado como filho do nó V. Assim a recuperação de um estado começa a partir do próprio estado a ser reconstruído. É recuperado os dados contido no estado e recursivamente através dos nós referências são recuperado os dados preservados Xyleme Em Marian (2001), foi proposto um sistema de gerenciamento de documentos XML em evolução. A Figura 10 apresenta a arquitetura do sistema, onde este sistema consiste na obtenção de novos estados para documentos através da Web e comparados com os estados armazenados na base. Nesta comparação é executado o algoritmo XyDiff (COBENA, 2002) que obtém as diferenças entre os dois estados (En e En-1). A partir deste algoritmo é gerado um script servindo como transição dos estados e armazenado em um banco de dados. O novo estado adquirido torna-se o estado corrente da aplicação. O sistema trabalha como um sistema observador, na medida em que é encontrado algum documento evoluído é feito o processamento para um novo estado corrente. É considerável o baixo custo de memória para o processamento. Figura 10: Arquitetura Xyleme.

37 27 Algumas características desse sistema pode ser consideradas, tais como: (i) a representação lógica é baseada em deltas, assim como o método snapshot-delta, porém são armazenados deltas completos, pois possuem instruções para navegação em ambos sentidos para a recuperação de estados; e (ii) há identificadores persistentes para cada nó do documento XML, obtidos através do algoritmo de XyDiff, que permitem registrar modificações nos dados e otimizando a recuperação. O armazenamento dos estados consiste em armazenar somente o estado corrente, e através da atribuição de identificadores que contém todos os deltas completos é possível recuperar um estado anterior desejado. Uma vantagem a ser destacada é a inclusão de um novo estado, pois não é necessário modificações em estados já armazenados Identificadores Persistentes O método proposto por Wong (2003) utiliza um conceito de identificadores persistentes para referenciar nós da árvore XML, armazenando a informação através de um conjunto de deltas e estados. Este método há diversos pontos de partida para a recuperação do estado desejado em um conjunto de estados, ou seja, não é armazenado o primeiro ou último estado para então aplicar os deltas, mas sim um conjunto de estados. A intenção para o armazenamento de um conjunto de estados para o inicio da recuperação surge do problema de recuperar a primeira versão (caso seja armazenado somente o último estado), ou a última versão (caso seja armazenado somente o primeiro estado). Outra vantagem citada nesta abordagem é o caso do armazenamento de um delta com espaço maior em relação ao estado gerado, dessa forma armazena-se o estado e não o delta. A Figura 11 mostra um exemplo de recuperação de estados, onde é solicitado a recuperação do Estado E8. Nesta recuperação é verificado que E5 e E13 são os estados anterior e posterior materializados mais próximos de E8. É calculado o gasto para a recuperação de E8 a partir de E5 (no caso 11) e a partir de E13 (9). Então a recuperação de E8 é realizada a partir de E13.

38 28 Figura 11: Versionamento com identificadores persistentes. As operações suportadas neste modelo são: inserção, remoção, atualização, movimentação e cópia. O conhecimento das operações é de base para o funcionamento deste método, pois é atribuído a um delta um custo medido pelo número de operações que esse contém. Ao solicitar a recuperação de um estado, varre-se uma estrutura de dados que armazena informações referente a cada estado armazenado. Nessa estrutura há informações se o estado está materializado integralmente e o custo do delta de seu antecessor para obtê-lo. O estado mais próximo do solicitado a recuperar é o com menor número de operações necessárias TXSchema O TXSchema é uma infraestrutura de apoio à criação e validação de documentos XML em uma variação de tempo, sem a necessidade de alteração no esquema XML (XML Schema). Em (DYESON, 2007) é abordado uma extensão para suporte ao versionamento de esquemas. Nesta abordagem é aplicado o conceito de pacote, onde um documento XML que contém anotações temporais de como o documento pode mudar, aplicado quando há documentos referenciando uma base de esquemas XML. A Figura 12 ilustra a arquitetura do módulo de suporte a versionamento de esquemas.