Resumo extendido: Detecting Duplicate Objects in XML Documents

Transcrição

1 Resumo extendido: Detecting Duplicate Objects in XML Documents Melanie Weis, Felix Naumann. Resumo por Rodrigo Gonçalves 6 de dezembro de 2006 Resumo No processo de limpeza de uma fonte de dados, a detecção de objetos duplicados é uma das principais tarefas. Com a popularização de fontes de dados baseadas em XML, um método para detecção de objetos duplicados nestas faz-se necessário. Neste trabalho apresenta-se um algorítimo, independente de domínio, para detecção de objetos duplicados em documentos XML. Este adota uma abordagem top-down, identificando elementos duplicados em cada nível do documento. Para otimizar o processo, aplica um conjunto de filtros visando reduzir o número de comparações efetuadas. A determinação da similaridade dos objetos é feita através de métricas baseadas em strings. 1 Introdução No processo de integração de fontes de dados, um dos principais problemas é a inconsistência na representação das informações entre as fontes. Em um processo ideal, deve existir na fonte integrada apenas uma única representação de cada objeto do mundo real. Para tal deve-se aplicar um processo conhecido como limpeza de dados, que visa a identificação e eliminação de objetos duplicados. Para dados relacionais este problema já foi tratado em vários trabalhos. Com a popularização do XML, métodos para detecção de objetos duplicados neste tornam-se necessários. Dada a natureza dinâmica da estrutura do XML, dois problemas surgem: a diversidade estrutural e o escopo. Em documentos XML, um elemento está restrito por um escopo, que corresponde a seus elementos ancestrais. Da mesma forma, sua estrutura não é rígida. Ela permite que dois elementos apresentem uma estrutura diferente porém representem um mesmo objeto. Neste trabalho introduz-se uma abordagem para detecção de objetos duplicados em um documento XML que visa considerar estes aspectos. Na abordagem, um conjunto de filtros é utilizado visando acelerar o processo, que usa métricas baseadas em strings para determinação da similaridade entre objetos. 2 Trabalhos relacionados Diversos trabalhos analisam o problema da limpeza de fontes de dados[8, 2, 7, 9]. Para o problema da duplicidade de informações (objetos duplicados), diversos existem tratando fontes relacionais[3, 5]. Para alguns domínios, soluções específicas foram desenvolvidas[6, 4]. O trabalho mais próximo que têm-se conhecimento é o DELPHI[1], no qual este trabalho foi inspirado. O DELPHI identifica duplicatas em um data warehouse, no qual a estrutura dos dados é bem definida. Esta é o principal diferencial para a abordagem apresentada: em documentos XML, não existe uma estrutura bem definida. 3 Conceitos e Definições 3.1 Definição de Duplicatas Considera-se dois aspectos principais para detectar a duplicidade entre objetos XML: estrutura e dados. Estrutura Os elementos são distinguidos pelo nome. Assume-se que dois elementos com nomes diferentes tem semântica diferente e portanto não podem ser duplicatas. Em relação à 1

2 estrutura dos elementos, requer-se que sejam similares (e não iguais) para que sejam duplicatas. Dados No XML, os dados podem ser especificados como um atributo ou texto do elemento. Os dados em um documento XML, por serem organizados hierarquicamente, fazem com que os dados dos elementos filhos de dois elementos possam ser um indicador de similaridade entre os mesmos. Define-se como dados de um elemento: (i) o texto do nodo do elemento; (ii) os valores dos atributos do elemento e (iii), os textos dos elementos filhos. Considerando estes aspectos, define-se elementos duplicados em XML como: DEFINIÇÃO 1 Dois elementos XML a e b são candidatos à duplicatas se as seguintes condições são satisfeitas: Os ancestrais de a e b são iguais ou similares a e b tem o mesmo nome os dados de a e b são similares os nodos filhos de a e b tem estrutura similar e dados similares 3.2 Medidas de similaridade A métrica adotada para detecção de objetos duplicados parte do pressuposto que a partir de um determinado limiar dois objetos muito similares são considerados iguais. Imaginando dois objetos O e O como multiconjuntos de objetos em um universo U, quanto maior a intersecção entre eles, mais similares são. Aprofunda-se esta métrica adotando a noção que determinados objetos podem ter diferente relevância na similaridade entre O e O, a qual é quantificada pela inverse document frequency (IDF). Para definir a IDF, considere-se f s (o) como a freqüência de um objeto o pertencente a O. Logo, define-se IDF s (o) = log( U f s(o) ). Para um conjunto S contido em O, a IDF s (S) := IDF (o). Com o S base nesta fórmula, introduz-se uma métrica para a detecção de similaridade entre dois conjuntos de strings S e S : sim(s, S ) := IDF (S S ) IDF ((S S )\(S S )) Durante o processo de análise de similaridade, tanto os dados do elemento quanto dos filhos do mesmo são tratados como strings. Os dados do elemento são então dividos em tokens (as palavras das strings). Dois tokens são similares se a distância de edição entre os mesmos está abaixo de um limiar t edit. Para permitir uma maior quantidade de erros em strings mais longas, divide-se o percentual de erro pelo tamanho da maior string sendo comparada. Com base no que foi apresentado, define-se a similaridade entre dois objetos e e e como: s(e, e ) = sim(t S(e) CS(e), T S(e ) CS(e )) Onde TS(e) denota o conjunto de tokens representando os dados em e e CS(e) como o conjunto de strings representando os dados dos filhos de e. 3.3 Identificando dados similares A distância de edição entre strings foi a métrica básica adotada para determinar a similaridade entre objetos de um documento XML. Como esta métrica tem um custo muito alto de computação, adotou-se um conjunto de filtros visando reduzir o número destas operações. O primeiro filtro adotado foi o filtro de comprimento de edição: este baseia-se no fato que, ao comparar duas strings, a seguinte condição é sempre verdade: l(s) l(s ) d edit (s, s ) onde l(s) representa o comprimento de uma string s. Utilizando-se desta fórmula, pode-se agrupar as strings sendo comparadas em conjuntos conforme o tamanho e evitar a comparação entre conjuntos com grande diferença de tamanho. O segundo filtro adotado foi o filtro pela inequalidade triangular: aqui, dadas três strings x, y e z, sabe-se que a seguinte condição é sempre verdadeira (d edit (x, y) é a distância de edição entre x e y): d edit (x, y) d edit (y, z) d edit (x, z) 2

3 d edit (x, y) + d edit (y, z) Com esta fórmula pode-se calcular uma faixa [min,max] para a d edit (x, z). A partir desta faixa pode-se deduzir que se: 1. max < t edit x e z são similares. 2. min t edit x e z não são similares. Por último, temos o filtro bag distance. Dada uma string x sobre um alfabeto A, define-se X = ms(x) como sendo o multiconjunto de símbolos em x. A bag distance é definida então como: d bag (x, y) = max( X Y, Y X ) Pode-se provar facilmente que d bag (x, y) d edit (x, y), portanto esta fórmula pode ser usado como um filtro para evitar a determinaçao da distância de edição. 3.4 Detectando pares de objetos duplicados Definindo-se t dup como um limiar de similaridade a partir do qual consideram-se os elementos comparados como equivalentes, define-se uma função que retorna se dois objetos são duplicatas como: edup(e, e ) = { V ERDADEIRO F ALSO 3.5 Filtro de objetos se s(e,e )>t dup em outro caso Para otimizar a detecção de objetos duplicados, aplica-se um filtro que busca eliminar (a um baixo custo de cálculo) duplicatas. Este é representado pela seguinte fórmula: f(a) = IDF (S(a) (G S(a))) IDF (s(a)\(s(a) (G S(a)))) sendo S(a) = T S(a) CS(a) os dados compondo a e G o conjunto de strings de todos os elementos. Se a compartilha poucos dados com qualquer outro elemento, a função retorna um valor baixo, o que indica uma improbabilidade de a ser duplicata de outro elemento, dado seu isolamento. 4 Abordagem geral A abordagem proposta está dividida em seis grandes etapas: Extração de objetos, Geração do grafo, Detecção de dados similares, Filtro de objetos, Comparação de pares de objetos, Agrupamento de duplicatas. 4.1 Extração de objetos Considerando a definição de objetos duplicados adotada, torna-se suficiente procurar por duplicatas apenas em pequenos domínios, onde os elementos possuem os mesmos ancestrais. Através de XQuery extraem-se estes objetos, que são exportados em um novo documento XML denominado object document, com um esquema pré-definido. Esta exportação para um documento com formato definido tem por objeto facilitar a execução da etapa seguinte (geração de um grafo). Para cada nodo element criado no object document, os dados do mesmo são os atributos e o texto do elemento no documento original, assim como os dados dos filhos dele. Para cada nodo element criado, um subelemento children é definido, contendo os dados dos netos do elemento original. Com esta conversão, que perde em forma mas mantém as informações, consegue-se tornar mais maleável a determinação da similaridade estrutural entre os elementos. 4.2 Modelo de grafo A representação interna usada no processo de detecção de duplicatas é um grafo. Neste existem nodos elemento, nodos atributos de elementos e nodos filhos de elementos. Para cada token (palavra) dos dados do elemento e de seus filhos, um vértice é criado. O grafo é construído pelo parsing do object document por um parser SAX. 4.3 Detecção de tokens e filhos similares Para determinar a similaridade entre dois objetos, é necessário determinar a similaridade dos seus dados e dos dados de seus filhos. Para tal, detectam-se pares de tokens similares de acordo com a distância de edição entre os mesmos. Para minimizar o número de cálculos de distância de 3

4 Figura 1: Um exemplo da aplicação dos três filtros para comparação de strings Figura 3: Um exemplo da execução da determinação de objetos isolados Figura 2: Um exemplo da execução da determinaçao de dados duplicados entre elementos edição, os três filtros apresentados anteriormente são aplicados. Inicia-se com o filtro de comprimento de edição, seguido pelo filtro de inequalidade triangular e por último pelo bag distance. A figura 1 exemplifica a aplicação destes filtros. Ao fim da filtragem, a comparação via distância de edição entre os tokens (vértices) de cada elemento é feita. Se dois tokens são duplicatas, acrescentam-se duas arestas ao grafo, cada uma partindo de um token e indo em direção ao elemento que possui o token duplicata (conforme visto na figura 2). 4.4 Filtro de objetos A função de filtro de objetos é, uma vez aplicada a cada vértice de elemento do grafo, remover o vértice e suas arestas caso detecte-se que é um elemento isolado. Com a remoção do vértice, outros vértices podem torna-se isolados, portanto reaplica-se a função para cada elemento que estava conectado ao vértice removido. 4.5 Detecção de duplicatas Dados dois vértices no grafo, a computação de sua similaridade é feita pela função s(e,e ). Em uma abordagem básica, o custo seria de v (v 1) comparações, porém, partindo-se da comparação de um elemento apenas com elementos vizinhos (que compartilham um vértice) reduz-se a quantidade de operações significativamente. Caso dois elementos sejam detectados como duplicatas, uma aresta ligando os dois é estabelecida, para que ao final do processo possa-se detectar e clusterizar os mesmos. 4.6 Travessia top-down Para cada iteração(com exceção da primeira), os elementos são escolhidos com base nos elementos agrupados do passo anterior: apenas são escolhidos elementos cujos pais foram agrupados no mesmo cluster na iteração anterior do algorítimo. 5 Experimentos Buscou-se responder duas questões com os experimentos realizados: quão efetivos os filtros são e quão efetiva é a proposta. Utilizou-se para os testes dados geográficos íntegros (limpos). Inicialmente duplicou-se os dados e então aplicou-se erros à parte duplicada, através do programa DirtyXMLGenerator. Introduziu-se artificialmente três tipos de erros : erros tipográficos, erros de equivalência e dados faltantes. O documento 4

5 Figura 4: Seletividade dos filtros de distância de edição Figura 6: Seletividade do filtro de objetos duplicados e 100% caso todos os elementos do documento tivessem uma duplicata. Utilizando o conjunto de dados para testes limpo, incrementou-se sequencialmente a quantidade de objetos duplicados e aplicou-se o filtro, onde vê-se o resultado na figura 6. Em cinza temos a quantidade de elementos sem duplicatas no documento e em preto quantos elementos foram filtrados para tal quantidade de elementos não-duplicados. Como vê-se no gráfico, o filtro consegue realizar uma filtragem próxima da ideal. Figura 5: Contribuição dos filtros de distância de edição sujo totalizou 520 objetos, send 260 duplicatas com erros. 5.1 Seletividade dos filtros Filtros para distância de edição A aplicação sequencial dos três filtros para a distância de edição teve um seletividade de 99%. O filtro de comprimento de edição eliminou 83% dos pares de tokens. A inequalidade triangular teve uma seletividade de 23%. Para os pares restantes o filtro bag distance removeu 97% dos objetos Filtro de objetos Idealmente o filtro de objetos deveria ter uma seletividade de zero caso não houvessem elementos 5.2 Eficiência da Métrica de Similaridade Para quantificar a eficiência da métrica s, executou-se uma análise de precisão e reconhecimento. Organizou-se os pares de duplicatas pelo valor da função s sobre os mesmos, em ordem decrescente. A partir disso gerou-se o gráfico visto na figura 7, onde a curva em cinza indica a precisão e reconhecimento da função s considerando os elementos filhos e a curva em preto sem considerar os elementos. filhos. Conclui-se que a métrica é aceitável para detectar duplicatas já que a precisão fica acima dos 80 % para níveis de reconhecimento de até 80%. Além disto, o uso de co-ocorrência (consideração dos dados dos filhos na comparação) melhorou em geral a precisão/reconhecimento, apesar da precisão piorar para uma lembrança entre 30% e 70%. Isto deve-se ao fato que as informações dos filhos enganam a métrica. Isto não é necessariamente um problema, pois em muito casos mesmo que os da- 5

6 Este trabalho focou-se em uma maneira efetiva e rápida de detecção de objetos duplicados. Futuramente pretende-se tratar aspectos como consumo de memória e uso das informações dos esquemas para otimizar o processo. O uso de similaridade entre árvores e queries aproximadas são tópicos de pesquisa para as etapas de extração e comparação de objetos. Referências Figura 7: Diagrama de precisão e reconhecimento [1] R. Ananthakrishna, S. Chaudhuri, and V. Ganti. Eliminating fuzzy duplicates in data warehouses. In Proceedings of the 28th International Conference on Very Large Databases (VLDB-2002) (Hong Kong, China), [2] H. Galhardas, D. Florescu, D. Sasha, E. Simon, and C. Saita. Declarative data cleaning: Language, model, and algorithms. In Proceedings of the 27th International Conference on Very Large Databases (VLDB-2001) (Rome, Italy), pages , Figura 8: Falsos positivos e falsos negativos dos dos elementos estejam diferentes (por um deles estar incorreto), os dados dos filhos previnem que os elementos sejam dados como diferentes. 6 Conclusão e Trabalhos Futuros Neste trabalho apresentou-se uma abordagem para detectar objetos duplicados em um documento XML. Esta resolve o problema de escopo dos elementos e diversidade estrutural do XML. Também identifica eficientemente elementos duplicados na hierarquia com uma processo top-down. Os resultados mostram que a métrica adotada é adequada, alcançando altas taxas de precisão e reconhecimento. A velocidade do processo é melhorada pelo uso de filtros com alta seletividade que reduzem o número de comparações efetuadas. [3] M. A. Hernandéz and S. J. Stolfo. The merge/purge problem for large databases. In Proceedings of the 1995 ACM SIGMOD International Conference on Management of data (SIGMOD-05) (San Jose, CA), pages , [4] M. A. Jaro. Probabilistic linkage of large public health data files. Master s thesis, Departament of Eletrical Engineering and Computer Science, MIT, [5] A. E. Monge and C. P. Elkan. The field matching problem: Algorithms and applications. In Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining (KDD-96) (Portland, OR), [6] D. Quass and P. Starkey. Record linkage for genealogical databases. In Proceedings of the KDD-2003 Workshop on Data Cleaning, Record Linkage, and Object Extraction (Washington, DC), pages 40 42, [7] E. Rahm and H. H. Do. Data cleaning: Problems and current approaches. IEEE Data Engineering Bulletin, 23(23):3 13,

7 [8] V. Raman and J. M. Hellerstein. Potter s wheel: An interactive data cleaning system. In Proceedings of 27th International Conference on Very Large Databases (VLDB-2001) (Rome, Italy), pages , [9] W. E. Winkler. Data cleaning methods. In Proceedings of the KDD-2003 Workshop on data Cleaning, Record Linkage, and Object Consolidation (Washington, DC), pages 1 6,