Keyword Search over RDF Graphs. Lucas Peres Gaspar

Transcrição

1 Keyword Search over RDF Graphs Lucas Peres Gaspar 1

2 Olá! Petiano emérito no PET Computação UFC; Bolsista no Arida; Graduando em Ciência da Computação; 2

3 Fonte Roi Blanco (Yahoo! Labs) 3

4 O que é? 4

5 Keyword Search Palavra-Chave; Busca; 5

6 RDF Resource Description Framework; Representação de informações; Tipos: Turtle; N-Quads; N-Triples; 6

7 RDF (N-Triples) Sujeito; Predicado; Objeto; <sujeito> <predicado> <objeto> 7

8 Grafos Vértices; Arestas; 8

9 Grafos (RDF) Vértices: Sujeitos e Objetos; Arestas: Predicados; 9

10 Algoritmo 10

11 Objetivo A partir de uma busca (query) obter um conjunto ordenado de subgrafos RDF com os melhores resultados. 11

12 Overview Criamos um documento Di virtual para cada tripla ti de nosso banco; Di conterá uma lista de keywords extraídas dos sujeitos, objetos e predicado da tripla ti; Os termos de Di são retirados e armazenados em um índice invertido juntamente com a frequência do termo no documento; 12

13 Overview Para cada keyword da query, criamos uma lista de todas as triplas que estão relacionadas aquela keyword; Essas listas são unidas baseadas nos sujeitos e objetos, formando assim subgrafos com uma ou mais triplas. No subgrafo devemos conter apenas triplas de listas diferentes; Devido a possíveis más interpretações da query nos subgrafos obtidos, temos de ranqueá-los semanticamente utilizando um modelo estatístico baseado em tf-idf e BM25F. 13

14 TF-IDF Term Frequency Inverse Document Frequency; Mineração de textos; Importância de uma palavra em um documento; 14

15 Subgraph Retrieval 15

16 Etapas 1 - Subgraph Retrieval 2 - Ranking 16

17 Subgraph Retrieval Objetivo: retornar os subgrafos que combinem com as palavras de uma query, onde se mantenham as seguintes condições: Os subgrafos devem ser únicos e maximais; Todas as triplas devem combinar com grupos de palavras chaves diferentes. Dada uma query q = {q1,q2,...,qm} onde cada qi representa uma keyword da query, criamos as listas {L1,L2,...,Lm} onde cada Li representa a lista de triplas que combinam com qi. 17

18 Subgraph Retrieval Índice Invertido: Dada uma palavra q, tem-se uma lista de pares <D,w> onde: D é um documento; w é a frequência em que q aparece em D; 18

19 Subgraph Retrieval Criamos um grafo desconexo E que representa o grafo da busca, ou seja, ele contém todas as triplas de todas as listas. Para cada tripla ti em cada lista, criamos uma lista de adjacência A(ti) onde tj só será adicionado a lista se tj for vizinho de ti e o conjunto de palavras chaves dos 2 forem diferentes. Lista de adjacência é uma estrutura onde, para cada nó do grafo, é armazenada uma lista com os seus nós vizinhos. 19

20 Subgraph Retrieval Uma tripla ti é uma aresta do grafo com nós sendo sujeito e objeto; Um tripla ti <Si, Pi, Oi> é vizinha de uma dada tripla tj <Sj, Pj, Oj> sse Si == Sj Oi == Sj Oi == Oj 20

21 Subgraph Retrieval 21

22 Já estamos quase lá! 22

23 Ranking Para podermos ranquear os subgrafos obtidos, calcularemos a probabilidade de a query Q ser gerada a partir do subgrafo G. Assumiremos que todos os termos são estatisticamente independentes: P (Q G) = P (qi G) Nosso termo P(qi G) representa a probabilidade do termo qi no modelo de G. 23

24 Ranking Calculamos a probabilidade de qi como a média da sua probabilidade em cada tripla tj. Como nosso tj contém, como descrito anteriormente, um documento associado a ele, nós utilizaremos esse documento para o cálculo da probabilidade. Vale lembrar que um certo termo pode aparecer relacionandose com predicados diferentes. Temos de levar em conta o predicado na hora de calcularmos sua probabilidade. 24

25 Ranking Aplicando uma série de cálculos exaustivos e cuja explicação não será abordada, temos o seguinte resumo do cálculo: P(Q G) = π P(qi G); P(qi G) = (1/n) x Σ P(qi tj); P(qi tj) = P(qi Dj,rj) = βp(qi Dj)xP(rj qi)+(1-β)p(qi Dj); 25

26 Ranking P(qi Dj) = αc(qi,dj)/ Dj + (1- α) x c(qi,col)/ Col Onde: c(w,dj) = freqência de w em Dj; Dj = tamanho do documento Dj; Col = todos os documentos das triplas; α = hiperparâmetro; 26

27 Ranking P(Rj qi) = P(qi,Rj)P(Rj)kP(qi Rk)P(Rk) Onde: Rj = documento com keywords de todos os sujeitos e objetos relacionados por rj; P(w,Rj) = probabilidade de gerarmos w a partir de Rj (análogo a equação anterior); P(Rk) = relevância do predicado Rk na influência de um resultado. 27

28 Ajustes finais Para cada subgrafo, ordená-los pelo valor de seu ranking. 28

29 Detalhes observados Predicados mais importantes; Valores das probabilidades; Custo da busca; 29

30 Dúvidas? 30

31 31

32 Obrigado! 32