Integrando recuperação de informação em banco de dados com Hibernate Search

Transcrição

1 Integrando recuperação de informação em banco de dados com Hibernate Search Alunos Gustavo Kendi Tsuji Leonardo Tadashi Kamaura Orientador João Eduardo Ferreira

2 Introdução

3 Introdução

4 Introdução Média de 305% de crescimento de usuários na internet

5 Introdução Média de 305% de crescimento de usuários na internet = Aumento do conteúdo na internet produzido pelos usuários

6 Introdução A Google registrou em 29 de julho de 2008 a marca de mais de 1 trilhão de páginas disponíveis para consulta a partir do seu site de busca Google's search index hits one trillion page mark

7 Objetivos Estudar conceitos de Recuperação de Informação (RI);

8 Objetivos Estudar conceitos de Recuperação de Informação (RI); Integrar uma solução de RI no banco de dados do Projeto Colméia;

9 Visão Geral de RI Query Arquivo Invertido

10 Visão Geral de RI Query Ranqueamento Arquivo Invertido Modelo Vetorial

11 Visão Geral de RI Query Ranqueamento Resultados Arquivo Invertido Modelo Vetorial

12 Arquivo Invertido

13 Modelos

14 Modelo Vetorial Termo 1 Termo 2 Termo n Query Palavrachave 1 Palavrachave 2 Palavrachave n Documento

15 Lucene projeto de código aberto da Apache implementado em Java gera índices que serão usados na busca não é um programa final de busca não depende da fonte dos dados portável (Perl, Python, C++,.NET, Ruby)

16 Hibernate Search Hibernate Annotations + Lucene busca full-text

17 Hibernate / Hibernate Annotations

18 Hibernate / (" public = "livro", schema = public class Livro implements java.io.serializable { private Long idlivro; private ( = "id_livro", nullable = public Long getidlivro() { return this.idlivro; ( ( 300 = = "titulo_original", public String gettitulooriginal() { return this.titulooriginal;

19 Hibernate / (" public = "livro", schema = public class Livro implements java.io.serializable { private Long idlivro; private ( = "id_livro", nullable = public Long getidlivro() { return this.idlivro; ( ( 300 = = "titulo_original", public String gettitulooriginal() { return this.titulooriginal;

20 Hibernate (" public = "livro", schema = public class Livro implements java.io.serializable {... private ItemAcervo itemacervo; private Set<Subtitulo> subtitulos = @PrimaryKeyJoinColumn public ItemAcervo getitemacervo() { return (" livro mappedby = public Set<Subtitulo> getsubtitulos() { return subtitulos;

21 Hibernate Search

22 (" public = "livro", schema = public class Livro implements java.io.serializable { private Long idlivro; private ( = "id_livro", nullable = public Long getidlivro() { return this.idlivro; ( ( 300 = = "titulo_original", public String gettitulooriginal() { return this.titulooriginal;

23 Hibernate Search (" public = "livro", schema = public class Livro implements java.io.serializable {... private ItemAcervo itemacervo; private Set<Subtitulo> subtitulos = @PrimaryKeyJoinColumn public ItemAcervo getitemacervo() { return (" livro mappedby = public Set<Subtitulo> getsubtitulos() { return subtitulos;

24 Hibernate Search - (" public = "subtitulo", schema public class Subtitulo implements java.io.serializable { private long idsubtitulo; private String subtitulo; private Livro ( = "id_subtitulo", nullable = public long getidsubtitulo() { return this.idsubtitulo; ( ( 100 = = "subtitulo", nullable = false, public String getsubtitulo() { return this.subtitulo;

25 Utilizando Hibernate Search na Aplicação

26 Processos Hibernate + Hibernate Search 1 Índices (Lucene) 2 Back end Aplicação Banco de dados

27 Processos

28 Processos 1

29 2 Processos

30 Indexação

31 Hibernate Search - Indexação public void indexalivros(){ Session session = HibernateUtil.getSessionFactory().getCurrentSession(); FullTextSession fulltextsession = Search.createFullTextSession(session); Transaction tx = fulltextsession.begintransaction(); List<?> livros = session.createcriteria(livro.class).list(); for (Object livro : livros) { fulltextsession.index(livro); tx.commit();

33 Hibernate Search - Indexação Session Hibernate

35 Hibernate Search - Indexação FullTextSession Search Hibernate Search Session Hibernate

37 Hibernate Search - Indexação Transaction FullTextSession Hibernate Search Search Session Banco de dados Hibernate

39 Hibernate Search - Indexação Transaction FullTextSession Hibernate Search Search Session Banco de dados Hibernate Livros

41 Hibernate Search - Indexação Transaction FullTextSession Hibernate Search Search Session Banco de dados Hibernate Livros

42 Busca

43 Hibernate Search Busca public List<Livro> buscalivro(string termo, int indice, int maximo) throws Exception { String[] fields = {"titulooriginal", "subtitulos.subtitulo", "livrosautores.autor.nome", "livroeditoracidade.editora.editora", "assuntosdedalus"; MultiFieldQueryParser parser = new MultiFieldQueryParser(fields, new StopAnalyzer()); org.apache.lucene.search.query lucenequery = null; try { lucenequery = parser.parse(termo); catch (ParseException e) { e.printstacktrace(); org.hibernate.search.fulltextquery fulltextquery = fulltextsession.createfulltextquery( lucenequery, Livro.class); return ajustapaginacao(session, indice, maximo);

45 Hibernate Search Busca Termo Query

47 Hibernate Search Busca Termo Parâmetros Query

48 Hibernate Search Busca public List<Livro> buscalivro(string termo, int indice, int maximo) throws Exception { String[] fields = {"titulooriginal", "subtitulos.subtitulo", "livrosautores.autor.nome ", "livroeditoracidade.editora.editora", "assuntosdedalus"; MultiFieldQueryParser parser = new MultiFieldQueryParser(fields, new StopAnalyzer()); org.apache.lucene.search.query lucenequery = null; try { lucenequery = parser.parse(termo); catch (ParseException e) { e.printstacktrace(); org.hibernate.search.fulltextquery fulltextquery = fulltextsession.createfulltextquery( lucenequery, Livro.class); return ajustapaginacao(session, indice, maximo);

49 Hibernate Search Busca Termo Parâmetros Fields Query

51 Hibernate Search Busca Termo Parâmetros Fields Query Lucene StopAnalyser

53 Hibernate Search Busca Termo Parâmetros Fields Query StopAnalyser MultiFieldQueryParser Lucene

55 Hibernate Search Busca Termo Parâmetros Fields Query Lucene StopAnalyser MultiFieldQueryParser Query

57 Hibernate Search Busca Termo Parâmetros Fields Query Lucene StopAnalyser MultiFieldQueryParser Query FullTextQuery Hibernate Search

59 Hibernate Search Busca Termo Parâmetros Fields Query Lucene StopAnalyser MultiFieldQueryParser Query Livros FullTextQuery Hibernate Search

60 Score

61 Lucene - Score É uma combinação do Modelo de Espaço Vetorial e do Modelo Booleano. O score de uma query q para um documento d correlaciona à distância do coseno ou ao produto escalar entre vetores de documentos e queries no Modelo de Espaço Vetorial. Fórmula: score 2 q,d = coord q,d querynorm q,d tf t in d idf t t. getboost norm t,d t in d

62 score tf(t in d): term frequency Lucene - Score 2 q,d = coord q,d querynorm q,d tf t ind idf t t. getboost norm t,d O número de vezes que o termo t ocorre no documento d idf(t in d): inverse document frequency O número de documentos que contêm o termo t coord(q, d): fator baseado na quantidade de termos da query q que são encontrados no documento d querynorm(q, d): fator de normalização usada para permitir a comparação entre os scores das queries t.getboost(): t in d atribui peso para o termo t na query q em tempo de busca norm(t, d): encapsula alguns fatores de boost em tempo de indexação

63 score tf(t in d): term frequency Lucene - Score 2 q,d = coord q,d querynorm q,d tf t in d idf t t. getboost norm t,d O número de vezes que o termo t ocorre no documento d idf(t in d): inverse document frequency O número de documentos que contêm o termo t coord(q, d): fator baseado na quantidade de termos da query q que são encontrados no documento d querynorm(q, d): fator de normalização usada para permitir a comparação entre os scores das queries t.getboost(): t in d atribui peso para o termo t na query q em tempo de busca norm(t, d): encapsula alguns fatores de boost em tempo de indexação

66 score tf(t in d): term frequency Lucene - Score 2 q,d = coord q,d querynorm q,d tf t in d idf t t.getboost norm t,d O número de vezes que o termo t ocorre no documento d idf(t in d): inverse document frequency O número de documentos que contêm o termo t coord(q, d): fator baseado na quantidade de termos da query q que são encontrados no documento d querynorm(q, d): fator de normalização usada para permitir a comparação entre os scores das queries t.getboost(): t in d atribui peso para o termo t na query q em tempo de busca norm(t, d): encapsula alguns fatores de boost em tempo de indexação

67 score tf(t in d): term frequency Lucene - Score 2 q,d = coord q,d querynorm q,d tf t in d idf t t. getboost norm t, d O número de vezes que o termo t ocorre no documento d idf(t in d): inverse document frequency O número de documentos que contêm o termo t coord(q, d): fator baseado na quantidade de termos da query q que são encontrados no documento d querynorm(q, d): fator de normalização usada para permitir a comparação entre os scores das queries t.getboost(): t in d atribui peso para o termo t na query q em tempo de busca norm(t, d): encapsula alguns fatores de boost em tempo de indexação

68 Lucene - Score Query: Information Retrieval Resultado: Information analysis and retrieval = (MATCH) sum of: = (MATCH) weight(titulooriginal:information in 2099), product of: = queryweight(titulooriginal:information), product of: ( numdocs=5541 = idf(docfreq=36, = querynorm = (MATCH) fieldweight(titulooriginal:information in 2099), product of: ( tf(termfreq(titulooriginal:information)=1 = 1.0 ( numdocs=5541 = idf(docfreq=36, ( doc=2099 = fieldnorm(field=titulooriginal, = (MATCH) weight(titulooriginal:retrieval in 2099), product of: = queryweight(titulooriginal:retrieval), product of: ( numdocs=5541 = idf(docfreq=9, = querynorm = (MATCH) fieldweight(titulooriginal:retrieval in 2099), product of: ( tf(termfreq(titulooriginal:retrieval)=1 = 1.0 ( numdocs=5541 = idf(docfreq=9, ( doc=2099 = fieldnorm(field=titulooriginal, 0.5

69 Lucene - Score Query: titulooriginal: Information Retrieval Resultado: Information analysis and retrieval Score Weight Information Weight Retrieval

70 Lucene - Score Information Weight queryweight fieldweight Idf querynorm Idf Tf fieldnorm

71 Lucene - Score Query: Information Retrieval R1: Information analysis and retrieval R2: Information storage and retrieval: tools, elements, theories R3: The SMART retrieval system Information Score Weight Query Weight Field Weight Retrieval Weight Query Weight Field Weight R R R

72 Resultados

73 Resultados Query: assunto:banco de dados AND titulo:database* Livros encontrados: 125 livros Hibernate sem indexação: media: 89 ms Hibernate com indexação: media: 13 ms

74 Resultados Query: assunto:matematica* Livros encontrados: 4763 livros Hibernate sem indexação: media: 730 ms Hibernate com indexação: media: 265 ms