Determinando Correspondências entre Atributos de Produtos em Ofertas de Comércio Eletrônico

Transcrição

1 Determinando Correspondências entre Atributos de Produtos em Ofertas de Comércio Eletrônico Diego Rodrigues Projeto Final de Curso PGINF 537 Tecnologia Web: Big Data

2 Roteiro Motivação Problema Trabalhos Relacionados Abordagem Experimentos Considerações Finais Referências 2

3 Compras pelaweb Sítios de comparação de preços Máquinas de busca de produtos Lojas online 3

4 4

5 Ofertas Loja-A Loja-B Marca Monitor/Display Resolução em Megapixels (MP) Peso liq. aproximado do produto (Kg) Nikon 3,0"LCD-TFT pontos 16MP 470Kg Referência/ Modelo Monitor LCD Resolução efetiva Efeitos Visuais Coolpix L820 Preta Nikon 3,0 de ângulo variável / pontos 16 milhões de pixel Sim Zoom Óptico 30x Zoom Óptico 30X (22,5 675mm) 5

6 Cenário 6

7 Cenário 7

8 Cenário BIG DATA! 8

9 Aplicações Busca Comparação de produtos Detecção de dados inconsistentes Adição de novos produtos em bases Recomendação 9

10 Casamento de Esquemas Loja-A Loja-B Marca Monitor/Display Resolução em Megapixels (MP) Peso liq. aproximado do produto (Kg) Nikon 3,0"LCD-TFT pontos 16MP 470Kg Referência/ Modelo Monitor LCD Resolução efetiva Efeitos Visuais Coolpix L820 Preta Nikon 3,0 de ângulo variável / pontos 16 milhões de pixel Sim Zoom Óptico 30x Zoom Óptico 30X (22,5 675mm) 10

11 Casamento de Esquemas Bases de dados em XML Valores separados por vírgula (CSV) Modelos em SQL Ontologias Atributos de produtos! 11

12 Trabalhos Relacionados Informações proveniente dos esquemas Nome Descrição Tipo de dados Informações proveniente das instâncias Valores de atributos Média, Desvio Padrão, Frequência Informações auxiliares Dicionários Entrada do usuário 12

13 Trabalhos Relacionados [Doan et 00] treina classificadores e combina opiniões. [Mesquita et 07] combina similaridades entre nomes de elementos e valores. [Yang et 08] analisa padrões nos dados e treina uma rede neural. 13

14 Trabalhos Relacionados [Nguyen et 11] diretamente no domínio de produtos calcula similaridades entre os valores dos atributos e treina um classificador para encontrar correspondências mais de 800mil ofertas, 1000 lojas e 400 categorias 14

15 Abordagem Criarbags a partir dos atributos Gerar similaridades entre as bags Treinar um classificador com correspondências óbvias Utilizar o modelo aprendido nas correspondências candidatas 15

16 Bags Oferta Monitor/Display Resolução em Megapixels (MP) Sony Cyber-shot DSC- 2.7" LCD TFT-Clear W Megapixels Photo LCD 14 mp 8 x Sony Cyber-shot DSC- 2.7" LCD TFT-Clear W Megapixels Photo LCD 16 mp 5 x Zoom Óptico Monitor/Display Resolução em Megapixels (MP) Zoom Óptico Zoom Digital 2.7", 2.7", LCD, LCD, LCD, LCD, TFT, TFT, Clear, Clear, Photo, Photo 14, 16, mp, mp 8, 5, x, x 4, 20, x, x 16

17 São calculadas similaridades entre cada par de atributos (bags) Divergência de Jensen-Shannon Coeficiente de Jaccard Similaridade 17

18 Conjunto de treino JS JAC Classe Verd Verd Falso Falso 18

19 Classificadores Bayesianos Naïve Bayes Complement Naïve Bayes Árvore FTree Função Logistic Base 19

20 Experimentos Base de Máquinas Fotográficas (Neemu) 9 lojas 240 produtos Avaliação Precisão Revocação Média-F 20

21 Experimentos Precisão Revocação Média-F Naïve Bayes 0,12 0,47 0,19 Comp. Naïve Bayes 0,14 0,37 0,20 FTree 0,16 0,33 0,21 Logistic Base 0,19 0,30 0,25 Resultado médio de 36 tarefas (lojas combinadas 2 a 2) 21

22 Considerações Finais Resultados abaixo do esperado Alternativas: estudo de classificadores adequados/ combinação de classificadores novas métricas de similaridade pré-processamento 22

23 Considerações Finais Problemas bases não-rotuladas gerenciamento da grande massa de dados erros de extração (p.e.: >zoom óptico ) 23

24 Referências Doan, A., Domingos, P., and Levy, A. Y. (2000). Learning source description for data integration. In WebDB (Informal Proceedings), pages Mesquita, F., Barbosa, D., Cortez, E., and da Silva, A. S. (2007). Fledex: flexible data exchange. In Proceedings of the 9th annual ACM international workshop on Web information and data management, WIDM 07, pages 25 32, New York, NY, USA. ACM. Nguyen, H., Fuxman, A., Paparizos, S., Freire, J., and Agrawal, R. (2011). Synthesizing products for online catalogs. Proc. VLDB Endow., 4(7): Yang, Y., Chen, M., and Gao, B. (2008). An effective content-based schema matching algorithm. In Future Information Technology and Management Engineering, FITME 08. International Seminar on, pages

25 Determinando Correspondências entre Atributos de Produtos em Ofertas de Comércio Eletrônico Diego Rodrigues Projeto Final de Curso PGINF 537 Tecnologia Web: Big Data

26 Similaridades Jensen-Shanon * * Divergência de Kullback-Leibler 26

27 Similaridades Jaccard 27