Um sistema de recomendação de produtos baseado em grafos

Transcrição

1 Um sistema de recomendação de produtos baseado em grafos André Fatala! Diretor Renato Pedigoni! Engenheiro

2 744 lojas físicas 8 centros de distribuição +24 mil colaboradores +22 milhões de clientes 14 milhões de visitantes únicos por mês

3 "Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it..." Dan Ariely

4

5

6

7

8

9 Grafos

10 Grafos Vértices (entidades, objetos) Pessoa Sessão Produto Categoria Depto

11 Grafos Vértices (entidades, objetos) Pessoa Sessão Produto Categoria Depto Arestas (relacionamentos, conexões)

12 Grafos Vértices (entidades, objetos) Pessoa Sessão Produto Categoria Depto Arestas (relacionamentos, conexões) comprou avaliou pertence

13 Grafos Vértices (entidades, objetos) Pessoa Sessão Produto Categoria Depto nome timestamp titulo estoque titulo titulo Arestas (relacionamentos, conexões) comprou avaliou pertence timestamp timestamp quantidade timestamp avaliacao

14 Modelo: e-commerce

15 Modelo: e-commerce Pessoa

16 Modelo: e-commerce Pessoa iniciou

17 Modelo: e-commerce Pessoa iniciou Sessão

18 Modelo: e-commerce Pessoa iniciou Sessão

19 Modelo: e-commerce Pessoa iniciou Sessão Produto

20 Modelo: e-commerce Pessoa iniciou Sessão Produto pertence

21 Modelo: e-commerce iniciou Pessoa Sessão Categoria Produto pertence

22 Modelo: e-commerce iniciou Pessoa Sessão Categoria pertence Produto pertence

23 Modelo: e-commerce Depto iniciou Pessoa Sessão Categoria pertence Produto pertence

24 Modelo: e-commerce Depto iniciou Pessoa Sessão Categoria pertence Produto pertence crosssell

25 Modelo: e-commerce Depto iniciou Pessoa Sessão Categoria pertence Produto pertence crosssell Produto

26 Modelo: e-commerce Depto iniciou Pessoa Sessão Categoria pertence Produto pertence crosssell upsell Produto

27 Modelo: e-commerce Depto iniciou Pessoa Sessão Categoria pertence Produto pertence crosssell upsell Produto Produto

28 Modelo: e-commerce Depto iniciou Pessoa Sessão Categoria similar pertence Produto pertence crosssell upsell Produto Produto

29 Modelo: e-commerce Produto Depto Pessoa iniciou Sessão similar Categoria pertence Produto pertence crosssell upsell Produto Produto

30

31 Tinkerpop

32 Tinkerpop

33 Tinkerpop Java Conjunto de ferramentas para trabalhar com grafos Blueprints: análogo ao JDBC, para grafos

34 Grafos persistentes

35 Grafos persistentes Entre as possibilidades:

36 Grafos persistentes Entre as possibilidades: Nossa escolha: Suporta grandes grafos Código aberto, uso gratuito (incl. comercial) Storage configurável: Cassandra, HBase, entre outros

37 Grafos persistentes Teorema "CAP" Consistência - Disponibilidade - Particionamento

38 Grafos persistentes Teorema "CAP" Consistência - Disponibilidade - Particionamento Nossa escolha - Sem ponto único de falha - Consistência eventual

39 Como interagir com o grafo?

40 Como interagir com o grafo????

41 Como interagir com o grafo? Gremlin: Parte do Tinkerpop DSL para grafos Simples Comunidade ativa

42 Exemplo

43 Exemplo Visitante > vert1 = g.addvertex(); > vert1.tipo = 'visitante';

44 Exemplo Visitante Produto > vert1 = g.addvertex(); > vert1.tipo = 'visitante'; > vert2 = g.addvertex(); > vert2.tipo = 'produto';

45 Exemplo Visitante Produto > vert1 = g.addvertex(); > vert1.tipo = 'visitante'; > vert2 = g.addvertex(); > vert2.tipo = 'produto'; > g.addedge(vert1, vert2, ''); > g.commit()

46 Recomendação Quem viu, também viu

47 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # TV LCD 32"

48 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV LED 40" Sessão! #21162 TV PLASMA 52" TV LED 42 Sessão! # TV LCD 32"

49 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # TV LCD 32"

50 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40') TV LCD 32"

51 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('') TV LCD 32"

52 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('') TV LCD 32"

53 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('').out('') TV LCD 32"

54 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('').out('') TV LCD 32"

55 Recomendação Quem viu, também viu TV LCD 40" Sessão! # TV PLASMA 52" TV LED 40" Sessão! #21162 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('').out('').groupcount() TV LCD 32"

56 Recomendação Quem viu, também viu TV LCD 40" Sessão! # key value TV PLASMA 52" TV LED 40" TV LCD 40" TV PLASMA 52" Sessão! # TV LED 42 TV LCD 32" 3 1 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('').out('').groupcount() TV LCD 32"

57 Recomendação Quem viu, também viu TV LCD 40" Sessão! # key value TV PLASMA 52" TV LED 40" TV LCD 40" TV PLASMA 52" Sessão! # TV LED 42 TV LCD 32" 3 1 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('').out('').groupcount().sort{-it.value} TV LCD 32"

58 Recomendação Quem viu, também viu TV LCD 40" Sessão! # key value TV PLASMA 52" TV LED 40" TV LED 42 TV PLASMA 52" Sessão! # TV LCD 40" TV LCD 32" 1 1 TV LED 42 Sessão! # g.v('product_sku', 'tv_led_40').in('').out('').groupcount().sort{-it.value} TV LCD 32"

59 Supernodes Vértices com número desproporcional de arestas conectadas Produto Benchmark

60 Supernodes Vértices com número desproporcional de arestas conectadas Produto Benchmark

61 Supernodes Vértices com número desproporcional de arestas conectadas Produto Solução (Titan): vertex-centric indices Benchmark

62 Arestas de atalho TV LCD 40" Sessão" # TV LED 40" Sessão" #21162 TV PLASMA 52" Sessão" # TV LED 42 TV LCD 32"

63 Arestas de atalho TV LCD 40" Sessão" # TV LED 40" Sessão" #21162 TV PLASMA 52" Sessão" # TV LED 42 TV LCD 32"

64 Arestas de atalho TV LCD 40" Sessão" # TV LED 40" quem_viu_tb_viu quem_viu_tb_viu Sessão" #21162 TV PLASMA 52" Sessão" # TV LED 42 TV LCD 32"

65 Arestas de atalho TV LCD 40" Sessão" # TV LED 40" quem_viu_tb_viu quem_viu_tb_viu Sessão" #21162 TV PLASMA 52" Sessão" # TV LED 42 TV LCD 32" g.v('product_sku', tv_led_40 ).out( quem_viu_tb_viu )

66 Mas e o Hadoop?

67 Aurelius Graph Stack

68 Aurelius Graph Stack

69 Faunus Roda sobre o Hadoop, armazena os dados no HDFS Ferramenta para operações globais no grafo Diversas utilidades Graph analytics Schema migration Sub grafos Detecção de comunidades

70 Faunus: exemplo In degree distribution g.v.sideeffect('{it.degree=it.ine.count()}').degree.groupcount

71 Faunus: exemplo In degree distribution g.v.sideeffect('{it.degree=it.ine.count()}').degree.groupcount

72 Faunus: exemplo In degree distribution g.v.sideeffect('{it.degree=it.ine.count()}').degree.groupcount

73 Faunus: exemplo In degree distribution g.v.sideeffect('{it.degree=it.ine.count()}').degree.groupcount ==> ! ==> ! ==>100 6! ==>108 3! ==>119 3! ==>122 3! ==>133 1! ==>144 2! ==>155 1! ==>166 2! ==>18 471! ==>188 1! ==>21 306! ==>232 1! ==>254 1! ==>...

74 Rexster Parte da stack Tinkerpop Permite acessar qualquer grafo Blueprints através de uma API REST Além de HTTP, possui protocolo binário (RexPro)

75 Gremlin Demo

76 Gremlin Demo User type userid

77 Gremlin Demo User initialized type userid

78 Gremlin Demo User initialized Session type userid type sessionid timestamp

79 Gremlin Demo User initialized Session viewed type userid type sessionid timestamp

80 Gremlin Demo User initialized Session viewed Product type userid type sessionid timestamp type category name

81 Gremlin Demo User initialized Session viewed Product type userid type sessionid timestamp type category name 50 users 90 products 102 sessions! 690 edges

82 Analytics

83 Bob Infra: AWS +1.2 bilhões de arestas armazenadas milhões de vértices 20 milhões de recomendações por dia

84 Há vagas! luizalabs.com André Fatala" Diretor Renato Pedigoni" Engenheiro