Machine Learning. Classificação de documentos com Apache Mahout.

Transcrição

1

2 Machine Learning Classificação de documentos com Apache Mahout.

3 Agenda Contexto Objetivo Solução Resultados Prática

4 Contexto

5 Contexto Uma assessoria jurídica separa, classifica e encaminha convocações judiciais aos advogados associados. Seu processo de trabalho, inclui: 200+ diários oficiais publicados entre 06h e 11h. Recortar as convocações. Classificação manual (cerca de 80% - 14M / mês).

6 Contexto Exemplo de um recorte de convocação: Fulano Beltrano dos Santos OAB: /SP-A" T.R.T RO 72ª VT de São Paulo. EDITAL Nº / PAUTA DE JULGAMENTO. Ciclano de Souza Silva X Claro S/A, Xpto Teleservicos S.A.

7 Contexto Exemplo de um recorte de convocação: Fulano B Santos OAB: /SP-A" T.R.T RO 72ª VT de São Paulo. EDITAL Nº / PAUTA DE JULGAMENTO. Ciclano de Souza Silva X Claro S/A, Xpto Teleservicos S.A.

8 Contexto Exemplo de um recorte de convocação: Fulano B Santos T.R.T RO 72ª VT de São Paulo. EDITAL Nº / PAUTA DE JULGAMENTO. Ciclano de Souza Silva OAB: /SP-A" X Claro S/A, Xpto Teleservicos S.A.

9 Contexto Os principais objetivos deste processo são: Minimizar spam (?%) e classificação crítica (< 1%). Diferencial de mercado.

10 Contexto O volume de trabalho diário dificulta a evolução do processo: Afoga o departamento de TI e os analistas. Muitos incêndios, sobra pouco tempo para atividades gerenciais.

11 Objetivo

12 Objetivo Melhorar a classificação automatica (~20%) para desafogar a TI, os analistas e a gestão. Premissas, riscos e desafios devem ser considerados: [P]: Criar um classificador que complemente o que já existe. [R]: Spam e classificação crítica (diferencial de mercado). [D]: Ser eficiente sem comprometer o tempo disponível da classificação automática.

13 Objetivo Download dos Diários Oficiais Classificação Aut. Existente Classificação Aut. Complementar Inteligência Artificial Classificação Manual

14 Solução

15 Solução Desenvolver um classificador baseado em inteligência artificial, visto que regras conhecidas (determinísticas ~20%) já são tratadas. Inicialmente pensamos em: Classificação direta (aprendizado supervisionado).

16 Solução Experimentos mostraram que os documentos (convocações judiciais) tinham baixa ocorrência de: Palavras específicas de contexto. Sequência estruturada (bigramas e trigramas). E ai... Desastre! Então...

17 #fiqueiputo

18 Suspeita?

19 Solução

20 Solução Encontrar uma redução que maximize as diferenças entre os dados, para isso tentamos: Redução de PCA [:( Quebrar as convocações em sentenças (separação mais estruturada), para facilitar a classificação de termos e grupos de substantivos / grupos verbais. Ex:

21 Solução FULANO CICLANO DA SILVA São Paulo 44ª Vara do Trabalho ( ). BELTRANO DA SILVA, Empresa Brasileira de Cosmeticos LTDA Intimação. Comparecer na secretaria em 5 dias a fim de retirar alvara. Sentenças: 1. FULANO CICLANO DA SILVA São Paulo 44ª Vara do Trabalho ( ). 2. BELTRANO DA SILVA, Empresa Brasileira de Cosmeticos LTDA Intimação. 3. Comparecer na secretaria em 5 dias a fim de retirar alvara.

22 Solução FULANO CICLANO DA SILVA São Paulo 44ª Vara do Trabalho ( ). BELTRANO DA SILVA, Empresa Brasileira de Cosmeticos LTDA Intimação. Comparecer na secretaria em 5 dias a fim de retirar alvara. Sentenças: 1. FULANO CICLANO DA SILVA São Paulo 44ª Vara do Trabalho ( ). 2. BELTRANO DA SILVA, Empresa Brasileira de Cosmeticos LTDA Intimação. 3. Comparecer na secretaria em 5 dias a fim de retirar alvara.

23 Solução FULANO CICLANO DA SILVA São Paulo 44ª Vara do Trabalho ( ). BELTRANO DA SILVA, Empresa Brasileira de Cosmeticos LTDA Intimação. Comparecer na secretaria em 5 dias a fim de retirar alvara. Sentenças: 1. FULANO CICLANO DA SILVA São Paulo 44ª Vara do Trabalho ( ). 2. BELTRANO DA SILVA, Empresa Brasileira de Cosmeticos LTDA Intimação. 3. Comparecer na secretaria em 5 dias a fim de retirar alvara.

24 Solução Pré-processar os textos, permitiu caracterizar convocações interessantes e convocações a serem descartadas. Isso envolveu: Detectção de sentenças. Classificação de termos. Chunking (dividir texto em palavras sintaticamente correlacionadas, tais como: grupos de substantivos e grupos verbais).

25 Solução Preparação das amostras: Apache Open NLP Separação de sentenças Classificação de termos Chunking Scripts próprios Disparo e coleta do processamento.

26 Solução Classificação de intimações: Apache Mahout Sequencialização das amostras Vetorização dos dados de treino e teste (bag of words) Treinamento Classificação Scripts próprios Disparo das rotinas de processamento.

27 Resultados APROVADOS DESCARTADOS ACERTOS APROVADOS % DESCARTADOS % DESCARTES ERRADOS 0.22% APROVAÇÕES ERRADAS 13.51%

28 Resultados Os resultados se mostraram estáveis (pouca variação) em produção (medição em paralelo com processo existente). Analisar manualmente as aprovações resulta em 64.7% menos trabalho. Minimizar o número de spam Risco: Assume 0.22% de notificações não recebidas. Analisar manualmente as reprovações resulta em 35.3% menos trabalho. Minimizar o número de notificações não recebidas. Assume que 13.51% dos associados receberão spam.

29 Prática

30 Prática Bag of words Sequencialização Vetorização Treinamento Teste

31 Prática Porquê Naive Bayes?

32 Prática Porquê treinar o modelo via linha de comando? Facilidade e agilidade de manutenção. Tratar o treinamento como parte da infraestrutura Subir máquina em núvem Carregar imagem Docker Executar script Descarregar modelo treinado Encerrar máquina

33 Prática Classificação de novos dados:... model = NaiveBayesModel.load("/root/files/model") label = model.predict( newfilepath )...

34 Obrigado