MCZA Processamento de Linguagem Natural Classificação de textos

Transcrição

1 MCZA Processamento de Linguagem Natural Classificação de textos Prof. Jesús P. Mena-Chalco 1Q

2 Bibliografia Daniel Jurafsky & James H. Martin. Speech and language processing: An introduction to natural language processing, computational linguistics, and speech recognition. Pearson/Prentice Hall. 2019? Stanford University University of Colorado, Boulder 2

3 Bibliografia Capítulo 6 3

4 Classificação de animais Classificação == distribuição por classes, categorias ou grupos com características semelhantes. 4

5 classificação de texto? Text classification 5

6 Categorização de textos: Corresponde à tarefa de classificar textos inteiros atribuindo um rótulo (de um conjunto finito de rótulos). 6

7 Um sistema de categorização de textos: - Permite classificar novos documentos - Considera categorias pré-estabelecidas e documentos rotulados. 7

8 Classficação binária Prezado ganhador, Super Desconto Medicamentos... Um sistema de classificação de s 8

9 Classificação Formalmente, a tarefa de classificação pode ser definida como: Dada uma entrada x, e Um conjunto finito de classes Y = {y1, y2,, yn} Determinar, para x, uma classe y que pertence a Y. 9

10 Classificação Formalmente, a tarefa de classificação pode ser definida como: Dada uma entrada x, e Um conjunto finito de classes Y = {y1, y2,, yn} Determinar, para x, uma classe y que pertence a Y. Em Classificação de texto: Documento Dada uma entrada d, e Classe n Um conjunto finito de classes C = {c1, c2,, cn} Determinar, para d, uma classe c que pertence a C. 10

11 Métodos de classificação: Usando regras Uso de regras baseadas em palavras ou combinação de palavras (ou outras características) Black-list-address OR ( dollars AND have been selected ) A acurácia pode ser alta. Se as regras são definidas por especialista(s) A manutenção/atualização das regras pode ser muito cara. 11

12 Métodos de classificação: Usando Aprendizado de Máquina O desafio: Construir um classificador que seja capaz de mapear o novo documento d à sua classe correta ci. Ψ: d c dx (d1,c1) (dx, ci) (d2,c15)... (dm,cn) 12

13 Métodos de classificação: Usando Aprendizado de Máquina Existe uma quantidade grande classificadores: Naive Bayes Regressão logística Support-vector machines (SVM) K-Nearest Neighbors (KNN) 13

14 Classificação de texto usando Naive Bayes Aprendizado supervisionado 14

15 Bag-of-words Um documento pode ser representado como uma bag-of-words Bag-of-words: Conjunto não-ordenado de palavras (desonsidera a gramática, mas mantendo a multiplicidade). 15

16 Bag-of-words Um documento pode ser representado como uma bag-of-words Bag-of-words: Conjunto não-ordenado de palavras (desonsidera a gramática, mas mantendo a multiplicidade). 16

17 Bag-of-visual-words (em imagens) 17

18 Bag-of-words em classificação de textos Tópicos de ciência da computação 18

19 Classificador Naive Bayes Conhecida também como Classificador Bayesiano simples ou ingênuo. É um classificador probabilístico. Usa a representação de textos como bag-of-words. É considerado ingênuo porque considera os atributos condicionalmente independentes (i.e., o valor de um atributo não está relacionado ao valor de um outro atributo). Documento A melhor classe Probabilidade condicional dado um documento d 19

20 Classificador Naive Bayes MAP Maximum a posteriori Qual a probabilidade da classe c aparecer no corpus (treinamento)? O documento d representado por um conjunto de características Simplificação ingênua mas na prática permite resolver grandes problemas 20

21 Classificador Naive Bayes Para aplicar o classificador para a sequência: w1,w2,w3,,wn Considerando bag-of-words (a posição da palavra não importa) As probabilidades P(wi,c) são independentes 21

22 Classificador Bayesiano ingênuo : Aprendizado (treinamento) 22

23 Treinamento Considerando um conjunto de dados de treinamento (corpus rotulado) composto de Ndoc: Ex. (doc1, c1), (doc2, c5), (doc3, c30), (docn, c2) 23

24 Treinamento Considerando um conjunto de dados de treinamento (corpus rotulado) composto de Ndoc: Ex. (doc1, c6), (doc2, c5), (doc3, c1), (docn, c2) Número de documentos cuja classe é igual a c Número de documentos totais (no treinamento) 24

25 Treinamento Número de documentos cuja classe é igual a c Número de documentos totais (no treinamento) Corpus: P(classe_verde) = 3/10 P(classe_vermelha) = 7/10 25

26 Treinamento V é o vocabulário de todo o corpus (ie., de todas palavras de todos os documentos) 26

27 Treinamento V é o vocabulário de todo o corpus (ie., de todas palavras de todos os documentos) Corpus: 27

28 Treinamento Qual seria o valor de P(wx c) quando wx é palavra desconhecida no treinamento? 28

29 Treinamento Qual seria o valor de P(wx c) quando wx é palavra desconhecida no treinamento? Zero! (não importando os outros termos) 29

30 Treinamento Qual seria o valor de P(wx c) quando wx é palavra desconhecida no treinamento? Zero! (não importando os outros termos) Laplace add-1 smoothing Alternativa: 30

31 31

32 Se uma palavra é desconhecida no treinamento, então será desconsiderada (solucção padrão) 32

33 Atividade 33

34 Atividade 1 Considere o seguinte corpus (conjunto de treinamento) contendo duas classes (c1= pos e c2= neg ) Classe Texto neg just plain boring neg entirely predictable and lacks energy neg no surprises and very few laughs pos very powerful pos the most fun film of the summer 34

35 Atividade 1 35

36 Atividade 1 S = predictable with no fun S deve ser classificada como neg 36

37 Atividade 2 I always like foreign films Classe Pos Classe Neg I always like foreign films Considere a mesma probabilidades à priori para cada classe. P( Pos ) = P( Neg ) =

38 Considerações finais 38

39 1) Aplicações Atribuição de categorias, tópicos ou generos. Detecção de SPAM. Identificação de autoria de escrita. Identificação de idade do autor do texto. Identificação de idioma. Análise de sentimentos em texto. 39

40 2) Text categorization Google Ngram Patentes 40

41 2) Categorization usando apenas texto? 41