PROCESSAMENTO DE TEXTO

Transcrição

1 PROCESSAMENTO DE TEXTO (TEXT MINING) Jorge Teixeira IART 2014/2015

2 SAPO LABS ( )

3 AGENDA (Enquadramento na UC de Inteligência Artificial - IART) Parte 1: Introdução à Linguagem Natural Computacional (Secção VI) Processamento de texto (Text Mining) e Processamento da Linguagem Natural Media na Web Parte 2: Aprendizagem Automática (Secção VII) Conceitos gerais de Machine Learning k-nearest Neighbour e Support Vector Machines Caso de estudo

4 PARTE I INTRODUÇÃO À LINGUAGEM NATURAL COMPUTACIONAL

5 TEXT MINING PROCESSAMENTO DA LINGUAGEM NATURAL

6 TEXT MINING stands for? Text mining é uma sub-área do Data Mining Ciência que trata o processamento de informação (texto) Processamento que se espera de elevada qualidade - relevância, novidade, interesse

7 TEXT MINING - Técnicas Extracção de padrões Extracção de entidades Categorização de texto Clustering de texto Análise de sentimento Sumarização de texto Visualização de informação

8 TEXT MINING - Aplicações Internet (online media, social media) TV (user experience) Publicidade Saúde Segurança Smart cities E-learning

9 MEDIA NA WEB

10 ARQUITECTURA Dados Extracção Informação Processamento Informação Visualização Informação

11 MEDIA NA WEB DADOS

12 NOTÍCIAS

13 REDES SOCIAIS

14 MEDIA NA WEB EXTRAÇÃO DE INFORMAÇÃO

15 DISPONIBILIDADE DOS DADOS

16 MEDIA NA WEB PROCESSAMENTO DE INFORMAÇÃO

17 EXTRAÇÃO DE PADRÕES ( )

18 EXTRAÇÃO DE ENTIDADES ( ) ( )

19 RECOMENDAÇÃO DE CONTEÚDO ( ) ( )

20 ANÁLISE DE SENTIMENTO ( )

21 MEDIA NA WEB VISUALIZAÇÃO DE INFORMAÇÃO

22 TWITTEURO ( )

23 MUNDO EM PESSOA ( )

24 LÚSICA ( lusica.labs.sapo.pt )

25 UM PAÍS COMO NÓS ( )

26 MÁQUINA DO TEMPO ( máquinadotempo.sapo.pt )

27 GRANDE ÁREA ( )

28 PARTE II APRENDIZAGEM AUTOMÁTICA

29 Conceitos Gerais Sistemas de aprendizagem automática (ML) aprendem automaticamente a partir de características dos dados. A B C?

30 Conceitos Gerais ML é usada na classificação de conteúdos, filtros de spam, sistemas de recomendação, posicionamento de anúncios, fraude em transações electrónicas, etc. Vamo-nos focar na classificação, um dos principais tipos de ML Um classificador é um sistema que recebe (tipicamente) vectores discretos e/ou contínuos de características (features) e retorna um ou várias classe. Exemplo: sistema de filtro de spam Principais tipos de algoritmos: supervisionados, não-supervisionados e semi-supervisionados A capacidade de generalização do classificador é um dos principais fatores associados à qualidade de um classificador A quantidade de dados nem sempre corresponde a uma melhoria da classificação

31 Conceitos Gerais Learning = Representation + Evaluation + Optimization ( Pedro Domingos A few useful things to know about machine learning. Communications of the ACM, Volume 55, Issue 10, Pages October )

32 Conceitos Gerais

33 k-nearest Neighbour K-NN classifica um exemplo de teste a partir da pesquisa dos k exemplos de treino (vizinhos) mais semelhantes e atribui (prevê) a classe maioritária. Os exemplos de treino são vectores de features num espaço multi-dimensionais, cada um deles com uma classe atribuída. Métricas típicas: distância Euclidiana e distância de Hamming

34 Support Vector Machines Para um dado conjunto de dados de input, prevêem qual das duas classes possíveis caracteriza melhor cada exemplo de teste. É tipicamente um problema de classificação binário. Um modelo SVM é uma representação de pontos no espaço multidimensional, mapeados de tal forma que seja possível criar uma área de separação (margem) entre dois conjuntos de pontos. Cada uma destas áreas representa uma classe.

35 Support Vector Machines A margem entre as classes deve ser a maior possível Os vectores de suporte são vectores perpendiculares ao hiper-plano de separação (margem) que partem do ponto mais próximo de cada uma das classes. SVMs suportam classificação não-linear através de kernels também não lineares.

36 CASO DE ESTUDO

37 VERBETES EXTRACÇÃO AUTOMÁTICA DE MICRO-BIOGRAFIAS

38 O que é o Verbetes? Serviço para pesquisa biográfica de entidades (pessoas, organizações) Este serviço responde a perguntas como: - Quem é Alberto João Jardim? - Qual a profissão/cargo de Paulo Portas em Julho 2011? e hoje? - Quem é o ministro da defesa de Israel?

39 Abordagem usada Abordagem: Identificar nomes de personalidades de notícias Extraír tuplos das notícias com base em padrões [ Pedro Passos Coelho; Primeiro ministro; ; hoje ] Identificar nomes alternativos (Passos Coelho, Passos) Classificar os tuplos como pessoa, organizacão ou outro

40 Desafios Desafios: Desambiguação: - Paulo Bento: seleccionador nacional - Rui Bento: treinador do Beira-Mar - Vítor Bento: economista Inclusão de outras entidades (organizações): - Alfredo da Costa - Jerónimo Martins

41 Tecnologias usadas Tecnologias usadas: Sistema baseado em padrões existentes nas notícias: - O primeiro ministro, Pedro Passos Coelho,... - o ex-primeiro ministro José Sócrates, Baseado essencialmente em técnicas de processamento de linguagem natural e aprendizagem automática. Utilização de CRFs (Conditional Random Fields): - Para a identificação de entidades no texto

42 CONDITIONAL RANDOM FIELDS Dictionary-based annotation C news N initial Iteration 0 Bootstrapping CRF on news Bootstrapping CRF on HAREM N initial + 0,80 Baseline dictionary on news Baseline CRF on news C i Annotate C i with L i & new iteration (i ++) sum(l i ) F-measure 0,70 0,60 0,50 0,40 C i => Features 0,30 0,20 M i 0,10 Test model on C i & Identify new names No 0, Bootstrapping Iteration Stable? Yes NER model L i Jorge Teixeira, Luís Sarmento, Eugénio Oliveira. (2011) A Bootstrapping Approach for Training a NER with Conditional Random Fields Progress in Artificial Intelligence (LNAI 7026), 15th Portuguese Conference on Artificial Intelligence, EPIA 2011, Lisbon, Portugal, October 10-13, 2011, pp

43 RECURSOS DISPONÍVEIS Notícias publicadas em sites de notícias portugueses Citações de personalidades públicas Comentários de notícias Tweets (mensagens de utilizadores portugueses e perfis) Listas de personalidades, co-menções, etc (Verbetes) Listas de profissões, nacionalidades, palavrões, etc (SemanticLists) Listas de palavras polarizadas (sentiment analysis)

44 PROJETOS IART 14/15 Extracção de informação Extracção de outros descritores (projecto Verbetes) Normalização de tópicos ( OE2014 vs Orçamento de Estado 2014 ) Criação de perfis opinativos a partir dos tweets e comentários Aprendizagem Automática (Machine Learinig) Hierarquização de tópicos ( Desporto, Futebol e Liga Sagres ) Identificação de citações com CRFs

45 Q&A Jorge Teixeira - jft@fe.up.pt Sala i124 - Labs Sapo / UP