Universidade do Sul de Santa Catarina Ciência da Computação Aula 09 Introdução a Análise de Textos Prof. Max Pereira

Transcrição

1 Universidade do Sul de Santa Catarina Ciência da Computação Técnicasde InteligênciaArtificial Aula 09 Introdução a Análise de Textos Prof. Max Pereira

2 Processamento de Linguagem Natural Conjunto de técnicas computacionais para analisar e representar textos em um ou mais níveis da análise linguística com o propósito de realizar o processamento da linguagem humana Aplicações Chatterbot Recuperação de informação Mineração de Textos Análise de sentimentos

3

4 Text Mining / Análise de Textos Recuperação e Classificação de termos, fragmentos ou documentos.

5 Preparação dos dados (corpus) Tokenização Dividir um documento em unidades mínimas, que em muitas vezes correspondem a somente uma palavra do texto.

6 Preparação dos dados (corpus) Remoção de stopwords Eliminarostokensque não possuem valor semântico (stopwords). Conjunções, preposições, pronomes e artigos (stoplist). Não contribui para a determinação do valor semântico de um documento.

7 Preparação dos dados (corpus) Lematização (stemming) Normalização Morfológica. Reduzir ao radical original palavras derivadas ou flexionadas.

8 Indexação Indexação dos termos presentes no documento. Técnica para a indexação: índices invertidos. Um índice invertido é uma estrutura de dados composta de uma lista ordenada, que armazena todas as palavras distintas encontradas no texto e a frequência em que elas ocorrem.

9 TF-IDF (term frequency-inverse document frequency) É uma medida estatísticaque determina a importânciade uma palavra para um documento em uma coleção de documentos. O peso aumenta proporcionalmente ao número de vezes que uma palavra aparece no documento, compensado pela frequência da palavra na coleção completa. Calculo de relevância dos termos

10 TF(term frequency) A frequência de um termotfé definida como sendo o número de vezes que o termo aparece no documento. Essa frequência deve ser normalizada para evitar distorções em documentos longos e determinar uma medida de importância do termo t i no documento d j. Onde f i,j é a quantidade de ocorrências do termo t i no documento d j e Ké a quantidade de termos distintos.

11 Exemplo f i,j D1 = AAAB D2 = AAC D3 = AA D4 = BB d j i j 1 (A) 2 (B) 3 (C) 1 (D1) (D2) (D3) t i 4 (D4) i j 1 (A) 2 (B) 3 (C) 1 (D1) 1 0, (D2) 0,66 0 0,33 3 (D3) 0, (D4) 0 0,66 0

12 IDF (inverse document frequency) A frequência de documento invertidaidfé a medida da importância geral do termo. É definida como o logaritmo do quociente entre o número total de documentos De o número de documentos que contém o termo. Onde D ti é o conjunto de documentos que contém o termo t i e D ti é o tamanho de tal conjunto.

13 Exemplo D1 = AAAB D2 = AAC D3 = AA D4 = BB i 1 (A) 2 (B) 3 (C) D ti D = 4 i 1 (A) 2 (B) 3 (C) idf i 0,42 1 2

14 TF-IDF (term frequency-inverse document frequency) O peso TF-IDFé calculado através do produto entre os dois valores TFe IDF O peso TF-IDF é diretamente proporcionalà frequência do termo no documento e inversamente proporcional à frequência do termo na coleção de documentos.

15 Exemplo TF IDF D1 = AAAB D2 = AAC D3 = AA D4 = BB i j 1 (A) 2 (B) 3 (C) 1 (D1) 1 0, (D2) 0,66 0 0,33 3 (D3) 0, (D4) 0 0,66 0 i 1 (A) 2 (B) 3 (C) idf i 0, i j 1 (A) 2 (B) 3 (C) 1 (D1) 0,42 0, (D2) 0,27 0 0,66 3 (D3) 0, (D4) 0 0,66 0

16 Medida de similaridade/distância A medida de similaridadeentre dois documentos é definida como sendo o produto entre os dois pesos TF-IDF, normalizada pelo tamanho do documento utilizado. Uma medida de distânciaentre dois documentos pode ser derivada da similaridade, assumindo que dois documentos muito similares devem possuir uma distância baixa entre eles e, dois documentos pouco similares devem possuir uma distância alta.

17 Medida de distância

18 Similaridade do Cosseno A métrica de similaridade entre vetores (v1, v2): onde

19 Similaridade do Cosseno t1 D1 = [0.3, 0.5] t1 D2 = [0.5, 0.4, 0.3] t1 t3 t2 t2 t3 D busca = [0.2, 0.35, 0.1] t3 sim(d1, D busca ) = 0.45 sim(d2, D busca ) = 0.92

20 Algoritmo básico de recuperação Converter todos os documentos na coleção Dpara vetores ponderados d j com TF- IDF usando cada termo de V(coleção de documentos) Converter a query para um vetor q ponderado com TF-IDF Para cada d j em Dfaça Calcular os valores S j = cos(q,d j ) Ordenar os documentos em ordem decrescente (S j ) Apresentar os nprimeiros documentos