Aprendizado de Máquina para o Processamento de Língua Natural. Carolina Evaristo Scarton Lianet Sepúlveda Torres

Transcrição

1 Aprendizado de Máquina para o Processamento de Língua Natural Arnaldo Candido Junior Arnaldo Candido Junior Carolina Evaristo Scarton Lianet Sepúlveda Torres

2 Roteiro Parte 1: conceitos e exemplos Parte 2: processando traços Parte 3: geração e avaliação de classificadores Parte 4: mão na massa usando o Weka

3 Roteiro da parte 1: conceitos O que é aprendizado de máquina Tipos de aprendizado de máquina Interpretação gráfica Lidando com erros Exemplos de traços

4 Introdução Desde quando os computadores foram inicialmente pensados, pergunta-se se eles seriam capaz de aprender Seu poder de automatizar diversas tarefas aumentaria Apoiariam os humanos a entender tarefas que ainda não foram bem compreendidas Conceitos Aprendizado de máquina

5 O que é aprendizado de máquina? Um programa aprende uma tarefa se seu desempenho avaliado por uma dada métrica aumenta com a experiência, ou seja, se toma decisões melhores baseadas na solução dos problemas anteriores (Mitchell, 1997) Conceitos Aprendizado de máquina

6 Usos de aprendizado de máquina Dirigir automóveis e veículos não tripulados Diagnosticar pacientes com base em seus sintomas Detectar fraudes no uso de cartão de crédito Identificar estruturas de proteínas PLN (nosso foco) E muitos outros Conceitos Aprendizado de máquina

7 Tipos de aprendizado de máquina Dedução: esses grãos são daquele saco e todos os grãos daquele saco são brancos Logo, esses grãos são brancos Indução: Esses grãos são brancos e são daquele saco Logo, todos os grãos daquele saco são brancos Abdução: Esses grãos são brancos e todos os grãos daquele saco são brancos. Logo: esses grãos são daquele saco Conceitos Aprendizado de máquina

8 Aprendizado de máquina indutivo Aprendizado Indutivo Aprendizado Supervisionado Aprendizado não supervisionado Aprendizado por reforço Classificação* Regressão (*) foco deste tutorial Conceitos Aprendizado de máquina indutivo

9 Tipos de aprendizado indutivo Aprender é: generalizar Supervisionado: um professor guia o aprendizado (ex.: detectar spam em s) Não supervisionado: não há interferência humana (ex.: recomendar livros que um leitor poderia gostar com base nos livros que comprou) Por reforço: um crítico diz se o resultado ficou bom ou não, mas não diz como melhorá-lo (ex. jogo de gamão) Conceitos Aprendizado de máquina indutivo

10 Aprendizado Supervisionado: a classificação Exemplo: dizer se um atleta olímpico é halterofilista ou jogador de basquete olhando apenas sua altura e peso A máquina deve aprender a predizer um conjunto de classes a partir de uma série de traços (também chamados de atributos) Vamos separar o período de aquisição de experiência (treinamento) do uso do conhecimento apreendido (classificação) Conceitos Aprendizado de máquina indutivo

11 Quando usar aprendizado de máquina Em situações em que o erro é aceitável Subestimando o aprendizado de máquina: Deixamos de lado uma ferramenta potencialmente útil para nossa pesquisa Superestimando o aprendizado de máquina: Criaremos sistemas com desempenho muito abaixo do desejado Conceitos Aprendizado de máquina indutivo

12 Exemplo: esporte de atletas olímpicos Dados reais de atletas de Basquete e Levantamento de peso das seleções masculinas que disputaram as Olimpíadas de Londres em Peso Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

13 Traços 2 traços Peso Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

14 Instâncias Peso Uma instância: (1.74m de altura, 102kg de peso) 1. É a lista que contem os valores dos traços de de um atleta 2. É representada como um ponto no gráfico Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

15 Classes Classes: conjunto de atletas do mesmo exporte 2 classes são mostradas Peso Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

16 Uma possível generalização Essa reta é o que faz a generalização funcionar 180 Peso lado do levantamento lado do basquete Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

17 Novas instâncias Peso Esta nova instância será classificada na classe levantamento de peso lado do levantamento lado do basquete Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

18 Outra possível generalização Já esta, será classificada na classe basquete Peso lado do levantamento lado do basquete Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

19 Erros Classificações incorretas 180 Peso lado do levantamento lado do basquete Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

20 Exemplo: região de maior incerteza Região de incerteza 180 Peso lado do levantamento lado do basquete Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

21 Análise de erros para levantamento de peso verdadeiro positivo verdadeiro negativo Peso falso positivo Altura falso negativo Para a classe basquete, a análise deve ser espelhada Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

22 Uma segunda generalização possível Peso Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

23 Uma terceira generalização possível Peso Lado de fora: levantamento Lado de dentro: basquete Altura Basquete Levantamento de peso Conceitos Interpretação gráfica da classificação

24 Exemplo: possível generalização para 3 classes Peso Altura Basquete Esporte hipotético Levantamento de peso Conceitos Interpretação gráfica da classificação

25 Interpretação gráfica no Aprendizado Indutivo Para que serve a interpretação gráfica? Ter uma ideia de como os algoritmos trabalham por dentro, suas capacidades e suas limitações Ter pistas de como decidir melhor os traços É necessário conhecê-la? Não, podemos usar o aprendizado de máquina bem mesmo mesmo sem saber o que os algoritmos estão fazendo por trás Conceitos Interpretação gráfica da classificação

26 Interpretação gráfica no Aprendizado Indutivo Como fica a interpretação para três traços? Ao invés de um gráfico plano, temos um gráfico tridimensional. E para quatro ou mais traços? Não podemos visualizar, mas importante é que a máquina pode Ela manipula as dimensões superiores por meio de equações matemáticas Conceitos Interpretação gráfica da classificação

27 Como o aprendizado indutivo opera? mundo real mundo do aprendizado indutivo entidades complexas (pessoas, textos, etc) Simples instâncias (listas de traços) problemas complexos (classificar, agrupar, induzir, etc) problema de separar pontos no espaço Conceitos Interpretação gráfica da classificação

28 Pontos Chaves da Interpretação Gráfica Problema a ser resolvido: separar pontos no gráfico (versão muito simplificada de problemas do mundo real) Bons traços agrupam melhor os pontos da mesma classe Algoritmos fazem separações de forma diferente (o melhor varia de acordo com problema a ser resolvido) Conceitos Interpretação gráfica da classificação

29 Erros no aprendizado de máquina Suscetível a erros por natureza: Novos dados podem ser muito diferentes dos dados de treinamento Dois atletas de esportes diferentes podem ter mesmo peso e altura! Problemas bem comportados (100% de acerto) já foram resolvidos de outras formas Usa-se quando erros são toleráveis (ex: tradução de máquina pode vir com muitos erros) Conceitos Erros

30 Minimizando erros Bons traços: fundamental para obter-se boas generalizações Bons algoritmos: adequados ao domínio em questão Bons parâmetros (se aplicável): determinados algoritmos funcionam melhor quando calibrados Boas generalizações (tarefa do algoritmo): ele tentara escolher estatisticamente uma entre várias possíveis generalizações Conceitos Erros

31 Exemplo: jogar tênis traços Dia Tempo Temperatura Umidade Vento Jogar tênis? 1 Sol Quente Alta Fraco Não 2 Sol Quente Alta Forte Não 3 Nublado Quente Alta Fraco Sim 4 Chuva Média Alta Fraco Sim 5 Chuva Frio Normal Fraco Sim 6 Chuva Frio Normal Forte Não 7 Nublado Frio Normal Forte Sim 8 Sol Mediana Alta Fraco Não 9 Sol Frio Normal Fraco Sim 10 Chuva Média Normal Fraco Sim 11 Sol Média Normal Forte Sim classes instância Conceitos Exemplos gerais

32 Outro exemplo: diagnóstico traços classes Febre Enjoo Manchas Dor Diagnóstico sim sim pequenas sim doente não não grandes não saudável sim sim pequenas não saudável sim não grandes sim doente sim não pequenas sim saudável não não grandes sim doente Conceitos Exemplos gerais

33 Traços influenciam os possíveis agrupamentos (2) Conceitos Exemplos gerais

34 Traços influenciam os possíveis agrupamentos (3) Idade Gênero Dirige? Conceitos Exemplos gerais

35 Traços influenciam os possíveis agrupamentos (4) Vota? Atividade remunerada? Conceitos Exemplos gerais

36 Instâncias no PLN As instâncias variam de acordo com a tarefa, comumente são extraídas: Fragmentos de áudio (ex. reconhecimento de fala) Orações (ex.: mineração de sentimentos) Textos (ex.: identificar domínio, autor, gênero, etc) Pares de orações (reconhecimento de paráfrases) ou de textos (alinhamento automático) Nesse caso um par vira uma única instância Entre outros Conceitos Exemplos PLN

37 Traços por nível linguístico Baseados nas contagens de palavras Traço: similaridade entre um par de orações Mais 80% de palavras em comum indicativo de paráfrases Baseados nas palavras individuais Traço: presença da palavra péssimo em uma oração É um indicativo do sentimento negativo do autor Conceitos Exemplos PLN

38 Traços por nível linguístico (2) Baseados em sintaxe Traço: orações na voz passiva em um texto Mais de 20% indicativo de que o texto é complexo (ex.: para portadores de afasia) Baseados em semântica Traço: o sujeito da uma oração é um hiperônimo de sua oração predecessora? Indicativo que encontramos um fragmento de cadeia de correferência Conceitos Exemplos PLN

39 Traços por nível linguístico (3) Estado da arte Traços léxicos predominam Traços sintáticos, semânticos e retóricos começarem a se popularizar Não sempre a extração pode ser automatizada (principalmente para o Português) Extração manual é cara Sem extração automática, cenários de uso são mais restritos Conceitos Exemplos PLN

40 Traços por nível linguístico (4) Linguísticas conhecem a língua profundamente, mas possuem pouca experiência propondo traços Computeiros possuem boa experiência com traços, mas não conhecem a língua profundamente Pesquisadores podem melhorar sua capacidade de propor traços com a experiência e acompanhando as pesquisas relacionadas à sua pesquisa Conceitos Exemplos PLN

41 Bag of words Problema: classificar textos entre os gêneros esportivo, biografia e religioso nasceu jogador espírito ( ) classes ( )?? ( )?? ( )?? Conceitos Exemplos PLN

42 Bag of words (2) Palavras viram traços O número de traços pode ser elevado A ordem das palavras não é considerada É uma boa ideia remover stopwords (preposições, artigos, entre outras palavras) para facilitar a vida dos algoritmos Seleção de dados Classificação de textos por gênero

43 Bag of words (3) Variações Usando número de palavras (inteiro) ou presença ausência de palavras (booleano) Usando lemas a variação linguística devido a flexões (lematização) Usando radicais para remover diferentes variações linguísticas (stemming) Seleção de dados Classificação de textos por gênero

44 Traços por aplicação de PLN Análise de classes gramaticais (Part of Speech tagging): Um classificador por palavra Traços são palavras a direita e a esquerda (bag of words) Classes são as possíveis classes gramaticais de uma palavra ambígua Conceitos Exemplos PLN

45 Traços por aplicação de PLN Resolução anafórica Instâncias: candidato a correferente (sintagma nominal) + pronome Traços: Distância entre candidato e o pronome Candidato tem artigo ou pronome demonstrativo Candidato tem nome próprio Classes: é correferente; não é correferente Conceitos Exemplos PLN

46 Traços por aplicação de PLN Sumarização (traços): Posição da oração Similaridade da oração com o título Ocorrência de nomes próprios Ocorrência de anáforas Similaridade da bag of words da sentença com a bag of words do texto completo Classes: incluir no sumário; não incluir Conceitos Exemplos PLN

47 Traços por aplicação de PLN Tradução: podemos gerar um classificador para cada palavra com mais de uma tradução Análogo a análise de PoS Traços são palavras que vem antes e depois Classes são as possíveis traduções Desambiguação de sentido Análogo a tradução Conceitos Exemplos PLN

48 Traços por aplicação de PLN Os exemplos são didáticos: traços nem sempre são extraídos diretamente dos textos Podem originar-se outras representações deles (lógica de predicados, ontologias, grafos, medidas matemáticas diversas, etc) O aprendizado de máquina pode corresponder a uma etapa de uma tarefa tarefa de PLN No exemplo da tradução, ele permite escolher as palavras, mas ainda falta ajustar a ordem delas) Conceitos Exemplos PLN

49 Roteiro da parte 2: processando atributos Seleção de dados (instâncias e atributos) Preparando instâncias e atributos para o aprendizado Problemas com instâncias, atributos e valores

50 Seleção de Dados Conhecimento Informação Dados Selecionar os dados é uma das etapas mais importantes do processo O sucesso ou o insucesso depende da qualidade dos dados escolhidos A maioria dos dados disponíveis não foram coletados para serem utilizados em AM Aqui todo o cuidado é pouco! Você pode ser traído pelos seus dados! Seleção de dados Conceitos

51 Seleção de Dados Em PLN, dados (instâncias e atributos) proveem principalmente de copora e recursos linguísticos Atentar para: idade do corpus, gênero, autor, etc. Textos podem estar repetidos ou duplicados Conferir a codificação é importante para evitar problemas (ex: UTF-8, latin-1, etc.) Todas as classes devem estar representadas! Seleção de dados Conceitos

52 Tipos de atributos Escalas Nominal ou categórica Ordinal Intervalar Razão Alguns algoritmos não aceitam alguns tipos de atributos, é necessário convertê-los Conceitos Tipos de traços

53 Escala nominal Exemplos: cidade, profissão, cor favorita, etc Podemos comparar a igualdade: a profissão de Maria é a mesma de João? Não podemos ordenar: Bombeiro vem antes ou depois de professor? Vermelho < amarelo? Conceitos Tipos de traços

54 Escala ordinal Exemplos: notas (A, B, C, D, E), dia da semana, tamanho (pequeno, médio e grande), etc Podemos comparar a igualdade: o tamanho de Pedro é o mesmo de Henrique? Podemos ordenar: a nota de Mateus é maior que a de Antônio? Não podemos somar: A + B? E E? Conceitos Tipos de traços

55 Escala intervalar Exemplos: temperatura (em Celsius), século (XIX, XX, XXI, etc), entre outros Podemos comparar a igualdade e ordenar Podemos somar: 20 graus + 10 graus = 30 graus Não podemos multiplicar: (o zero é relativo) A temperatura de hoje (20 graus) é o dobro da de ontem (10 graus)??? Metade do Século XX é o Século X??? Conceitos Tipos de traços

56 Escala da razão Exemplos: idade, peso, altura (em metros), temperatura (em Kelvins), entre outras Nota: temos aqui uma um ordinal modificado (altura) e um intervalar modificado (temperatura) Podemos comparar a igualdade, ordenar, somar e multiplicar: Aqui o zero é absoluto Conceitos Tipos de traços

57 Exemplo Classificação de textos por gênero Aquivo Número de Número de Palavras/ Type/ Possui Palavras Sentenças Sentenças Token sentenças na voz passiva? Classe Texto1.txt Não Jornal Texto2.txt Sim Literatura Texto3.txt Sim Jornal Texto4.txt Não Jornal Texto5.txt Sim Literatura Texto1.txt Sim Jornal Seleção de dados Classificação de textos por gênero

58 Exemplo Classificação de textos por gênero Nominal Aquivo Número de Número de Palavras/ Type/ Possui Palavras Sentenças Sentenças Token sentenças na voz passiva? Classe Texto1.txt Não Jornal Texto2.txt Sim Literatura Texto3.txt Escala de 0.88 Sim Jornal razão Texto4.txt Não Jornal Texto5.txt Sim Literatura Texto1.txt Sim Jornal Seleção de dados Classificação de textos por gênero

59 Convertendo atributos para números Alguns algoritmos só reconhecem números Outros apenas categorias nominais Como converter ordinais Segunda, terça, quarta, 1, 2, 3, A, B, C, 5, 4, 3,... Conceitos Tipos de traços

60 Convertendo atributos para números (2) Convertendo nominais de 2 valores Votante: não, sim 0 (não), 1 (sim) Convertendo nominais com 3 ou mais valores Esporte: basquete, futebol ou polo joga_basquete (0 ou 1), joga_futebol (0 ou 1), joga_polo (0 ou 1) 3 valores viraram 3 atributos com 2 valores cada (apenas um traço vale 1 em cada instância) Conceitos Tipos de traços

61 Convertendo atributos para nomes Escala intervalar 0-10 graus celsius: muito_frio graus: frio graus: agradável Idem para escala da razão Até 20 palavras: pequeno Até 200 palavras: médio Mais de 200 palavras: grande Conceitos Tipos de traços

62 Lidando com ruídos Erros podem estar presentes nos dados, são chamados de ruídos Origem dos ruídos: Erros inerentes ao processo de anotação manual Erros ocorridos durante a geração automatizada dos recursos induzem ruído Diversos classificadores tem uma tolerância razoável a ruídos, desde que sejam pouco frequentes Seleção de dados Problemas com os dados

63 Lidando com ruídos Dados com ruídos Algumas soluções O tratamento de ruídos em geral depende do contexto Dado classificado como Literatura que seria bem melhor classificado com Jornal podem ser um erro ou pode ser real Em muitos casos não é possível separar os ruídas das instâncias reais Conviver com os ruídos Seleção de dados Problemas com os dados

64 Instâncias duplicadas Aquivo Número de Número de Palavras/ Type/ Possui Palavras Sentenças Sentenças Token sentenças na voz passiva? Classe Texto1.txt Não Jornal Texto2.txt Sim Literatura Texto3.txt Sim Jornal Texto4.txt Não Jornal Texto5.txt Sim Literatura Texto1.txt Sim Jornal Seleção de dados Problemas com os dados

65 Instâncias duplicadas Instâncias Duplicadas Algumas soluções Quais são os atributos corretos para o texto1.txt? No exemplo aparecem unicamente dois conflitos E se fossem centenas, milhares?? Excluir todos os casos Tentar combinar os casos duplicados (poderia pensar na média dos valores) Seleção de dados Problemas com os dados

66 Valores inconsistentes Valores inconsistentes Algumas soluções Relação type/token com valores negativos Valor inválido para um atributo Número de palavra de um texto é maior ou igual ao número de sentenças Violação de relações previamente estabelecidas entre atributos Se a inconsistência é gerada de forma aleatória pode ser considerada um tipo de ruído Para corrigir este problema é necessário coletar novamente os dados Seleção de dados Problemas com os dados

67 Dados incompletos ou ausentes Dados incompletos ou ausentes Algumas soluções Comumente há instâncias que não tem o valor de um ou mais atributos Descartar instâncias com atributos ausentes Eficiente se as instâncias remanescentes são representativas e Proibitivo se as instâncias mais significativas possuírem valores ausentes Descartar atributos com valores ausentes Eficiente se os atributos não são significativos para solucionar o problema Estimar valores ausentes média, mediana, moda, etc. Seleção de dados Problemas com os dados

68 Outiliers Outliers Algumas soluções Instâncias que apresentam características diferentes do resto das instâncias ou um atributo com um valor pouco usual com respeito aos valores típicos do atributo. Valores fora do padrão nem sempre são um problema Identificação de catáforas Seleção de dados Problemas com os dados

69 Atributos não representativos Aquivo Número de Número de Palavras/ Type/ Possui Palavras Sentenças Sentenças Token sentenças na voz passiva? Classe Texto1.txt Não Jornal O atributo arquivo é necessário para a tarefa? Texto2.txt Sim Literatura Texto3.txt Sim Jornal Texto4.txt Não Jornal Texto5.txt Sim Literatura Texto1.txt Sim Jornal Seleção de dados Problemas com os dados

70 Atributos complementares Aquivo Número de Número de Palavras/ Type/ Possui Palavras Sentenças Sentenças Token sentenças na voz passiva? Classe Texto1.txt Não Jornal E estes atributos? Texto2.txt Sim Literatura Texto3.txt Sim Jornal Texto4.txt Não Jornal Texto5.txt Sim Literatura Texto1.txt Sim Jornal Seleção de dados Problemas com os dados

71 Seleção de Dados Algumas soluções Atributos desnecessários Descartar!!! Descartar os atributos número de palavras e número de sentenças palavras/sentenças é um combinação dos dois Agregação (técnica para redução de dados) Alguns algoritmos podem ter problemas (Naive Bayes) Seleção de dados Conceitos

72 Seleção de Dados Nem todos os problemas apresentados tem solução Por exemplo: ruídos são difíceis de identificar e/ou corrigir Portanto, conhecer a fundo os dados é fundamental para entender o problema E interpretar os resultados! Seleção de dados Conceitos

73 Pré-processamento Conjunto de estratégias e técnicas para melhorar o desempenho (tempo, custo e qualidade da solução) de algoritmos de AM Seleção de dados Amostragem (instâncias) Redução de dimensionalidade Agregação (atributos) Extração de características (atributos) Seleção de atributos (atributos) Transformação de variáveis (valores) É muito caro trabalhar com os dados completos e o consumo de tempo é elevado Pré-processamento Conceitos

74 Amostragem Técnica da estatística também muito útil para AM Seleção de um subconjunto de instâncias (amostra) Geralmente chega a resultados similares ao do conjunto A amostra precisa ser representativa!!! Aproximadamente mesmas propriedades do conjunto Deve fornecer uma estimativa da informação desejada contida na população original Deve permitir tirar conclusões de um todo a partir de uma parte Pré-processamento Amostragem

75 Redução de dimensionalidade Conjuntos da dados com um número muito grande de atributos pode atrapalhar a tarefa Exemplos: text mining cada atributo é uma palavra com sua frequência Traz benefícios: Melhora eficácia e eficiência dos algoritmos Reduz o tamanho necessário da amostra Facilita interpretação e visualização dos dados Exemplos: Processamento de textos Eliminação das stop-words e emprego de lematizadores Pré-processamento Redução de dimensionalidade

76 Maldição de dimensionalidade A medida que o número de atributos aumenta aumenta o número de generalizações ruins, MAS que parecem boas 1 atributo com 10 possíveis valores 10 objetos 5 atributos com 10 possíveis valores 10 5 objetos Enquanto o número de atributos cresce suavemente o número instâncias necessárias para uma boa generalização explode Pré-processamento Redução de dimensionalidade

77 Maldição de dimensionalidade Imagem retirada de: Pré-processamento Redução de dimensionalidade

78 Técnicas para reduzir dimensionalidade Agregação Extração de Características Seleção de Atributos Pré-processamento Redução de dimensionalidade

79 Agregação Combinação de instâncias e atributos Redução dos dados Dados mais estáveis (menos variabilidade) Exemplos: Stemming/lematização em text mining Combinar os atributos número de palavras e número de sentença no lugar de trabalhar com os dois atributos Pré-processamento Redução de dimensionalidade

80 Extração de Características Parte dos atributos definidos podem ser desnecessários ou redundantes Em text mining muitos atributos podem ser irrelevantes (palavras sem conteúdo (artigos, preposições) ou marcas de pontuação) Reconhecimento de Fala Áudio bruto não é um bom atributo para reconhecimento de voz uso de harmônicas de frequência O problema é selecionar o conjunto de atributos que representam melhor os dados Problema: pode ser impossível interpretar os atributos Técnica muito utilizada para domínios em que não é necessário interpretar os atributos (ex: reconhecimento de imagens) Pré-processamento Redução de dimensionalidade

81 Seleção de Atributos Seleção por ordenação ordena os atributos de acordo com sua relevância (para discriminar classes individualmente) e seleciona segunda uma medida Emprega medidas Estatísticas ou da Teoria da Informação Seleção de subconjunto seleciona de acordo a relevância mutua do subconjunto Pré-processamento Extração de Características

82 Seleção de Atributos Filtros realizado a priori e não envolve o algoritmo de classificação (algoritmo alvo) Wrappers algoritmo alvo é usado para guiar a seleção de atributos Embedded seleção ocorre internamente e como parte do algoritmo Pré-processamento Extração de Características

83 Filtros Fácil e rápido Baseado em medidas de informação mútua ou correlação entre os atributos Apenas propriedades intrínsecas dos dados são consideradas Seleção indireta pode levar a resultados inferiores Extração de Características Seleção de Atributos

84 Filtros Mais utilizado no WEKA: InfoGain por ordenação CfsSubsetEval subconjunto Podemos utilizar filtros como este para verificar quais atributos possuem melhor desempenho Exemplo: Classificação de textos por gênero usando atributos de inteligibilidade quais atributos apresentam o melhor desempenho? Extração de Características Seleção de Atributos

85 Wrappers Guiado pelo algoritmo alvo Seleciona os atributos que maximizam a performance do algoritmo Pode ser custuso demais Extração de Características Seleção de Atributos

86 Embedded Seleção de atributos faz parte da estratégia do algoritmo Exemplo clássico: Árvores de decisão!! Veremos árvores mais adiante... Extração de Características Seleção de Atributos

87 Ajustando os dados Além das transformações dos atributos, as vezes é necessário ajustar os valores Normalização Dados numéricos com grande variação Ex: menor valor 500 milhões e maior valor milhões Propriedades estatística indesejadas (não Gaussiana) Os dados são transformados para o intervalo [0,1] o maior valor será 1, o menor 0, e os outros são calculados por regra de três. Alterar as unidades de medida dos atributos Adicionar ou subtrair uma constante e dividir ou multiplicar pela constante Para dados com distribuição Gaussiana Subtrair a média e dividir pelo desvio padrão Pré-processamento Transformação de dados

88 Pré-processamento Esta etapa é muito importante pois interfere diretamente na etapa posterior Conhecer bem os dados e saber aplicar corretamente as técnicas de pré-processamento é, algumas vezes, mais importante do que a escolha do próprio algoritmo! Cuidado para não ser traído pelos próprios dados!!! Pré-processamento Conclusão

89 Roteiro da parte 3: processando traços Algoritmos de classificação Avaliando resultados

90 Algoritmos de classificação Classificação Classificação é feita com base nos atributos dos objetos Exemplo: diagnóstico de um paciente é feito com base nos sintomas observados e os exames realizados Associar objetos a uma categoria ou classe Exemplo: diagnóstico de pacientes (saudável ou doente), classificação de textos (simples ou complexo) Quando são duas classes classificador binário Aprendemos a classificar melhor com o tempo à medida que observamos novos exemplos Algoritmos de Classificação

91 Algoritmos de classificação Classificação Existem várias técnicas, para diferentes contextos... O sucesso de cada técnica depende da tarefa que está sendo desenvolvida Métodos simples, geralmente, funcionam bem e apresentam bons resultados Algoritmos caixa branca são usados quando explicitar o conhecimento é importante. Algoritmos caixa preta é usado para otimizar desempenho do classificador. Algoritmos de Classificação

92 Algoritmos de Classificação Baseado em regras Probabilísticos Baseados em funções matemáticas Baseados em instâncias Baseado em árvores Algoritmos de Classificação Tipos

93 Baseado em regras Simples, mas capaz de alcançar bons resultados Para cada atributo são elaboradas regras de acordo com os valores deste atributo Uma boa estratégia para começar! Try the simplest thing first É possível entender o processo (o resultado é interpretável) 1-rule WEKA: OneR Algoritmos de Classificação Baseados em Regras

94 Baseado em regras Emprego Estado Renda Crédito Sim Solteiro 9500 Sim Não Casado 8000 Não Não Solteiro 7000 Não Sim Casado Sim Não Divorciado 9000 Sim Não Casado 6000 Não Sim Divorsiado 4000 Não Não Solteiro 8500 Sim Não Casado 7500 Não Não Solteiro 9000 Não r1: Emprego=Não Crédito = Não Emprego=Sim Crédito=Sim r2: Emprego=Sim e Estado = Solteiro e Renda > 6000 Crédito =Sim r3: Emprego=Sim e Renda > Crédito=Sim Baseado em Regras Exemplo

95 Probabilísticos Relação entre atributos de entrada e a classe é probabilística Exemplo: Predizer se uma pessoa terá problemas de coração Duas classes Doente e Saudável Atributos de Entrada: peso e frequência de exercícios físicos Modelam relacionamento probabilístico entre atributos de entrada e atributo alvo (classe) Algoritmos de Classificação Probabilísticos

96 Probabilísticos Usam todos os atributos Assumir que todos contribuem igualmente Assumir que são independentes entre si Atributos independentes? praticamente impossível Porém, apresentam resultados consideravelmente bons Considera teoria de probabilidade para definir as contribuições de cada atributo Algoritmo mais famoso: NaiveBayes WEKA: mesmo nome Baseado na teoria de Bayes Algoritmos de Classificação Probabilísticos

97 Baseados em funções matemáticas Utilizam métodos lineares e não lineares para classificação Adequado para dados numéricos Algoritmo mais famoso: SVM WEKA: SMO Não é possível interpretar o resultado (caixa preta) Algoritmos de Classificação Baseados em funções matemáticas

98 Baseados em instâncias Utiliza uma medida de distância para definir quais instâncias dos dados de treinamento está mais próxima de um dado de teste (desconhecido) Conhecidos como algoritmo preguiçoso Não geram um modelo previamente Para classificar um novo objeto olha os dados Medidas mais utilizadas: Distancia Euclidiana e Distancia Coseno Algoritmos de Classificação Baseados em distância

99 Baseados em instâncias Se anda como um cachorro e late como um cachorro, então provavelmente é um... Conjunto de dados Distância Uma nova instância Algoritmos de Classificação Baseados em distância

100 Algoritmo KNN Vizinhos mais próximos Algoritmo mais conhecido: K-NN Weka: IBK 1 Vizinho mais próximo K vizinhos mais próximos Baseados em distâncias Algoritmo KNN Seja k o número de vizinhos mais próximos Para cada novo exemplo Definir a classe dos k exemplos mais próximos Classificar exemplo na classe majoritária entre seus vizinhos

101 Quantidade de vizinhos? Algoritmo KNN Se K muito grande os vizinhos podem ser muito diferentes Se K muito pequeno não há informação suficiente Baseados em distâncias Algoritmo KNN

102 Dividir para Conquistar! Baseados em árvores Um problema complexo é dividido em problemas menores e mais simples Repete o processo recursivamente para cada novo problema Eficaz, eficiente e produz modelos interpretáveis Algoritmos de classificação Baseados em árvores

103 Baseados em árvores Nó raiz >=200 Palavras por sentenças <200 Nó intermediário Type/token Simples >=0.85 <0.85 Nós folhas Complexo Simples Nó raiz e nós intermediários são atributos Nós folhas são as classes Algoritmos de classificação Baseados em árvores

104 Baseados em árvores Indica quais atributos são mais importantes para a classificação FILTRO C4.5 um dos algoritmos mais usados No WEKA: J48 Algoritmos de classificação Baseados em árvores

105 Algoritmos de classificação Mais utilizados SMO J48 Naive Bayes Algoritmos de classificação Baseados em árvores

106 Avaliação dos resultados Desempenho do classificador Dados para treino/validação Dados para teste Métodos de Amostragem Hold-out Cross-validation Algoritmos de classificação Avaliação dos resultados

107 Desempenho de um classificador O classificador deve manter um desempenho adequado para novos conjuntos de dados Estimar a capacidade de generalização do classificador Avaliar a variância (estabilidade) do classificador O conjunto de dados é separado em conjunto de treinamento e conjunto de teste Vários métodos de amostragem dos dados Avaliação dos resultados Desempenho de um classificador

108 Métodos de amostragem Empregados para avaliar o desempenho de um classificador separar em amostras de treinamento e teste Usando os mesmos dados para treinamento e teste podese obter resultados muito otimistas e não reais Principais métodos Hold-out Cross validation Avaliação dos resultados Métodos de amostragem

109 Métodos de amostragem Hold-out Técnica mais simples Divide o conjunto de dados em: Conjunto de treinamento: comunmente 1/2 ou 2/3 dos dados Conjunto de teste: os dados restantes Conjuntos de treinamento e teste não são independentes Usado em grandes conjuntos de dados Avaliação dos resultados Métodos de amostragem

110 Métodos de amostragem Utilizam várias partições do conjunto original de dados para constituir os conjuntos de treinamento e teste Cross-Validation (Validação Cruzada) Divide conjunto de dados em k partições mutuamente exclusivas A cada iteração, uma das k partições é usada para testar o modelo As outras k 1 são usadas para treinar o modelo Taxa de erro é tomada como a média dos erros de teste das k partições Avaliação dos resultados Métodos de amostragem

111 Métodos de amostragem Cross-Validation (Validação Cruzada) Modificada de: Avaliação dos resultados Métodos de amostragem

112 Métodos de amostragem Geralmente utiliza-se k = 10 (10-fold cross-validation) padrão do WEKA Hold-out no WEKA Supplied test set (deve-se dividir o ARFF antes) Avaliação dos resultados Estimativa de erros

113 Desempenho de um classificador Treinamento pode ser insuficiente levando a generalização ruins (undertraining), ou mais que o ideal gerando memorização dos padrões de treinamento (overtraining). Conjunto de teste é usado para prevenir isso. Avaliação dos resultados Estimativa de erros

114 Avaliação dos resultados Matriz de confusão Tipos de erros Precisão Cobertura Medida F Acurácia Avaliação dos resultados

115 Matriz de confusão Matriz de confusão Classe Prevista Classe Verdadeira Jornal Científico Literatura Jornal Científico Literatura Realmente Jornal P N Predito Jornal P N VP FN FP VN Avaliação dos resultados Estimativa de erros

116 Tipos de erros Para duas classes, em geral se adota a convenção de rotular os exemplos da classe de maior interesse como positivos (+) Classe rara ou minoritária Demais exemplos são rotulados como negativos ( ) Exemplo: diagnóstico negativo para indivíduo doente... Avaliação dos resultados Estimativa de erros

117 Tipos de erros Falso Positivo (FP) Um exemplo N foi classificado como P Exemplo: Diagnosticado como doente (classe +) mas está saudável (classe -) Falso Negativo (FN) Um exemplo P foi classificado como N Exemplo: Diagnosticado como saudável (classe -), mas está doente (classe +) Avaliação dos resultados Estimativa de erros

118 Matriz de confusão Matriz de confusão Classe Prevista Classe Verdadeira Jornal Científico Literatura Jornal Científico Literatura Realmente Jornal P N Predito Jornal P N VP FN FP VN Avaliação dos resultados Estimativa de erros

119 Cobertura & Precisão Cobertura (recall) Taxa com que classifica como positivos todos os exemplos que são positivos Nenhum exemplo positivo é deixado de fora Tudo o que é relevante foi recuperado? Todos os exemplos da classe X foram classificados como X? Avaliação dos resultados Avaliação de desempenho

120 Cobertura & Precisão Precisão Taxa com que todos os exemplos classificados como positivos são realmente positivos Nenhum exemplo negativo é incluído Tudo o que foi recuperado é relevante? Todos os exemplos classificados como X são da classe X Avaliação dos resultados Avaliação de desempenho

121 Precisão Primeira classe: primeiro item da diagonal dividido pela soma da primeira coluna Segunda classe: segundo item dividido pela soma da segunda coluna Terceira classe: terceiro item dividido pela soma da terceira coluna Avaliação dos resultados Avaliação de desempenho

122 Cobertura Primeira classe: primeiro item da diagonal dividido pela soma da primeira linha Segunda classe: segundo item dividido pela soma da segunda linha Terceira classe: terceiro item dividido pela soma da terceira linha Avaliação dos resultados Avaliação de desempenho

123 Cobertura & Precisão São medidas locais: Avaliam classe a classe Avaliação dos resultados Avaliação de desempenho

124 Medida-F Média harmônica da precisão e da cobertura Procura otimizar precisão e cobertura a média harmônica é mais influenciada pela pior medida Também é uma medida local Versão não ponderada da medida: 2* prec cob prec+cob Avaliação dos resultados Avaliação de desempenho

125 Medida-F Em verde: classificado como a classe X Em azul: classificado com as demais classes (U universo) Ideal Quando pensamos só na precisão Quando pensamos só na cobertura X U X U X U exemplos classificados como positivos são realmente positivos classifica como positivos todos os exemplos que são positivos Avaliação dos resultados Avaliação de desempenho

126 Acurácia Soma da diagonal dividida pela soma de todos os elementos É uma medida global Avalia todas as classes juntas Cuidado!! Pode ser enganosa em classes desbalanceadas Nesse caso pode ser melhor utilizar as médias das coberturas, médias das precisões e a medida F correspondente Avaliação dos resultados Avaliação de desempenho

127 Hands-on: WEKA

128 Roteiro do hands-on Arquivos.ARFF Classificação de textos por complexidade Seleção de atributos Classificação de textos por domínio Métricas de complexidade Bag-of-words (com seleção de atributos)

129 Download Fazer o download do arquivo EBRALC_ARFF.zip Site: Minicursos Aprendizado de Máquina para tarefas de PLN Arquivos.ARFF

130 Arquivos.ARFF Arquivos de entrada do WEKA Tem duas partes: Cabeçalho Nome da relação Lista de atributos com os tipos Dados Dados separados por vírgula e seguindo a ordem em que os atributos são definidos no cabeçalho

131 tamanho peso class {basquete,levantamento} 1.79,88,basquete 1.86,94,levantamento 1.56,56,levantamento 2.05,106,basquete 1.83,145,levantamento 1.95,89,basquete Dados

132 Arquivos.ARFF Importante manter a estrutura do ARFF Sem esta estrutura o WEKA não funciona!! Os atributos podem ser dos tipos: Numeric (inteiros ou reais) <nominal-specification> (classe entre { }) String Date [<date-format>]

133 Primeiros passos Selecione a opção Explorer

134 Classificação de textos (complexidade) Arquivo: complexidade.arff Córpus Número de Número de Média de palavras Classe textos palavras por textos ZH jornalístico ,518 Complexo CH divulgação científica ,146 Complexo PSFL jornalístico ,006 Simples CHC divulgação científica ,701 Simples

135 Classificação de textos (complexidade) Atributos 49 métricas do Coh-Metrix-Port Métricas de complexidade textual Exemplos: índice Flesch, Pronomes por sintagmas, número de palavras de conteúdo, referência anafórica adjacente...

136 Classificação de textos (complexidade) Selecione Open file...

137 Classificação de textos (complexidade) Selecine Classify

138 Classificação de textos (complexidade) Selecine Choose trees J48

139 Classificação de textos (complexidade)

140 Classificação de textos (complexidade) Repitam o processo: Selecionem Choose functions SMO

141 Seleção de Atributos Selecine Select attributes

142 Seleção de Atributos

143 Seleção de Atributos Botão direito Save reduced data...

144 Classificação de textos (complexidade) Repitam o processo: Utilizem o novo arquivo Classificação

145 Classificação de textos (complexidade)

146 Classificação de textos (domínio) atributos de complexidade Arquivo: dominio.arff Textos extraídos da Wikipedia 13 domínios: arte, biografias, ciências exatas, ciências da natureza, ciências sociais, cultura e sociedade, desporto, geografia, história, literatura, musica, religião, tecnologia Cada classe com 12 textos (total: 156)

147 Classificação de textos (domínio) atributos de complexidade

148 Classificação de textos (domínio) atributos de complexidade Remover atributo texto

149 Classificação de textos (domínio) atributos de complexidade

150 Classificação de textos (domínio) atributos de complexidade Repitam o processo: Utilizem os classificadores nos novos dados

151 Classificação de textos (domínio) atributos de complexidade

152 Seleção de Atributos Repitam o processo: Apliquem seleção de atributos para os novos dados

153 Classificação de textos (domínio) atributos de complexidade Somente 3 atributos selecionados

154 Seleção de Atributos Repitam o processo: Guardem o arquivo.arff somente com os 3 atributos Realizem a classificação novamente Resultados??? Pior com seleção de atributos!!! Por isso, conhecer os atributos e os domínios é muito importante!!!

155 Classificação de textos (domínio) bagof-words Utilizando o WEKA para geração dos atributos Atributos são as próprias palavras Passos: Abrir um prompt de comando do Windows ou um Shell do Linux Entrar na pasta do WEKA Digitar o comando: java -cp weka.jar weka.core.converters.textdirectoryloader -dir text_example > bag.arff

156 Classificação de textos (domínio) bagof-words Abrir o arquivo bag.arff no WEKA Necessário a aplicação do filtro StringtoVector do WEKA

157 Classificação de textos (domínio) bagof-words Selecione Choose filters unsupervised attribute StringtoWordVector

158 Classificação de textos (domínio) bagof-words Usar os dados e repetir o processo: Aplicar classificação Realizar seleção de atributos Aplicar classificação novamente Resultados?? Melhor do que as métricas de complexidade Conclusão: nem sempre as métricas mais robustas são as melhores para a aplicação!!

159 Classificação de textos (domínio) bagof-words Visualizar a árvore de decisão: Botão direito sobre o modelo Visualize tree

160 Classificação de textos (domínio) bagof-words

161 Créditos Slides baseados nas notas de aula dos Professores: Ricardo Campello André C. P. L. F. de Carvalho