Descoberta de conhecimento em textos - Análise semântica. Diogo Cardoso Eduardo Camilo Inácio Eduardo Monteiro Dellandréa Guilherme Gomes

Transcrição

1 Descoberta de conhecimento em textos - Análise semântica Diogo Cardoso Eduardo Camilo Inácio Eduardo Monteiro Dellandréa Guilherme Gomes

2 Introdução Diversidade de textos não padronizados; s, artigos, documentos digitalizados poderiam ser perdidos na ausência de uma análise criteriosa; Expor as técnicas de KDT.

3 Visão Geral KDT Descoberta de Conhecimento em Textos; KDT (Knowledge Discovered in Texts); Feldman e Dagan em 1995; Evolução da técnica de recuperação de informações; Mecanismo de busca X Mineração de texto; Extrair dados, encontrar padrões.

4 Etapas do Processo de Descoberta. 1 - Definição de objetivos. 2 - Seleção dos dados. 3 - Limpeza dos dados. 4 - Redução ou projeção dos dados. 5 - Escolha da técnica, método ou tarefa de mineração. 6 - Mineração.

5 Etapas do Processo de Descoberta. (cont.) 7 - Interpretação dos resultados. 8 - Consolidação do conhecimento descoberto.

6 Técnicas de KDT Desafio Processamento de Linguagens Naturais Abordagens de Aprendizado Supervisionado Não Supervisionado

7 Técnicas de KDT (cont.) Extração de Informação Rastreamento de Tópicos (Topic Tracking) Sumarização Categorização ou Classificação Agrupamento (Clustering) Acoplamento de Conceitos (Concept Linkage) Visualização de Informação Respondendo a Perguntas (Question Answering) Associação

8 Extração de Informação Produzir uma saída estruturada a partir de documentos de texto não estruturados Baseado na identificação de frases-chave a partir de sequências pré-definidas Normalmente associado a uma etapa de préprocessamento de dados

9 Topic Tracking Encontrar documentos relacionados com determinados tópicos Aplicações que buscam documentos baseados no perfil dos usuários (Yahoo! Alerts) Baseado em identificação de palavras-chave nos textos e comparação com tópicos desejados Maior parte dos métodos de identificação de palavraschave utilizam a quantidade de aparições dos termos no texto como métrica

10 Sumarização Criar um resumo ou sumário de um documento automaticamente Busca por palavras ou frases com grande importância no texto Redução do conteúdo sem perda de significado geral Especialmente interessante para documentos muito extensos

11 Categorização Determinar a classe ou categoria a qual pertence um documento Bastante similar a técnica utilizada em Data Mining Capacidade de reconhecimento associada ao conjunto de testes Utilizada para indexação de documentos

12 Clustering Documentos agrupados de acordo com suas semelhanças e co-relacionamentos Bastante similar a técnica utilizada em Data Mining Necessita de avaliação de um especialista do domínio Performance melhorada quando considera a semântica do texto

13 Concept Linkage Identificação de conexões entre documentos Baseado na identificação de conceitos compartilhados entre os documentos Exemplo: Documento 1 relaciona os tópicos X com Y Documento 2 relaciona os tópicos Y com Z Concept Linkage identifica relacionamento entre X e Z

14 Visualização de Informação Apresentação de fontes textuais em uma hierarquia ou mapa Implementações oferecem recursos de navegação e busca Preparação dos dados, análise e extração dos dados, construção da apresentação Utiliza outras técnicas nas etapas de preparação, análise e extração dos dados

15 Question Answering Capacidade de responder perguntas feitas em linguagem natural Utiliza outras técnicas para determinar o assunto da questão Solução para interfaces de entrada de sistemas especialistas

16 Associação Encontrar regras de associação entre tópicos ou conceitos em um conjunto de documentos Determinações do tipo: Se um conceito X existe no documento, então um conceito Y também existe. Bastante similar a técnica utilizada em Data Mining

17 Ferramentas de mineração de conhecimento em textos SAS Text Miner Empresa líder de mercado em soluções de inteligência analítica. Permite análises avançadas, tornando possível compreender as tendências futuras e atuar em novas oportunidades, mais precisamente e com menos risco. Inclui recursos avançados de linguística da solução de mineração de dados núcleo da SAS Enterprise Miner.

18 Ferramentas de mineração de conhecimento em textos SAS Text Miner

19 Ferramentas de mineração de conhecimento em textos Intext Mining - Text Mining Suite Classificação: para identificação de assuntos, temas; Clustering de textos: separação automática de textos em grupos sem a necessidade prévia de determinação do número de grupos; Recuperação de textos por similaridade: a partir de um texto de entrada a ferramenta retorna uma lista de textos similares ordenado por nível de similaridade; Possui um módulo Wizard. Basta responder a algumas perguntas do assistente para receber o resultado da análise.

20 Ferramentas de mineração de conhecimento em textos Intext Mining - Text Mining Suite

21 Ferramentas de mineração de conhecimento em textos IBM TAKMI Text Mining System Uma das várias ferramentas de Data Mining e BI, que trabalham com Text Mining da IBM; Destaca-se pela especialização em mineração de texto para a análise de logs de call centers, mas pode ser aplicável a qualquer tipo de dados de texto grandes em geral; Há também uma versão especializada para a análise de publicações médicas chamada de MedTAKMI.

22 Ferramentas de mineração de conhecimento em textos NetOwl TextMiner Permite encontrar, organizar, analisar e extrair um grande volume de informações não estruturadas. Pesquisa semântica avançada; Integrado Análise Geoespacial; Link de Análise Integrada; Análise biográfica; Reduz o tempo de análise e decisão; Revela riscos e oportunidades; Melhora o serviço ao cliente; Aumenta a introspecção de negócio e tendências.

23 Ferramentas de mineração de conhecimento em textos NetOwl TextMiner

24 Ferramentas de mineração de conhecimento em textos Sobek Desenvolvido por alunos de pós-graduação em educação da Universidade Federal do Rio Grande do Sul (UFRGS). Procura e registra ocorrências de palavras repetidas ou sinônimas no documento, fazendo relações e criando grafos de interação entre elas, expondo os principais termos/conceitos do texto em mineração. Cria um banco de conceitos e possíveis relações associativas para ajudar na procura de palavras-chave, encontrando um maior número de ligações entre os conceitos.

25 Ferramentas de mineração de conhecimento em textos Referral Web Capaz de descobrir quais são as pessoas mais experientes em determinado assunto ou área, além de analisar co-relacionamentos entre pessoas. Princípio de que as pessoas mais experientes são aquelas mais citadas ou requisitadas na rede informal. Utiliza qualquer rede informal on-line ( , foruns, página WEB, sites de busca) como fonte de informação. Site de teste para análise de opinião School of Computer Science, The University of Manchester, UK Somente em Inglês

26 Conclusão Com a grande disponibilidade de textos na internet, uma pesquisa comum não nos fornece todas as informações de uma forma padronizada e estruturada. De acordo com o que foi exposto neste trabalho, o KDT possui técnicas como topic tracking, sumarização, categorização que nos permite selecionar, de forma inteligente, a informação mais útil e relevante.

27 Referências Gupta, V., & Lehal, G. S. (2009). A Survey of Text Mining Techniques and Applications. Journal of Emerging Technologies in Web Intelligence, 1(1), Ferramenta SAS Text Miner, disponível em Ferramenta Text Mining Suite, disponível em Ferramenta SOBEK, disponível em Ferramenta IBM TAKMI, disponível em Ferramenta NetOwl TextMiner, disponível em Ferramenta Referral Web, disponível em