MINERAÇÃO DE DADOS. Thiago Marzagão MINERAÇÃO DE TEXTOS. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
|
|
|
- Kevin Ribas Ferrão
- 7 Há anos
- Visualizações:
Transcrição
1 MINERAÇÃO DE DADOS Thiago Marzagão MINERAÇÃO DE TEXTOS Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
2 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
3 transformando textos em dados Como transformar textos em dados? R: Contar as ocorrências de cada palavra, em cada documento. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
4 bag of words Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
5 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência O resultado é uma matriz de termos-freqüências. Dimensões: qtde. de documentos, qtde. de palavras (no exemplo acima: 2, 13). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
6 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência O resultado é uma matriz de termos-freqüências. Dimensões: qtde. de documentos, qtde. de palavras (no exemplo acima: 2, 13). Ordem das palavras não importa (bag of words). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
7 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência O resultado é uma matriz de termos-freqüências. Dimensões: qtde. de documentos, qtde. de palavras (no exemplo acima: 2, 13). Ordem das palavras não importa (bag of words). Cada documento é uma amostra. Cada palavra é um atributo. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
8 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência O resultado é uma matriz de termos-freqüências. Dimensões: qtde. de documentos, qtde. de palavras (no exemplo acima: 2, 13). Ordem das palavras não importa (bag of words). Cada documento é uma amostra. Cada palavra é um atributo. Cada documento pode estar associado a um y, que pode ser categórico ou contínuo ("livro XYZ", "2,57", "português", "autor XYZ", etc). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
9 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência O resultado é uma matriz de termos-freqüências. Dimensões: qtde. de documentos, qtde. de palavras (no exemplo acima: 2, 13). Ordem das palavras não importa (bag of words). Cada documento é uma amostra. Cada palavra é um atributo. Cada documento pode estar associado a um y, que pode ser categórico ou contínuo ("livro XYZ", "2,57", "português", "autor XYZ", etc)....exatamente igual a todos os datasets (imaginários e reais) que discutimos até agora na disciplina Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
10 transformando textos em dados Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência O resultado é uma matriz de termos-freqüências. Dimensões: qtde. de documentos, qtde. de palavras (no exemplo acima: 2, 13). Ordem das palavras não importa (bag of words). Cada documento é uma amostra. Cada palavra é um atributo. Cada documento pode estar associado a um y, que pode ser categórico ou contínuo ("livro XYZ", "2,57", "português", "autor XYZ", etc)....exatamente igual a todos os datasets (imaginários e reais) que discutimos até agora na disciplina...o que nos permite usar regressão, classificação, clusterização Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
11 aplicações comuns Identificar automaticamente o autor de um documento (classificação). Agrupar um conjunto de documentos por autores ou tópicos (clusterização). Prever a "positividade" ou "negatividade" de um documento (regressão). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
12 transformando textos em dados: textos curtos e longos É difícil comparar documentos de tamanhos muito diferentes. Imagine 2 textos com as mesmas palavras, mas texto 1 tem dois parágrafos e texto 2 tem 400 páginas. Solução: normalizar cada vetor. L1: usar freqüências relativas em vez de absolutas. L2: dividir cada elemento do vetor pelo comprimento do vetor. Exemplo: v = [3; 10; 4] Comprimento de v = = 11, 38 [ ] 3 v normalizado = 11, 38 ; 10 11, 38 ; 4 = [0, 26; 0, 89; 0, 35] 11, 38 Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
13 transformando textos em dados: textos curtos e longos TF: Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligência TF normalizada: Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligênc 0,27 0,27 0,53 0,27 0,53 0,27 0,27 0, , ,32 0,32 0,32 0,32 0,63 0,32 Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
14 transformando textos em dados: o peso de cada palavra A matriz de termos-freqüências (TF) dá igual peso a todas as palavras. I.e., na hora de regredir/classificar/clusterizar, "a", "de", "para", "não", etc, têm peso igual a "trabalho", "clientes", "inteligência", etc. Isso é ruim: palavras mais comuns (artigos, preposições, etc) deveriam ter peso menor, pois são menos discriminantes. Solução #1: ignorar palavras comuns como artigos e preposições (stopwords). É uma solução bastante comum. E vários pacotes de mineração de textos já vêm com listas de stopwords p/ diferentes idiomas. Ex.: NLTK (Python) import nltk stopwords = nltk.corpus.stopwords.words( portuguese ) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
15 transformando textos em dados: o peso de cada palavra A matriz de termos-freqüências (TF) dá igual peso a todas as palavras. I.e., na hora de regredir/classificar/clusterizar, "a", "de", "para", "não", etc, têm peso igual a "trabalho", "clientes", "inteligência", etc. Isso é ruim: palavras mais comuns (artigos, preposições, etc) deveriam ter peso menor, pois são menos discriminantes. Solução #1: ignorar palavras comuns como artigos e preposições (stopwords). É uma solução bastante comum. E vários pacotes de mineração de textos já vêm com listas de stopwords p/ diferentes idiomas. Mas é uma solução que traz seus próprios problemas. Quão comum precisa ser a palavra p/ ser considerada uma stopword? E o que fazer quando o problema concreto em mãos é um problema de estilometria? Nesses casos podemos estar interessados justamente nas stopwords. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
16 transformando textos em dados: o peso de cada palavra A matriz de termos-freqüências (TF) dá igual peso a todas as palavras. I.e., na hora de regredir/classificar/clusterizar, "a", "de", "para", "não", etc, têm peso igual a "trabalho", "clientes", "inteligência", etc. Isso é ruim: palavras mais comuns (artigos, preposições, etc) deveriam ter peso menor, pois são menos discriminantes. Solução #2: usar T F IDF em vez de T F IDF = inverse document frequency IDF t = log N df t N = qtde. de documentos df t = qtde. de documentos em que o termo t aparece T F IDF t,d = T F t,d IDF t Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
17 transformando textos em dados: o peso de cada palavra IDF = inverse document frequency IDF t = log N df t N = qtde. de documentos df t = qtde. de documentos em que o termo t aparece T F IDF t,d = T F t,d IDF t O peso de cada termo (t):... aumenta quando t aparece muitas vezes em poucos documentos... diminui quando t aparece em muitos documentos... diminui quando t aparece poucas vezes no documento I.e., o peso de t é maior quando t é mais discriminante. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
18 transformando textos em dados: o peso de cada palavra Documento 1: "Não trabalho para ter clientes; tenho clientes para poder trabalhar." Documento 2: "Não se pode forçar a inteligência a trabalhar." TF (normalizada): Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligênc 0,27 0,27 0,53 0,27 0,53 0,27 0,27 0, , ,32 0,32 0,32 0,32 0,63 0,32 TFIDF: Não trabalho para ter clientes tenho poder trabalhar se pode forçar a inteligênci 0 0,08 0,16 0,08 0,16 0,08 0, ,1 0,1 0,1 0,19 0,1 Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
19 transformando textos em dados: o peso de cada palavra Todo pacote decente de mineração de dados tem uma função p/ gerar TFIDF. Exemplo: scikit-learn (Python) from sklearn.feature_extraction.text import TfidfVectorizer tfidf_maker = TfidfVectorizer() documents = [ Não trabalho para ter clientes; tenho clientes para poder trabalhar.", "Não se pode forçar a inteligência a trabalhar."] tfidf = tfidf_maker.fit_transform(documents) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
20 transformando textos em dados: pré-processamento Caracteres especiais (caracteres acentuados, símbolos, etc) freqüentemente resultam em erros. É preciso descobrir qual o encoding (codificação) dos documentos (UTF-8, Windows-1252, etc) e informar esse encoding p/ o pacote que vai carregar os dados. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
21 transformando textos em dados: pré-processamento Às vezes não queremos diferenciar entre, digamos, "trabalho" e "trabalhar". Nesse caso substituímos a palavra por sua raiz: "trabalh". O nome disso é lematização (stemming). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
22 transformando textos em dados: pré-processamento Às vezes não estamos interessados em determinadas expressões: "saia justa", "processamento de linguagem natural", etc. Nesses casos podemos escolher trabalhar com bigramas, trigramas, etc, em vez de unigramas. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
23 minerando textos: similaridade do co-seno Como medir a similaridade entre dois documentos? Passo 1: vetorizar cada documento (bag of words, normalização, TFIDF). Passo 2: computar o produto escalar dos dois vetores. Esse produto é o co-seno do ângulo entre os dois vetores. Quanto mais próximo de 0, mais diferentes os documentos; quanto mais próximo de 1, mais similares os documentos. (O co-seno varia, em tese, entre -1 e +1; mas quando se trata de documentos o co-seno é sempre não-negativo, pois o TF ou TFIDF não tem elementos negativos.) Aplicação comum: text retrieval (similaridade entre expressão pesquisada e documentos disponíveis.). Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
24 minerando textos: análise de sentimentos Objetivo: medir "sentimento" de cada texto, ao longo de alguma escala: triste-feliz, satisfeito-insatisfeito, etc. Manualmente: lista de palavras que denotam sentimento e respectivos scores. Score do documento é o score médio de suas palavras. Automaticamente: documentos pré-scored como dataset de treinamento e então regressão. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
25 transformando textos em dados: o problema da dimensionalidade O número de dimensões (colunas) no dataset aumenta rapidamente conforme aumenta a quantidade de documentos. (Minha tese: 42 milhões de documentos, 6,3 milhões de palavras diferentes.) Soluções: 1) algoritmos de redução de dimensionalidade (LSA); "combinam" colunas 2) algoritmos de extração de tópicos (LDA, HDP) Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1/ / 25
DATA MINING & MACHINE LEARNING (I) Thiago Marzagão
DATA MINING & MACHINE LEARNING (I) Thiago Marzagão transformando textos em dados Documento 1: Não trabalho para ter clientes; tenho clientes para poder trabalhar. Documento 2: Não se pode forçar a inteligência
Aprendizado de Supervisionado
Aprendizado de Supervisionado Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Padronizando e Normalizando os Atributos 2. Tipos de Atributos 3. Representação Textual 1 Padronizando e
Melhorando a Recuperação de Informação
Recuperação de Informação e Web Mining 1 Melhorando a Recuperação de Informação O modelo de espaço vetorial Utiliza pesos para termos Permite o ranqueamento dos resultados Pode reduzir a dimensão do espaço
Profª Ana Lúcia Lima Marreiros Maia Profª Fabiana Cristina Bertoni
Profª Ana Lúcia Lima Marreiros Maia Profª Fabiana Cristina Bertoni Motivação e Objetivos Etapas do Desenvolvimento de um Sistema de Recuperação de Informações (SRI): Pré-processamento; Representação; Extração
Aula 3: Manipulando Textos e Imagens
Mineração de Dados Aula 3: Manipulando Textos e Imagens Rafael Izbicki 1 / 24 Nesta Aula: Vamos aprender como manipular imagens e textos (no R). 2 / 24 Em estatística, estamos acostumados a trabalhar com
GSI024 - Organização e Recuperação da
GSI024 - Organização e Recuperação da Informação Ilmério Reis da Silva ilmerio@facom.ufu.br UFU/FACOM/BSI Arquivo 5 - Peso de termos GSI024-ORI Pg:5. 1 Busca paramétrica usando atributos Regiões em documentos
Thiago Marzagão LSA, LDA
MINERAÇÃO DE DADOS Thiago Marzagão marzagao.1@osu.edu LSA, LDA Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 16 problema de trabalhar c/ textos: dimensionalidade A quantidade de colunas cresce rapidamente
Universidade do Sul de Santa Catarina Ciência da Computação Aula 09 Introdução a Análise de Textos Prof. Max Pereira
Universidade do Sul de Santa Catarina Ciência da Computação Técnicasde InteligênciaArtificial Aula 09 Introdução a Análise de Textos Prof. Max Pereira Processamento de Linguagem Natural Conjunto de técnicas
DATA MINING & MACHINE LEARNING (I) Thiago Marzagão
DATA MINING & MACHINE LEARNING (I) Thiago Marzagão problema de trabalhar c/ textos: dimensionalidade A quantidade de colunas cresce rapidamente com a quantidade de documentos problema de trabalhar c/ textos:
ORI: Pontuação e o modelo de espaço vetorial
1/1 ORI: Pontuação e o modelo de espaço vetorial Marcelo Keese Albertini Faculdade de Computação Universidade Federal de Uberlândia Índice 2/1 3/1 Veremos hoje Ordenando resultados de busca: importância
Mineração de Textos. Mineração de Textos
Mineração de Textos Os estudos em Aprendizado de Máquina normalmente trabalham com dados estruturados Entretanto, uma grande quantidade de informação é armazenada em textos, que são dados semi-estruturados
UMA ABORDAGEM BASEADA EM MÉTRICAS DE REDES COMPLEXAS PARA O ESTABELECIMENTO DO GRAU DE INFLUÊNCIA DE TERMOS EM DOCUMENTOS
UMA ABORDAGEM BASEADA EM MÉTRICAS DE REDES COMPLEXAS PARA O ESTABELECIMENTO DO GRAU DE INFLUÊNCIA DE TERMOS EM DOCUMENTOS Wladmir Cardoso Brandão Fernando Silva Parreiras GT8 - INFORMAÇÃO E TECNOLOGIA
Implementação de Kernel Customizado Aplicado à Análise de Sentimentos em Resenhas de Filmes
Implementação de Kernel Customizado Aplicado à Análise de Sentimentos em Resenhas de Filmes Luciana Kayo e Paulo Mei Prof. Dr. Marco Dimas Gubitoso Introdução Inspiração na competição When Bag of Words
Lista de exercícios 2 Recuperação de Informação Textual
Lista de exercícios 2 Recuperação de Informação Textual 2 de dezembro de 2015 0.1 O que é o modelo bag-of-words? Porque ele é uma simplificação? Dê um exemplo em que ele estaria incorreto. 0.2 O que é
O modelo espaço de vetores. vetorial. Marcelo Keese Albertini. Faculdade de Computação - UFU 12/03/2013. O modelo de espaço vetorial 1 / 27
Recuperação de Informação: O modelo de espaço vetorial Marcelo Keese Albertini Faculdade de Computação - UFU 12/03/2013 O modelo de espaço vetorial 1 / 27 Veremos hoje Modelo de espaço de vetores: representação
textos documentos semi-estruturado
1 Mineração de Textos Os estudos em Aprendizado de Máquina normalmente trabalham com dados estruturados Entretanto, uma grande quantidade de informação é armazenada em textos, que são dados semiestruturados
Álgebra Linear Aplicada à Compressão de Imagens. Universidade de Lisboa Instituto Superior Técnico. Mestrado em Engenharia Aeroespacial
Álgebra Linear Aplicada à Compressão de Imagens Universidade de Lisboa Instituto Superior Técnico Uma Breve Introdução Mestrado em Engenharia Aeroespacial Marília Matos Nº 80889 2014/2015 - Professor Paulo
O modelo espaço de vetores. vetorial. Marcelo Keese Albertini. Faculdade de Computação - UFU. O modelo de espaço vetorial 1 / 25
Recuperação de Informação: O modelo de espaço vetorial Marcelo Keese Albertini Faculdade de Computação - UFU O modelo de espaço vetorial 1 / 25 Veremos hoje Modelo de espaço de vetores: representação vetorial
Extraindo atributos de textos. Prof. Fabrício Olivetti de França
Extraindo atributos de textos Prof. Fabrício Olivetti de França Configuração Faça o download do Anaconda Python: https://www.continuum.io/downloads E do notebook: http://folivetti.github.io/courses/lcon2016/
Descoberta de conhecimento em redes sociais e bases de dados públicas
Descoberta de conhecimento em redes sociais e bases de dados públicas Trabalho de Formatura Supervisionado Bacharelado em Ciência da Computação - IME USP Aluna: Fernanda de Camargo Magano Orientadora:
Term weighting: outras ideias
Term weighting: outras ideias Term Weighting i Diversas são as abordagens. Vamos discutir algumas ideias mais simples, porém conhecidas. i Abordagens 4 Pesos binários (já vimos) 4 Frequência (já vimos)
Ponderação de termos
Ponderação de termos Wendel Melo Faculdade de Computação Universidade Federal de Uberlândia Recuperação da Informação Adaptado do Material da Profª Vanessa Braganholo - IC/UFF Parte da ideia de que, dentro
Visualização de Texto e Documento
Visualização de Texto e Documento SCC5836 Visualização Computacional Prof. Fernando V. Paulovich http://www.icmc.usp.br/~paulovic paulovic@icmc.usp.br Instituto de Ciências Matemáticas e de Computação
Modelo Espaço Vetorial. Mariella Berger
Modelo Espaço Vetorial Mariella Berger Agenda Introdução Atribuição de Pesos Frequência TF-IDF Similaridade Exemplo Vantagens e Desvantagens Modelo Espaço Vetorial Introdução Modelo Espaço Vetorial O modelo
PROCEDIMENTOS PARA INCLUSÃO DE PERIÓDICOS NO PORTAL DE PERIÓDICOS FCLAR UNESP
PROCEDIMENTOS PARA INCLUSÃO DE PERIÓDICOS NO PORTAL DE PERIÓDICOS FCLAR UNESP Os editores interessados em incluir sua revista no Portal de Periódicos FCLAr UNESP, devem apresentar um breve projeto, em
GSI024 - Organização e Recuperação da
GSI024 - Organização e Recuperação da Informação Ilmério Reis da Silva ilmerio@facom.ufu.br UFU/FACOM/BSI Arquivo 6 - Modelo Vetorial GSI024-ORI Pg:6. 1 Ranking baseado no modelo vetorial Considerações
Pré-processamento de dados
Pré-processamento de dados Clodoaldo A. M. Lima, Sarajane M. Peres 13 de agosto de 2015 Programa de Pós-Graduação em Sistemas de Informação Mestrado acadêmico - EACH - USP http://ppgsi.each.usp.br Clodoaldo
Organizaçãoe Recuperaçãode Informação GSI521. Prof. Dr. Rodrigo Sanches Miani FACOM/UFU
Organizaçãoe Recuperaçãode Informação GSI521 Prof. Dr. Rodrigo Sanches Miani FACOM/UFU Pré-processamento de documentos Organização e Recuperação de Informação(GSI521) Introdução O pré-processamento de
Identifique um número! MINERAÇÃO DE DADOS E TEXTOS MOTIVAÇÃO. Observe a imagem... SCC-230 Inteligência Artificial
MINERAÇÃO DE DADOS E TEXTOS SCC-230 Inteligência Artificial Solange Oliveira Rezende Bruno Magalhães Nogueira Thiago A. S. Pardo MOTIVAÇÃO Observe a imagem... Identifique um número! 2 1 MOTIVAÇÃO 3 MOTIVAÇÃO
Aula 7 Medidas de Distância. Profa. Elaine Faria UFU
Aula 7 Medidas de Distância Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof Andre C. P. L. F. Carvalho Agradecimentos Ao professor André
CEFET/RJ. Aprendizado de Máquina - Trabalho 01
CEFET/RJ Programa de Pós-graduação em Ciência da Computação Aprendizado de Máquina - Trabalho 01 Prof. Eduardo Bezerra (ebezerra@cefet-rj.br) Setembro/2017 Conteúdo 1 Regressão Linear com uma Variável
Computação Gráfica. Engenharia de Computação. CEFET/RJ campus Petrópolis. Prof. Luis Retondaro. Aula 3. Transformações Geométricas
Computação Gráfica Engenharia de Computação CEFET/RJ campus Petrópolis Prof. Luis Retondaro Aula 3 Transformações Geométricas no plano e no espaço Introdução (Geometria) 2 Pontos, Vetores e Matrizes Dado
4 Recuperação de Informação
4 Recuperação de Informação No presente capítulo são apresentados os fundamentos da área de Recuperação de Informação utilizados em Mineração de Textos, como por exemplo, os modelos de representação de
Mineração de Opinião Aplicada ao Cenário Político
Mineração de Opinião Aplicada ao Cenário Político Leandro Massetti Ribeiro Oliveira 1, Vandecia Rejane Monteiro Fernandes 1 1 Engenharia da Computação - Universidade Federal do Maranhão (UFMA) São Luis
Segundo trabalho de Organização e Recuperação da Informação
FACOM- UFU Professor: Wendel Melo Segundo trabalho de Organização e Recuperação da Informação 2018-02 Descrição Este trabalho consiste em duas etapas: 1. Implementação de cálculo da ponderação TF-IDF,
APRENDIZAGEM DE MÁQUINA
APRENDIZAGEM DE MÁQUINA (usando Python) Thiago Marzagão ÁRVORE DE DECISÃO & VALIDAÇÃO Thiago Marzagão APRENDIZAGEM DE MÁQUINA 1 / 20 árvore de decisão Aulas passadas: queríamos prever variáveis quantitativas.
Ferramentas para Recuperação e Mineração de Informações
Ferramentas Java para Recuperação e Mineração de Informações Fabrício J. Barth 1,2 1 Fundação Atech Tecnologias Críticas (fbarth@atech.br) 2 Centro Universitário SENAC (fabricio.jbarth@sp.senac.br) 9 de
Agrupamento de dados. Critério 1: grupos são concentrações de dados k-means Critério 2: grupos são conjuntos de elementos próximos entre si espectral
Agrupamento de dados Critério 1: grupos são concentrações de dados k-means Critério 2: grupos são conjuntos de elementos próximos entre si espectral Dados e grafos Se temos dados x i, i 0... n, criamos
I-Preproc: uma ferramenta para pré-processamento e indexação incremental de documentos
17 I-Preproc: uma ferramenta para pré-processamento e indexação incremental de documentos Renan Gomes Pereira 1 Maria Fernanda Moura 2 Resumo: O objetivo deste trabalho é apresentar a ferramenta I-Preproc,
Apoio a mediação pedagógica em um Debate de Teses utilizando técnicas de processamento de texto
Apoio a mediação pedagógica em um Debate de Teses utilizando técnicas de processamento de texto Sabrina Siqueira Panceri 1, Crediné Silva de Menezes 1 2 1 Programa de Pós Graduação em Informática Universidade
Processamento de Imagens CPS755
Processamento de Imagens CPS755 aula 05 - sistemas lineares - parte 2 Antonio Oliveira Ricardo Marroquim 1 / 27 laboratório de processamento de imagens tópicos métodos lineares mínimos quadrados equações
Aula de Hoje. Processamento Estatístico da Linguagem Natural. Good-Turing. Good-Turing. Good-Turing. Técnicas de smoothing melhores
Processamento Estatístico da Linguagem Natural Aula 10 Professora Bianca (Sala 302 Bloco E) bianca@ic.uff.br http://www.ic.uff.br/~bianca/peln/ Aula de Hoje Cap. 4 Jurafsky & Martin Seções 4.5.1, 4.5.2,
Relatório para a Tarefa de Análise de Sentimentos
Relatório para a Tarefa de Análise de Sentimentos Identificação: Nome:Alessandra Técnicas Utilizadas Para a execução desta tarefa, foram utilizadas técnicas de limpeza de dados. Foram removidos dos tweets:
Redução de Dimensionalidade, DCDistance, e CARFRE
Redução de Dimensionalidade, DCDistance, e CARFRE Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Redução de Dimensionalidade 2. Análise de Componentes Principais 3. DCDistance - Document-Class
Aula 8 - Reconhecimento e Interpretação. Prof. Adilson Gonzaga
Aula 8 - Reconhecimento e Interpretação Prof. Adilson Gonzaga Elementos de Visão Computacional: Visão Computacional Processamento de Baio Nível Processamento de Nível Intermediário Processamento de Alto
MODELO DE CLASSIFICAÇÃO AUTOMÁTICA DE QUESTÕES NA LÍNGUA PORTUGUESA Henrique Maia Braum 1, Sandro José Rigo 1, Jorge L. V.
CINTED- Novas Tecnologias na Educação 1 MODELO DE CLASSIFICAÇÃO AUTOMÁTICA DE QUESTÕES NA LÍNGUA PORTUGUESA Henrique Maia Braum 1, Sandro José Rigo 1, Jorge L. V. Barbosa 1 1 UNISINOS Universidade do Vale
Faculdades Integradas Rui Barbosa Programação II Prof. Marcos Antonio Estremote. Exercícios com Vetores e Matrizes
Faculdades Integradas Rui Barbosa Programação II Prof. Marcos Antonio Estremote Exercícios com Vetores e Matrizes 1. Leia um vetor de 12 posições e em seguida ler também dois valores X e Y quaisquer correspondentes
Aprendizado de Máquina
Aprendizado de Máquina Introdução Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://lesoliveira.net Luiz S. Oliveira (UFPR) Aprendizado de Máquina 1 / 19 Introdução
Tutorial sobre o MineraFórum I. Introdução
Tutorial sobre o MineraFórum I. Introdução O MineraFórum é um minerador de textos para fóruns de discussão. A ferramenta realiza um mapeamento dos principais conceitos relacionados ao tema em debate, calculando
Aprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 01 Motivação, áreas de aplicação e fundamentos Max Pereira Nem todo conhecimento tem o mesmo valor. O que torna determinado conhecimento mais importante que
Recuperação de Informação
Recuperação de Informação Estrutura de Dados II Mariella Berger 1 Roteiro Tarefas de Recuperação de Informação Modelos de Recuperação de Documentos Modelo Booleano Modelo Espaço Vetorial Recuperação de
CLASSIFICAÇÃO AUTOMÁTICA DE PATENTES COM O MODELO VETORIAL DE REPRESENTAÇÃO DE DOCUMENTOS
III SBA Simpósio Baiano de Arquivologia 26 a 28 de outubro de 2011 Salvador Bahia Políticas arquivísticas na Bahia e no Brasil CLASSIFICAÇÃO AUTOMÁTICA DE PATENTES COM O MODELO VETORIAL DE REPRESENTAÇÃO
Pré-processamento de Dados
Pré-processamento de Dados Fabrício Olivetti de França Universidade Federal do ABC Pré-Processamento dos Dados Tópicos 1. Pré-Processamento dos Dados 2. Conceitos Básicos 3. Representação Textual 4. Padrões
News Clipping. Como calcular ângulos entre notícias pode ajudar na prevenção à lavagem de dinheiro. Willian Gigliotti
News Clipping Como calcular ângulos entre notícias pode ajudar na prevenção à lavagem de dinheiro Willian Gigliotti wgigliotti@gmail.com Departamento de Ciências da Computação Instituto de Matemática e
SEL-0339 Introdução à Visão Computacional. Aula 7 Reconhecimento de Objetos
Departamento de Engenharia Elétrica - EESC-USP SEL-0339 Introdução à Visão Computacional Aula 7 Reconhecimento de Objetos Prof. Dr. Marcelo Andrade da Costa Vieira Prof. Dr. Adilson Gonzaga mvieira@sc.usp.br
Thiago Marzagão 1. 1 Thiago Marzagão (Universidade de Brasília) MINERAÇÃO DE DADOS 1 / 21
MINERAÇÃO DE DADOS Thiago Marzagão 1 1 marzagao.1@osu.edu ÁRVORE DE DECISÃO & VALIDAÇÃO Thiago Marzagão (Universidade de Brasília) MINERAÇÃO DE DADOS 1 / 21 árvore de decisão Aulas passadas: queríamos
INF 1771 Inteligência Artificial
Edirlei Soares de Lima INF 1771 Inteligência Artificial Aula 18 Aprendizado Não-Supervisionado Formas de Aprendizado Aprendizado Supervisionado Árvores de Decisão. K-Nearest Neighbor
Álgebra Linear Semana 03
Álgebra Linear Semana 3 Diego Marcon de Abril de 27 Conteúdo Dependência e independência linear 2 Independência linear e sistemas lineares 3 3 Transformações lineares 4 4 Matriz de uma transformação linear
Aprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 07 Classificação com o algoritmo knn Max Pereira Classificação com o algoritmo k-nearest Neighbors (knn) Como os filmes são categorizados em gêneros? O que
Meu Google é melhor que o seu
Estrutura de Dados II Universidade Federal de Juiz de Fora 2013.3 Trabalho Prof. Jairo Francisco de Souza Meu Google é melhor que o seu 1. Problema 1: Construção do Índice Invertido para Máquinas de Busca
6 Atributos. A dívida da empresa subiu.
6 Atributos Para buscar o sentimento de um texto automaticamente precisamos encontrar boas pistas ao longo do discurso. Uma grande variedade de palavras e expressões possui conotação positiva ou negativa,
PLANO DE AULA. OBJETIVO: Conhecer os programas para editar textos: WordPad e Microsoft Office Word 2007.
PLANO DE AULA DATA: CARGA HORÁRIA: 2h PROFESSOR: Ivan de Jesus Ribeiro OBJETIVO: Conhecer os programas para editar textos: WordPad e Microsoft Office Word 2007. METODOLOGIA DE ENSINO: Dialogada, Expositiva
Inteligência Artificial
Universidade Federal de Campina Grande Departamento de Sistemas e Computação Pós-Graduação em Ciência da Computação Inteligência Artificial Aprendizagem Outras Técnicas Prof. a Joseana Macêdo Fechine Régis
Redes Complexas Aula 7
Redes Complexas Aula 7 Aula retrasada Lei de potência Distribuição Zeta Propriedades Distribuição Zipf Exemplo Wikipedia Aula de hoje Distribuição de Pareto Medindo lei de potência Estimando expoente Exemplos
Classificação de Documentos com Processamento de Linguagem Natural
Instituto Superior de Engenharia de Coimbra Departamento de Engenharia Informática e de Sistemas Classificação de Documentos com Processamento de Linguagem Natural Cedric Michael dos Santos Mestrado em
Tópicos em Mineração de Dados
Tópicos em Mineração de Dados Descoberta de agrupamentos Método k-médias 1. Introdução A descoberta de agrupamentos é uma tarefa descritiva que procura agrupar dados utilizando a similaridade dos valores
MINERAÇÃO DE DADOS. Thiago Marzagão CLUSTERIZAÇÃO. Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 9
MINERAÇÃO DE DADOS Thiago Marzagão marzagao.1@osu.edu CLUSTERIZAÇÃO Thiago Marzagão (UnB) MINERAÇÃO DE DADOS 1 / 9 regressão/classificação vs clusterização Regressão/classificação: temos x 1, x 2,...,
Programação para Web HTML - Parte 2
Programação para Web HTML - Parte 2 Professor: Harlley Lima E-mail: harlley@decom.cefetmg.br Departamento de Computação Centro Federal de Educação Tecnológica de Minas Gerais Belo Horizonte, 2 de março
Similaridade entre Documentos de Especificação de Requisitos de Software Utilizando o Modelo Vetorial de Recuperação de Informação
Similaridade entre Documentos de Especificação de Requisitos de Software Utilizando o Modelo Vetorial de Recuperação de Informação Adriana Cássia da COSTA (1) Custódio Gastão da SILVA JUNIOR (2) (1) IFMT,
Mineração de Dados. Análise e Seleção de Variáveis
Mineração de Dados Análise e Seleção de Variáveis 1 Análise e Seleção de Variáveis Parte da uma área chamada de Redução de Dados Obtenção de uma representação reduzida em volume mas que produz resultados
Organizaçãoe Recuperaçãode Informação GSI521. Prof. Dr. Rodrigo Sanches Miani FACOM/UFU
Organizaçãoe Recuperaçãode Informação GSI521 Prof. Dr. Rodrigo Sanches Miani FACOM/UFU Modelo Vetorial Organização e Recuperação de Informação(GSI521) Motivação Discutido nos seguintes trabalhos: K. Spark
APRENDIZAGEM DE MÁQUINA
APRENDIZAGEM DE MÁQUINA (usando Python) Thiago Marzagão REGRESSÃO LINEAR SIMPLES Thiago Marzagão APRENDIZAGEM DE MÁQUINA 1 / 22 as três grandes áreas da aprendizagem de máquina regressão classificação
Recuperação de Informações por Álgebra Linear Computacional
Recuperação de Informações por Álgebra Linear Computacional MAC499 - Projeto de Iniciação Científica Aluna: Ellen Hidemi Fukuda Orientador: Paulo José da Silva e Silva Departamento de Ciência da Computação
Inteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 7) Fundamentação da disciplina Analise de dados Decisões
Estruturas Homogêneas Vetores e Matrizes. Givanaldo Rocha
Estruturas Homogêneas Vetores e Matrizes Givanaldo Rocha givanaldo.rocha@ifrn.edu.br http://docente.ifrn.edu.br/givanaldorocha Estruturas de dados homogêneas Permitem o agrupamento de várias informações
APRENDIZAGEM DE MÁQUINA
APRENDIZAGEM DE MÁQUINA (usando Python) Thiago Marzagão REGRESSÃO LINEAR MÚLTIPLA Thiago Marzagão APRENDIZAGEM DE MÁQUINA 1 / 13 regressão linear múltipla Aula passada: ŷ i = a + bx i Hoje: ŷ i = a + b
1 - Noções de álgebra matricial
1 - Noções de álgebra matricial Apêndice A Revisão de alguns conceitos estatísticos Apêndice B Rudimentos de álgebra matricial Representação vetorial de um problema ecológico E1 E2 S1 X 11 X 12 S2 X 21
Recuperação de Dado X Informação. Gerenciamento de Dados e Informação. Histórico. Recuperação de Informação. Histórico. Histórico
Recuperação de Dado X Informação Gerenciamento de Dados e Informação Recuperação de Informação Fernando Fonseca Ana Carolina Robson Fidalgo Comparação (matching) Recuperação de Dados Exata Recuperação
PreTexT II: Descrição da Reestruturação da Ferramenta de Pré-Processamento de Textos XXX RELATÓRIOS TÉCNICOS DO ICMC
Instituto de Ciências Matemáticas e de Computação ISSN - 0103-2569 PreTexT II: Descrição da Reestruturação da Ferramenta de Pré-Processamento de Textos Matheus Victor Brum Soares Ronaldo C. Prati Maria
Aprendizagem de Máquinas
Universidade Federal do Rio Grande do Norte Departamento de Engenharia de Computação e Automação Aprendizagem de Máquinas DCA0121 Inteligência Artificial Aplicada Heitor Medeiros 1 Aprendizagem de Máquinas
MANUAL ENOTEL RESERVAS ON LINE
MANUAL ENOTEL RESERVAS ON LINE Este manual tem o objetivo de orientar os clientes Enotel na utilização da ferramenta de reservas on line, que permite consulta de diárias, disponibilidade e confirmação
Pré-processamento dos Dados e Análise Exploratória
Pré-processamento dos Dados e Análise Exploratória Prof. Fabrício Olivetti de França Universidade Federal do ABC Processando os dados Data Sets Conjunto de objetos de dados. Objeto de dados é uma entidade:
Recuperação de Informações
Recuperação de Informações Ana Carolina Salgado & Fernando Fonseca Comparação (matching) Dados Inferência Modelo Ling Consulta Esp da Consulta Recuperação de Dado X Informação Recuperação de Recuperação
SUPPORT VECTOR MACHINE - SVM
SUPPORT VECTOR MACHINE - SVM Definição 2 Máquinas de Vetores Suporte (Support Vector Machines - SVMs) Proposto em 79 por Vladimir Vapnik Um dos mais importantes acontecimentos na área de reconhecimento
Algoritmos e Estruturas de Dados I Prof. Tiago Eugenio de Melo
Algoritmos e Estruturas de Dados I Prof. Tiago Eugenio de Melo tmelo@uea.edu.br www.tiagodemelo.info Observações O conteúdo dessa aula é parcialmente proveniente do Capítulo 11 do livro Fundamentals of
Teoria dos Grafos Aula 18
Teoria dos Grafos Aula 18 Aula passada Coloração Algoritmo guloso Número cromático Teorema das 4 cores Aula de hoje Clusterização (ou agrupamento) Algoritmo Variação Clusterização Coleção de objetos Agrupar
Questões dadas em Sala de Aula (para cada turma), nas aulas de Teoria:
Questões dadas em ala de Aula (para cada turma), nas aulas de Teoria: - Para turmas 4P, 4Q, 4X, 3P (1o horário das semanas "Par"): 1) Elabore um Programa em, e o que recebe (via teclado) dois valores e
Classificação Linear. André Tavares da Silva.
Classificação Linear André Tavares da Silva andre.silva@udesc.br Roteiro Introduzir os o conceito de classificação linear. LDA (Linear Discriminant Analysis) Funções Discriminantes Lineares Perceptron
Análise multivariada
UNIFAL-MG, campus Varginha 11 de Setembro de 2018 Dada uma matriz A (p p), podemos obter um escalar λ e um vetor v (p 1) de modo que seja satisfeita? Av = λv (1) Dada uma matriz A (p p), podemos obter
Exercícios: Vetores e Matrizes
Universidade Federal de Uberlândia - UFU Faculdade de Computação - FACOM Lista de exercícios de programação em linguagem C Exercícios: Vetores e Matrizes 1 Vetores 1. Faça um programa que possua um vetor
Jefferson da Costa Lima. Análise lexicográfica da produção acadêmica da Fiocruz: uma proposta de metodologia
Jefferson da Costa Lima Análise lexicográfica da produção acadêmica da Fiocruz: uma proposta de metodologia Rio de Janeiro Setembro/2016 Jefferson da Costa Lima Análise lexicográfica da produção acadêmica
K-Nearest Neighbours & RSTUDIO
K-Nearest Neighbours & RSTUDIO Rodrigo Augusto Igawa Universidade Estadual de Londrina igawa@uel.br 17 de novembro de 2015 Rodrigo Augusto Igawa (UEL) KNN PARTE 2 17 de novembro de 2015 1 / 16 Sumário
MCZA Processamento de Linguagem Natural Modelando a linguagem com N-gramas
MCZA017-13 Processamento de Linguagem Natural Modelando a linguagem com N-gramas Prof. Jesús P. Mena-Chalco jesus.mena@ufabc.edu.br 1Q-2018 1 Outras abordagens para stemming? 2 Bibliografia Daniel Jurafsky
Aprendizado por Instâncias Janelas de Parzen & Knn
Universidade Federal do Paraná (UFPR) Especialização em Engenharia Industrial 4.0 Aprendizado por Instâncias Janelas de Parzen & Knn David Menotti www.inf.ufpr.br/menotti/ci171-182 Hoje Aprendizado por
Aprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 07 Classificação com o algoritmo knn Max Pereira Classificação com o algoritmo (knn) Um algoritmo supervisionado usado para classificar
Aprendizagem de Máquina
Problema do Agrupamento Aprendizagem de Máquina Alessandro L. Koerich Seja x = (x 1, x 2,, x d ) um vetor d dimensional de características Seja D um conjunto de x vetores, D = { x(1), x(2),, x(n) } Problema
Computação Gráfica - 12
Universidade Federal do Vale do São Francisco Curso de Engenharia da Computação Computação Gráfica - 12 jorge.cavalcanti@univasf.edu.br www.univasf.edu.br/~jorge.cavalcanti www.twitter.com/jorgecav Realismo
PSEL - Sistema de Controle de Processos Seletivos
Gabarito: 1 Idioma: Inglês 1 C CONHECIMENTOS GERAIS E ESPECÍFICOS 2 B CONHECIMENTOS GERAIS E ESPECÍFICOS 3 D CONHECIMENTOS GERAIS E ESPECÍFICOS 4 D CONHECIMENTOS GERAIS E ESPECÍFICOS 5 A CONHECIMENTOS
Implementação de um sistema de validação estatística configurável de dados
Implementação de um sistema de validação estatística configurável de dados Eduardo Dias Filho Supervisores: João Eduardo Ferreira e Pedro Losco Takecian 16 de novembro de 2014 Introdução Table of Contents