2 Seleção de características
|
|
- Maria da Assunção Bergler Cavalheiro
- 5 Há anos
- Visualizações:
Transcrição
1 2 Seleção de características 2. Introdução Na maioria das aplicações reais de classificação, previsão, aproximação e otimização, as bases de dados contêm um grande número de caraterísticas, muitas delas introduzidas para obter uma melhor representação do problema, tais como, por exemplo, nome, identidade, endereço, etc. Entretanto, na maioria dos casos, grande parte destas caraterísticas são irrelevantes e/ou redundantes. Deste modo, um problema comum nestas aplicações reais é a seleção das características. A seleção de características se refere a um processo no qual um espaço de dados é transformado em um espaço de características, de menor dimensão, mas que ainda retenha a maior parte da informação intrínseca dos dados; em outras palavras, o conjunto de dados sofre uma redução de dimensionalidade. Os métodos de seleção de características tratam exatamente da escolha, dentre todos os atributos da base de dados, daqueles mais relevantes do ponto de vista da informação [MARD79], [DASH97]. 2.2 ipos de métodos de seleção de características Existem inúmeras técnicas [BACK0], [SAN97], [JANG96], [GOLD89], [KOZA92] para a tarefa de seleção de variáveis, sendo estas categorizadas como métodos dependentes do modelo ( Model Based ) e métodos independentes do modelo ( Model-Free ) [BACK0]. Dentre os métodos dependentes do modelo podem-se mencionar técnicas baseadas em redes neurais, em modelos neuro-
2 Capitulo II 27 fuzzy e em algoritmos genéticos. No caso dos métodos independentes do modelo há métodos estatísticos, Análise de Componentes Principais, Correlação e Entropia. Cada tipo de técnica tem suas próprias características, apresentando vantagens e desvantagens. 2.. Métodos Dependentes do Modelo (Model-based) A terminologia significa que métodos baseados no modelo implementam um modelo completo de predição/classificação/aproximação só com a finalidade de selecionar as variáveis de entradas para serem aplicadas posteriormente em outro modelo. Os métodos dependentes do modelo tipicamente envolvem: selecionar um modelo, escolher as entradas a usar, otimizar parâmetros e calcular alguma função de custo. As entradas são trocadas e o processo é repetido. Uma métrica é geralmente usada para escolher as entradas que geraram menor erro e que, consequentemente, serão usadas no problema. A Figura 2. resume este tipo de método.
3 Capitulo II 28 Figura 2. Seleção de características dependentes do modelo. Existem diversas técnicas categorizadas como Model Based, algumas clássicas e outros mais recentes. A seguir são descritas, de maneira concisa, algumas técnicas deste tipo Método Baseado no Modelo ANFIS Este método escolhe as entradas baseado na possibilidade destas conduzirem a um ótimo desempenho do modelo ANFIS mostrado na Figura 2.2.a Esse método utiliza uma configuração do modelo ANFIS [JANG93], [JANG94] com duas entradas divididas em 4 conjuntos fuzzy cada (particionamento fuzzy grid fixo). Deste modo, conforme pode ser observado na Figura 2.2.a, o espaço de entrada é dividido em 6 partições.
4 Capitulo II 29 A i A j.... Figura 2.2.a Sistema ANFIS simplificado Figura 2.2.b Particionamento (2 entradas) para seleção de características respectivo. ANFIS. Utilizando como entradas atributos da base de dados escolhidos dois a dois, treina-se o sistema, durante um certo número de ciclos especificado, e, em seguida, calcula-se o erro de classificação para esses dois atributos. Em seguida, escolhe-se um novo par de atributos, treina-se o sistema pelo mesmo número de ciclos, até que todas as configurações de pares de entrada tenham sido testadas. Posteriormente, as duplas de entradas são listadas em ordem crescente do valor do erro, selecionando-se as entradas de menor erro. Este algoritmo de seleção de características foi utilizado nos modelos NFHQ Neuro-Fuzzy Hierárquico Quadtree - e no NFHB - Neuro-Fuzzy Hierárquico Binary Space Partitioning, desenvolvidos por [SOUZ99] Determinação Automática de Relevância (ARD) A Determinação Automática de Relevância (Automatic Relevance Determination/ARD) é um subproduto do processo de treinamento das redes neurais Bayesianas, inspiradas na estatística Bayesiana, a qual faz uso de
5 Capitulo II 30 densidades de probabilidade ao invés de freqüências. Um modelo em particular é considerado para as densidades de probabilidade dos dados e dos pesos sinápticos da rede, e utiliza-se a regra de Bayes para inferir o conjunto ótimo de pesos, através do método da aproximação Gaussiana [BISH95] (dados os valores disponíveis das variáveis). O método ARD é baseado nos hiperparâmetros α que definem os espalhamentos das densidades de probabilidade dos pesos da rede [BISH95], [MACK95]. Os pesos correspondentes a cada variável de entrada i têm um hiperparâmetro distinto α i. De acordo com [PINH96], os pesos associados com valores grandes de α i têm uma maior tendência de decair a zero, indicando assim pouca relevância desta variável de entrada para a inferência. Esta técnica aumenta a robustez da rede treinada, uma vez que variáveis de entrada mal comportadas terão naturalmente um impacto menor no modelo de inferência, sendo possível incluir inicialmente um grande número de variáveis com pouco risco de overfitting, pois os pesos associados com as variáveis menos relevantes irão tender a zero. Portanto o método ARD remove as variáveis com menores relevâncias. A relevância da variável de entrada i é definida por: r i (%) k = 00, Equação 2. α i j= α j isto é, a soma das relevâncias de todas as variáveis de entrada é igual a 00%. O procedimento para seleção de variáveis por ARD consiste em inicialmente treinar uma rede neural com todas as variáveis de entrada usando o método Bayesiano. Após o treinamento, as variáveis de entrada são ordenadas pelas relevâncias, e
6 Capitulo II 3 aquelas com relevâncias menores que % são excluídas. O processo é repetido até que nenhuma variável seja eliminada (isto é, todas as variáveis restantes tenham relevância maior que %), ou até que o conjunto de variáveis atinja um tamanho pré-determinado; isto faz com que o ARD seja um método computacionalmente custoso Seleção de Características por Algoritmos Genéticos Os algoritmos genéticos são uma classe de técnica de busca heurística aleatória que oferecem uma metodologia de busca da solução próxima da ótima para o problema de escolha das variáveis de entrada. Esta técnica é interessante quando a busca exaustiva torna-se impraticável. A técnica de seleção de características por algoritmos genéticos envolve a atribuição de um valor real de peso para cada característica, o qual corresponde à sua relevância ou importância na tarefa de inferência. Restringindo o peso a um valor binário, o problema se reduz à seleção de um subconjunto relevante de características. Seja µ(s) a medida de desempenho usada para avaliar um subconjunto de características S com respeito a um critério de importância. Logo, a seleção de características é essencialmente um problema de otimização que envolve a busca, no espaço de possíveis subconjuntos de características, de soluções que maximizem a precisão no teste do modelo de inferência, isto é, que identifiquem a solução ótima ou perto da ótima com respeito a µ. Um exemplo desta técnica de seleção de características é o modelo desenvolvido por [YANG98], onde cada indivíduo é representado por um vetor
7 Capitulo II 32 binário de dimensão m, sendo m o número total de características disponíveis (Figura 2.3). Figura 2.3 Cromossoma com m genes para a seleção de variáveis. No cromossoma da Figura 2.3 o valor significa que a correspondente característica deve ser escolhida e o valor 0 indica que ela deve ser descartada. A avaliação de cada indivíduo é determinada treinando-se uma rede neural com o subconjunto de características determinado pelo cromossoma. A seleção de variáveis através de algoritmos genéticos é efetiva na busca global rápida de grandes espaços de soluções em difíceis problemas de otimização. Além disso podem facilmente fazer uso de multicritérios de seleção de características; neste caso o multicritério a ser otimizado pode incluir aproximação na inferência, medição de custo e risco de cada característica selecionada. Entretanto, esta técnica é computacionalmente custosa, já que a seleção de características por AG envolve rodar o AG para várias gerações. Em cada geração a avaliação de um indivíduo (subconjunto de características) implica treinar o correspondente modelo de inferência e calcular o desempenho; esta avaliação é efetuada para cada um dos indivíduos da população Métodos Independentes do Modelo (Model-free) Os métodos independentes do modelo são baseados na execução de testes estatísticos entre os subconjuntos das variáveis de entrada e as saídas desejadas do modelo. A idéia consiste em desenvolver um algoritmo para a seleção de entradas
8 Capitulo II 33 que não seja baseada num modelo particular. A Figura 2.4 resume este tipo de método. Figura 2.4 Seleção de características independentes do modelo. Um bom exemplo é apresentado em [BONN94] onde as entradas mais relevantes são achadas pela estimação da informação mútua entre as variáveis de entrada e saída desejada. Este método necessita de uma estimação numérica das densidades conjunta e marginal; uma medida da informação mútua é obtida calculando-se a distância de Kullback-Leibler das densidades estimadas. Existem diversas técnicas categorizadas como Model Free, algumas clássicas e outras mais recentes. A seguir são apresentadas algumas Análise de Componentes Principais - PCA PCA é um dos métodos estatísticos de Análise Multivariada para redução de dados de Sistemas [MARD79], [KASP92]. PCA projeta dados de um espaço
9 Capitulo II 34 multidimensional em um espaço de menor dimensão, cuja base é ortonormal. As componentes principais atravessam o espaço dimensional de mais baixa variabilidade. Por conseguinte, um pequeno número de componentes principais das variáveis originais pode ser usado para explicar as maiores fontes de variabilidade nos dados. PCA é um algoritmo multivariável que consegue tratar a grande dimensionalidade e colinearidade presentes nos dados por meio da projeção da informação em um espaço de menor dimensão, definido por um número L de variáveis latentes ortogonais entre si (p, p 2,..., p L ). Os vetores p i também são chamados de vetores de loading. Um novo conjunto de vetores coluna de dimensão m (v, v 2,..., v L ), chamados vetores de score, correspondem às projeções das variáveis de entrada X n nos vetores de loading, e resumem a informação contida no conjunto original de dados, na maioria dos casos sem significado físico. As novas variáveis (scores) tem a única propriedade de não ter correlação. PCA é um método ideal para a análise de bases de dados multivariáveis grandes, com alta correlação ou co-linearidade e medida de ruído. Pode ser usado para a identificação de variáveis que sejam associadas a um aumento da variabilidade no conjunto de dados, para a identificação de um subconjunto de dados com uma diferente estrutura de correlação da maioria dos dados, e para a identificação do número de fenômenos independentes que conduz à variabilidade do conjunto de dados. PCA modela um conjunto de dados através de suas componentes ortogonais ou principais, que são combinações lineares das variáveis originais. Assim não se conservam as variáveis originais após a seleção, o que prejudica a interpretabilidade de regras explicativas que utilizem essas componentes. Deste modo, este método não é adequado para ser utilizado nos Modelos NFHB.
10 Capitulo II Análise de Componentes Independentes O conceito de análise de componentes independentes (ICA) pode ser definido como a maximização do grau de independência estatística entre as variáveis resultantes desta análise, utilizando funções de contraste aproximadas pela extensão de Edgeworth da divergência de Kullback-Leibler. Em contraste com a análise de componentes principais (PCA), que assegura que as componentes resultantes estejam sem correlação, o ICA impõe um critério muito mais forte, onde a informação mútua entre as componentes resultantes deve ser zero. ICA pode ser visto como uma extensão da Análise de Componentes Principais. Enquanto PCA pode apenas impor independência até a segunda ordem, restringindo os vetores de direção a serem ortogonais, ICA impõe independência estatística sobre as componentes resultantes deste método e não tem restrição de ortogonalidade. Na prática, uma implementação algorítmica de ICA pode apenas buscar as componentes tão estatisticamente independentes quanto possível [HAYK0]. Portanto, ICA estima a informação mútua entre sinais e ajusta uma matriz estimada de separação W para obter as componentes resultantes que sejam maximamente independentes [BACK99-], [BACK99-2], [CICH99]. Por conseguinte, um pequeno número destas novas componentes independentes das variáveis originais pode ser usado para explicar o fenômeno. ICA permite derivar um algoritmo de seleção de variáveis independentes do modelo baseado em um teste de dependência estatística. A estratégia é aplicar
11 Capitulo II 36 ICA para estimar a independência das entradas e então derivar um teste estatístico para determinar o subconjunto desejado de variáveis de entrada [CICH99]. ICA modela um conjunto de dados através de suas componentes independentes, as quais são combinações das variáveis originais. Estas não são conservadas após a análise, o que, da mesma forma que no caso de PCA, prejudica a interpretação de regras nos Modelos NFHB Correlação Cruzada Esta técnica indica quais variáveis de entrada são as mais relacionadas a uma determinada variável de saída. A correlação cruzada pode ser usada para analisar séries temporais, investigando a relação dependente no tempo entre variáveis, ou na área de controle de processos para avaliar processos dinâmicos. O coeficiente de correlação cruzada r no tempo k* t entre duas séries temporais f e g é definido pela Equação 2.2. N ( f ( i * t) f ) * ( g(( i + k) * t) g N ( f ( i * t) f ) 2 * N ( g( i * t) g) 2 Equação 2.2 onde f e g são os valores médios das séries f e g, respectivamente. Ambas as séries temporais consistem de N amostras com um período t. Os valores médios das séries temporais f e g são definidos pelas Equações 2.3 e 2.4. f = * N i = N f ( i * t) i Equação 2.3 = g = * N N g( i * t) Equação 2.4
12 Capitulo II 37 O máximo valor de r é quando ambos sinais são idênticos, enquanto o valor mínimo ocorre quando os sinais mostram tendência a uma completa oposição. Quando os sinais não são correlacionados r = 0. Em outras palavras, o coeficiente de correlação cruzada é uma medida de similaridade entre os dois sinais. Na prática se diz que são sinais correlacionados quando o coeficiente de correlação cruzada máximo é maior do que 0,7. Isto significa que o coeficiente de correlação quadrado é 0,5, o que implica que 50% ou mais de ambos os sinais estão correlacionados (as variações dos sinais se agregam). A análise da correlação cruzada, apesar de ser uma técnica estatística de grande alcance, restringe-se à análise univariada e não é capaz de identificar interações lineares multivariáveis dentro das entradas. Maiores detalhes podem ser encontrados em [SAN97] e [AOYA97] Método da Entropia Esta técnica é baseada no conceito da medida de entropia representando a aleatoriedade dentro de uma base de dados [BLUR96]. O estabelecimento de uma ordem ou estruturação dentro da base de dados diminui a medida da aletoriedade ou entropia. Assim, por exemplo, no caso de uma base de dados totalmente estruturada e ordenada, onde todos os registros correspondem a uma mesma classe, este conjunto tem um valor de entropia mínimo (zero). No caso oposto, onde se tem uma base de dados com padrões uniformemente distribuídos em cada classe (p. ex: 50% classe, 50% classe 2), a entropia possui valor máximo (). No caso de um conjunto de registros onde vários elementos pertencem a uma mesma classe, o valor da entropia associado a este conjunto será um valor entre 0 e, de acordo com a aleatoriedade da base de dados. O Método de seleção de características da entropia permite selecionar a
13 Capitulo II 38 característica que melhor subdivide uma base de dados em dois subconjuntos de mínima entropia. O atributo escolhido para dividir a base de dados em dois subconjuntos é denominado descritor. O descritor que consegue subdividir melhor as classes contidas na base de dados é o mais interessante [LANA00]. A medida usada para escolher os atributos que proporcionam um maior ganho de informação é [LANA00] : Ganho( X, P) = E( P) E( X, P) Equação 2.5 Onde: E(P) = valor da entropia associada à base de dados com distribuição de classes P= (p, p 2,.., p n ), onde p k é Probabilidade da classe k. E(X,P) = valor da entropia associada ao atributo de entrada X. Esta medida de ganho representa a diferença entre a informação necessária para identificar um elemento do número total de registros da base de dados P e a informação necessária para identificar um elemento do número total de registros após a obtenção do atributo X. Maior informação sobre esta técnica pode ser encontrada em [LANA00]. 2.3 Resumo Neste capítulo foram abordados os métodos estatísticos e os métodos que utilizam o paradigma de inteligência computacional, tais como: algoritmos genéticos, redes neurais e modelos híbridos neuro-fuzzy. Foram descritas também as limitações dos sistemas existentes. O próximo capítulo introduz os modelos neuro-fuzzy hierárquicos NFHB original [SOUZ99], NFHB-Class [GONÇ0], NFHB Mamdani [BEZE02].
3 Sistemas Neuro-Fuzzy Hierárquicos
3 Sistemas Neuro-Fuzzy Hierárquicos 3. Introdução Sistemas neuro-fuzzy (SNF) são sistemas híbridos que combinam as vantagens das redes neurais, no que se refere ao aprendizado, com o poder de interpretação
Leia maisMineração de Dados. Análise e Seleção de Variáveis
Mineração de Dados Análise e Seleção de Variáveis 1 Análise e Seleção de Variáveis Parte da uma área chamada de Redução de Dados Obtenção de uma representação reduzida em volume mas que produz resultados
Leia maisHP UFCG Analytics Abril-Maio Um curso sobre Reconhecimento de Padrões e Redes Neurais. Por Herman Martins Gomes.
HP UFCG Analytics Abril-Maio 2012 Um curso sobre Reconhecimento de Padrões e Redes Neurais Por Herman Martins Gomes hmg@dsc.ufcg.edu.br Programa Visão Geral (2H) Reconhecimento Estatístico de Padrões (3H)
Leia maisModelagem da Rede Neural. Modelagem da Rede Neural. Back Propagation. Modelagem da Rede Neural. Modelagem da Rede Neural. Seleção de Variáveis:
Back Propagation Fatores importantes para a modelagem da Rede Neural: Seleção de variáveis; veis; Limpeza dos dados; Representação das variáveis veis de entrada e saída; Normalização; Buscando melhor Generalização
Leia maisPrograma do Curso. Transformação de Dados. Sistemas Inteligentes Aplicados. Carlos Hall. Discretização de Variáveis Contínuas
Sistemas Inteligentes Aplicados Carlos Hall Programa do Curso Limpeza/Integração de Dados Transformação de Dados Discretização de Variáveis Contínuas Transformação de Variáveis Discretas em Contínuas Transformação
Leia maisINTRODUÇÃO À CALIBRAÇÃO MULTIVARIADA
INTRODUÇÃO À CALIBRAÇÃO MULTIVARIADA APLICAÇÃO NO CONTROLE DE QUALIDADE DE FÁRMACOS MÓDULO 05 Unidade Universitária de Ciências Exatas e Tecnológicas UnUCET Anápolis 1 2 MÓDULO 05 CALIBRAÇÃO MULTIVARIADA
Leia maisPor que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas
Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Abordagens automáticas Wrapper Filtros Muitos algoritmos de AM são projetados de modo a selecionar os
Leia maisCoeficiente de determinação R 2 no modelo de regressão linear normal
Coeficiente de determinação R 2 no modelo de regressão linear normal Fernando Lucambio Departamento de Estatística Universidade Federal do Paraná Curitiba/PR, 81531 990, Brasil email: lucambio@ufpr.br
Leia maisGeração de cenários de energia renovável correlacionados com hidrologia: uma abordagem bayesiana multivariada.
Geração de cenários de energia renovável correlacionados com hidrologia: uma abordagem bayesiana multivariada [alessandro@psr-inc.com] Conteúdo Introdução Estimação não paramétrica (Kernel density) Transformação
Leia mais3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução
3 Extração de Regras Simbólicas a partir de Máquinas de Vetores Suporte 3.1 Introdução Como já mencionado na seção 1.1, as SVMs geram, da mesma forma que redes neurais (RN), um "modelo caixa preta" de
Leia maisConsiderações de Desempenho
Back Propagation Considerações de Desempenho Dicas para o BP O uso da função de ativação simétrica geralmente acelera o treinamento TANH +1 logistic linear 0 tanh -1-4 +4 1 Dicas para o BP Os pesos devem
Leia maisAnálise estatística multivariada
Análise estatística multivariada Conjunto de procedimentos para a análise simultânea de duas ou mais medidas de cada caso/observação Os dados coletados p variáveis - de uma amostra de tamanho n podem ser
Leia maisBack Propagation. Dicas para o BP
Back Propagation Considerações de Desempenho Dicas para o BP O uso da função de ativação simétrica geralmente acelera o treinamento TANH +1 logistic linear 0 tanh -1-4 +4 11 Dicas para o BP Os pesos devem
Leia maisModelagem para previsão/estimação: uma aplicação Neuro-Fuzzy
Proceeding Series of the Brazilian Society of pplied and Computational Mathematics, Vol., N., 0. Trabalho apresentado no XXXV CNMC, Natal-RN, 0. Modelagem para previsão/estimação: uma aplicação Neuro-Fuzzy
Leia mais)XQGDPHQWRVGHSUREDELOLGDGHHHVWDWtVWLFD
)XQGDPHQWRVGHUREDELOLGDGHHHVWDWtVWLFD,QWURGXomR A história da estatística pode ser dividida em três fases. De acordo com PEANHA (00), a estatística inicialmente não mantinha nenhuma relação com a probabilidade,
Leia mais3 INTERVALOS DE CONFIANÇA
3 INTEVALOS DE CONFIANÇA 3.1 Introdução A estimativa de intervalos de confiança é utilizada para se obter medidas de incerteza dos dados analisados. A análise da incerteza de uma previsão, por exemplo,
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 09 Árvores de Decisão Max Pereira Classificação É a tarefa de organizar objetos em uma entre diversas categorias pré-definidas. Exemplos
Leia maisDisciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 03 / Detecção de Sinais
Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 03 / Detecção de Sinais Prof. Eduardo Simas (eduardo.simas@ufba.br) Programa de Pós-Graduação em Engenharia Elétrica/PPGEE Universidade Federal
Leia maisPós-Graduação em Engenharia de Automação Industrial SISTEMAS INTELIGENTES PARA AUTOMAÇÃO
Pós-Graduação em Engenharia de Automação Industrial SISTEMAS INTELIGENTES PARA AUTOMAÇÃO AULA 06 Algoritmos Genéticos Sumário Introdução Inteligência Artificial (IA) Algoritmos Genéticos Aplicações de
Leia maisθ depende de um parâmetro desconhecido θ.
73 Método de Máxima Verosimilhança (Maximum Likelihood) Seja uma variável aleatória (v. a.) cuja densidade de probabilidade depende de um parâmetro desconhecido. Admite-se conhecida a forma de Exemplo
Leia maisUniversidade de São Paulo Instituto de Ciências Matemáticas e de Computação
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Francisco A. Rodrigues Departamento de Matemática Aplicada e Estatística - SME Tópicos 1. Seleção de atributos 2. Redução de
Leia maisAnálise de Componentes Principais Simbólicas
Análise de Componentes Principais Simbólicas Universidade Federal de Pernambuco CIn.ufpe.br Análise de Componentes Principais O objetivo da análise de componentes principais é explicar a estrutura de variânciacovariância
Leia maisAula 6 Mineração Streams Representação dos Dados. Profa. Elaine Faria UFU
Aula 6 Mineração Streams Representação dos Dados Profa. Elaine Faria UFU - 2017 Agradecimentos Este material é baseado No livro Tan et al, 2006 Nos slides do prof. Andre C. P. L. F. Carvalho Agradecimentos
Leia mais4 Implementação Computacional
4 Implementação Computacional 4.1. Introdução Neste capítulo é apresentada a formulação matemática do problema de otimização da disposição das linhas de ancoragem para minimizar os deslocamentos (offsets)
Leia maisSeleção de Atributos 1
Seleção de Atributos 1 Tópicos Por que atributos irrelevantes são um problema Quais tipos de algoritmos de aprendizado são afetados Seleção de atributos antes do aprendizado Benefícios Abordagens automáticas
Leia maisModelos de Suavização Exponencial Aula - 07
Modelos de Suavização Exponencial Aula - 07 observações passadas contêm informações sobre o padrão de comportamento da séries temporal; Métodos: distinguir o padrão de qualquer ruído que possa estar contido
Leia maisRalph S. Silva
ANÁLISE ESTATÍSTICA MULTIVARIADA Ralph S Silva http://wwwimufrjbr/ralph/multivariadahtml Departamento de Métodos Estatísticos Instituto de Matemática Universidade Federal do Rio de Janeiro Sumário Revisão:
Leia maisUniversidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica. Árvores de Decisão. David Menotti.
Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica Árvores de Decisão David Menotti www.inf.ufpr.br/menotti/ci171-182 Árvores de Decisão Agenda Introdução Representação Quando Usar
Leia maisMaldição da dimensionalidade
EXTRAÇÃO E SELEÇÃO DE ATRIBUTOS Maldição da dimensionalidade 2 Maldição da dimensionalidade (ou Curse of dimensionality) Termo que se refere a vários fenômenos que surgem na análise de dados em espaços
Leia mais4 Modelos de Regressão Dinâmica
4 Modelos de Regressão Dinâmica Nos modelos de regressão linear (Johnston e Dinardo, 1998) estudados comumente na literatura, supõe-se que os erros gerados pelo modelo possuem algumas características como:
Leia maisAprendizado de Máquina
Aprendizado de Máquina Árvores de Decisão Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://lesoliveira.net Luiz S. Oliveira (UFPR) Aprendizado de Máquina 1 / 28
Leia maisAnálise de Regressão Linear Simples e
Análise de Regressão Linear Simples e Múltipla Carla Henriques Departamento de Matemática Escola Superior de Tecnologia de Viseu Introdução A análise de regressão estuda o relacionamento entre uma variável
Leia mais23/05/12. Consulta distribuída. Consulta distribuída. Objetivos do processamento de consultas distribuídas
Processamento de Consultas em Bancos de Dados Distribuídos Visão geral do processamento de consultas IN1128/IF694 Bancos de Dados Distribuídos e Móveis Ana Carolina Salgado acs@cin.ufpe.br Bernadette Farias
Leia maisAlgoritmos Evolutivos para Otimização
Algoritmos Evolutivos para Otimização A área de aplicação que tem recebido mais atenção é a otimização. Uma das razões é que existem uma variedade de problemas de otimização e a maioria deles sem solução
Leia maisSUPPORT VECTOR MACHINE - SVM
SUPPORT VECTOR MACHINE - SVM Definição 2 Máquinas de Vetores Suporte (Support Vector Machines - SVMs) Proposto em 79 por Vladimir Vapnik Um dos mais importantes acontecimentos na área de reconhecimento
Leia maisAprendizado por Reforço usando Aproximação
Aprendizado por Reforço usando Aproximação de Funções Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Aproximação de Funções 2. Do the evolution 1 Aproximação de Funções Função Utilidade
Leia maisCOKRIGAGEM. Aplicação da cokrigagem
COKRIGAGEM Procedimento geoestatístico segundo o qual diversas variáveis regionalizadas podem ser estimadas em conjunto, com base na correlação espacial entre si. É uma extensão multivariada do método
Leia mais3 Técnicas de Previsão de Séries Temporais 3.1. Introdução
3 Técnicas de Previsão de Séries Temporais 3.1. Introdução A previsão de séries temporais é um problema prático de extrema importância, presente em diversas áreas: economia, indústria, serviços, previsão
Leia maisDCBD. Avaliação de modelos. Métricas para avaliação de desempenho. Avaliação de modelos. Métricas para avaliação de desempenho...
DCBD Métricas para avaliação de desempenho Como avaliar o desempenho de um modelo? Métodos para avaliação de desempenho Como obter estimativas confiáveis? Métodos para comparação de modelos Como comparar
Leia maisNeste capítulo apresentam-se os modelos STVAR-Tree, o principal da dissertação, além dos modelos competidores PAR(p) e Neuro-Fuzzy.
4 Metodologia 4.1. Introdução Neste capítulo apresentam-se os modelos STVAR-Tree, o principal da dissertação, além dos modelos competidores PAR(p) e Neuro-Fuzzy. 4.2. Modelo STVAR-Tree O modelo vetorial
Leia maisReconhecimento de Padrões
Reconhecimento de Padrões André Tavares da Silva andre.silva@udesc.br Roteiro da aula Conceitos básicos sobre reconhecimento de padrões Visão geral sobre aprendizado no projeto de classificadores Seleção
Leia maisRedes Neurais. A Rede RBF. Redes RBF: Função de Base Radial. Prof. Paulo Martins Engel. Regressão não paramétrica. Redes RBF: Radial-Basis Functions
Redes RBF: Função de Base Radial Redes Neurais A Rede RBF O LP é baseado em unidades que calculam uma função não-linear do produto escalar do vetor de entrada e um vetor de peso. A rede RBF pertence a
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 02 Representação dos dados Pré-processamento Max Pereira Tipo de Dados Os atributos usados para descrever objetos de dados podem ser de diferentes tipos: Quantitativos
Leia maisImplementação dos Algoritmos e Resultados
Capítulo 6 Implementação dos Algoritmos e Resultados 6.1 Considerações Iniciais Diversas situações foram exploradas neste trabalho visando analisar qual seria a wavelet mais adequada para sistemas de extração
Leia maisREGRESSÃO E CORRELAÇÃO
REGRESSÃO E CORRELAÇÃO A interpretação moderna da regressão A análise de regressão diz respeito ao estudo da dependência de uma variável, a variável dependente, em relação a uma ou mais variáveis explanatórias,
Leia maisAlgoritmos de Aprendizado. Formas de Aprendizado. Aprendizado Batch x Incremental. Aprendizado Batch x Incremental
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square Back Propagation Formas de Aprendizado Existe dois métodos básicos de aplicação do algoritmo Back Propagation: Aprendizado
Leia maisSistema de Inferência Fuzzy baseado em Redes Adaptativas (ANFIS) Sistema de Inferência Fuzzy
Redes Neurais Sistema de Inferência Fuzzy baseado em Redes Adaptativas (ANFIS) Sistema de Inferência Fuzzy Um Sistema de Inferência Fuzzy (SIF) é um tipo especial de Sistema Baseado em Conhecimento (SBC).
Leia maisAPLICAÇÃO DE ALGORITMOS BIO-INSPIRADOS EM CONTROLE ÓTIMO
APLICAÇÃO DE ALGORITMOS BIO-INSPIRADOS EM CONTROLE ÓTIMO Profa. Mariana Cavalca Baseado em: Material didático do Prof. Dr. Carlos Henrique V. Moraes da UNIFEI Curso de verão da Profa. Gisele L. Pappa Material
Leia maisPREVISÃO. Prever o que irá. acontecer. boas decisões com impacto no futuro. Informação disponível. -quantitativa: dados.
PREVISÃO O problema: usar a informação disponível para tomar boas decisões com impacto no futuro Informação disponível -qualitativa Prever o que irá acontecer -quantitativa: dados t DEI/FCTUC/PGP/00 1
Leia maisRede RBF (Radial Basis Function)
Rede RBF (Radial Basis Function) André Tavares da Silva andre.silva@udesc.br Roteiro Introdução à rede neural artificial RBF Teorema de Cover da separabilidade de padrões RBF x MLP RBF Função de ativação
Leia mais5 Filtro de Kalman Aplicado ao Modelo de Schwartz e Smith (2000)
5 Filtro de Kalman Aplicado ao Modelo de Schwartz e Smith (2000) A primeira parte deste capítulo, referente à passagem dos modelos estocásticos para as equações do Filtro de Kalman, já foi previamente
Leia mais2 Medida de Incertezas: Fundamentos
2 Medida de Incertezas: Fundamentos 2. Introdução O resultado de um processo de medição fornece uma determinada informação que usualmente é chamada de conhecimento. A fim de quantificar quão completo é
Leia maisHP UFCG Analytics Abril-Maio Um curso sobre Reconhecimento de Padrões e Redes Neurais. Por Herman Martins Gomes.
HP UFCG Analytics Abril-Maio 2012 Um curso sobre Reconhecimento de Padrões e Redes Neurais Por Herman Martins Gomes hmg@dsc.ufcg.edu.br Programa Visão Geral (2H) Reconhecimento Estatístico de Padrões (3H)
Leia maisAprendizado de Máquinas. Seleção de Características
Universidade Federal do Paraná (UFPR) Departamento de Informática (DInf) Seleção de Características David Menotti, Ph.D. web.inf.ufpr.br/menotti Introdução Um dos principais aspectos na construção de um
Leia maisAlgoritmos de Aprendizado
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Radial Basis Functions (RBFs) Competitive Learning Hopfield Algoritmos de Aprendizado Regra de Hebb Perceptron
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
REDES NEURAIS ARTIFICIAIS MÁQUINA DE VETOR DE SUPORTE (SUPPORT VECTOR MACHINES) Prof. Dr. André A. P. Biscaro 1º Semestre de 2017 Introdução Poderosa metodologia para resolver problemas de aprendizagem
Leia maisUniversidade de São Paulo Instituto de Ciências Matemáticas e de Computação
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Francisco A. Rodrigues Departamento de Matemática Aplicada e Estatística - SME Objetivo Dada M classes ω 1, ω 2,..., ω M e um
Leia maisAnálise Multivariada Aplicada à Contabilidade
Mestrado e Doutorado em Controladoria e Contabilidade Análise Multivariada Aplicada à Contabilidade Prof. Dr. Marcelo Botelho da Costa Moraes www.marcelobotelho.com mbotelho@usp.br Turma: 2º / 2016 1 Agenda
Leia mais5 Modelo Kernel PCA Genético para Ajuste de Histórico
5 Modelo Kernel PCA Genético para Ajuste de Histórico Conforme descrito na seção 3.2.2.2.1, em um estudo anterior, Sarma, Durlofsky, et al. (2007) parametrizaram o campo de permeabilidade através do Kernel
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Combinação de Classificadores Filosofia O objetivo da combinação de
Leia maisFundamentos de Inteligência Artificial [5COP099]
Fundamentos de Inteligência Artificial [5COP099] Dr. Sylvio Barbon Junior Departamento de Computação - UEL 1 o Semestre Assunto Aula 10 Modelos Preditivos - Árvore de Decisão 2 de 20 Aula 10 - Árvore de
Leia mais4 APLICAÇÃO DO MODELO E RESULTADOS
4 APLICAÇÃO DO MODELO E RESULTADOS Neste capítulo, será aplicado o modelo proposto (Holt-Winters com múltiplos ciclos mais a correção devido à ocorrência de feriado e temperatura) e apresentados os resultados
Leia maisRESUMO DO CAPÍTULO 3 DO LIVRO DE WOOLDRIDGE ANÁLISE DE REGRESSÃO MÚLTIPLA: ESTIMAÇÃO
RESUMO DO CAPÍTULO 3 DO LIVRO DE WOOLDRIDGE ANÁLISE DE REGRESSÃO MÚLTIPLA: ESTIMAÇÃO Regressão simples: desvantagem de apenas uma variável independente explicando y mantendo ceteris paribus as demais (ou
Leia maisCLASSIFICADORES ELEMENTARES
CLASSIFICADORES ELEMENTARES Classificação 2 Consiste em tentar discriminar em diferentes classes um conjunto de objetos com características mensuráveis Exemplo: classificação de frutas Forma, cor, sabor,
Leia mais3 Filtro de Kalman Discreto
3 Filtro de Kalman Discreto As medidas realizadas por sensores estão sujeitas a erros, como pode ser visto no Capítulo 2. Os filtros são aplicados aos sinais medidos pelos sensores para reduzir os erros,
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich/Alceu S. Britto Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Combinação de Classificadores Filosofia O objetivo
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 07 Classificação com o algoritmo knn Max Pereira Classificação com o algoritmo k-nearest Neighbors (knn) Como os filmes são categorizados em gêneros? O que
Leia maisResumo. Filtragem Adaptativa. Filtros adaptativos. Tarefas desempenhadas pelos filtros
Resumo Filtragem Adaptativa Luís Caldas de Oliveira lco@istutlpt Instituto Superior Técnico Sistemas de filtragem adaptativa Conceitos de filtragem adaptativa Filtro de Wiener Algoritmo steepest descent
Leia maisGeometria Computacional
Geometria Computacional Claudio Esperança Paulo Roma Cavalcanti Estrutura do Curso Aspectos teóricos e práticos Construção e análise de algoritmos e estruturas de dados para a solucionar problemas geométricos
Leia maisétodos uméricos AJUSTE DE FUNÇÕES Prof. Erivelton Geraldo Nepomuceno PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA
étodos uméricos AJUSTE DE FUNÇÕES Prof. Erivelton Geraldo Nepomuceno PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA UNIVERSIDADE DE JOÃO DEL-REI PRÓ-REITORIA DE PESQUISA CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA
Leia mais8 Conclusões e Trabalhos Futuros
8 Conclusões e Trabalhos Futuros Este trabalho propôs investigar o apoio das técnicas de Inteligência Computacional no desenvolvimento da Nanociência e Nanotecnologia. Tal apoio é aqui denominado de Nanotecnologia
Leia maisTópicos sobre Redes Neurais
Tópicos sobre Redes Neurais -Memórias Matriciais -Modelos Híbridos -Redes de Base Radial(RBF) -Redes Construtivas -Redes Recorrentes Prof João Alberto Fabro IF67D Sistemas Inteligentes 1 Dep de Informática
Leia mais2 Modelos Não Lineares
Modelos Não Lineares 17 2 Modelos Não Lineares 2.1. Introdução Nos últimos anos, muitos modelos não-lineares para a análise de séries temporais têm sido propostos. Na econometria clássica, os modelos de
Leia maisPESQUISA EM MERCADO DE CAPITAIS. Prof. Patricia Maria Bortolon, D. Sc.
PESQUISA EM MERCADO DE CAPITAIS Prof. Patricia Maria Bortolon, D. Sc. Cap. 7 A Estrutura de Correlações dos Retornos dos Ativos: modelo de índice único ELTO, E.; GRUBER, M.; BROW, S., GOETZMA, W. Moderna
Leia maisCap. 8 - Intervalos Estatísticos para uma Única Amostra
Intervalos Estatísticos para ESQUEMA DO CAPÍTULO 8.1 INTRODUÇÃO 8.2 INTERVALO DE CONFIANÇA PARA A MÉDIA DE UMA DISTRIBUIÇÃO NORMAL, VARIÂNCIA CONHECIDA 8.3 INTERVALO DE CONFIANÇA PARA A MÉDIA DE UMA DISTRIBUIÇÃO
Leia mais2 Processo de Agrupamentos
20 2 Processo de Agrupamentos A análise de agrupamentos pode ser definida como o processo de determinação de k grupos em um conjunto de dados. Para entender o que isso significa, observe-se a Figura. Y
Leia maisProfessora: Cira Souza Pitombo. Disciplina: Aplicações de técnicas de análise de dados
UNIVERSIDADE FEDERAL DA BAHIA ESCOLA POLITÉCNICA MESTRADO EM ENGENHARIA AMBIENTAL E URBANA Apresentação do Curso Introdução Professora: Cira Souza Pitombo Disciplina: Aplicações de técnicas de análise
Leia maisContabilometria. Aula 9 Regressão Linear Inferências e Grau de Ajustamento
Contabilometria Aula 9 Regressão Linear Inferências e Grau de Ajustamento Interpretação do Intercepto e da Inclinação b 0 é o valor estimado da média de Y quando o valor de X é zero b 1 é a mudança estimada
Leia maisPlano. Aspectos Relevantes de HMMs. Teoria de HMMs. Introdução aos Modelos Escondidos de Markov
Plano Esta apresentação é para pessoas sem conhecimento prévio de HMMs Introdução aos Modelos Escondidos de Markov 2004 Objetivos: Ensinar alguma coisa, não tudo (Visão geral, sem muitos detalhes). Tentar
Leia maisClassificação. Eduardo Raul Hruschka
Classificação Eduardo Raul Hruschka Agenda: Conceitos de Classificação Técnicas de Classificação One Rule (1R) Naive Bayes (com seleção de atributos) Super-ajuste e validação cruzada Combinação de Modelos
Leia maisUNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT. Faculdade de Ciências Exatas e Tecnológicas FACET / Sinop Curso de Bacharelado em Engenharia Elétrica
PERCEPTRON MULTICAMADAS: TÉCNICAS DE VALIDAÇÃO Prof. Dr. André A. P. Biscaro 2º Semestre de 2016 UNIVERSIDADE DO ESTADO DE MATO GROSSO - UNEMAT Aspectos de seleção topológica de redes PMC A especificação
Leia maisCombinação de Classificadores (fusão)
Combinação de Classificadores (fusão) André Tavares da Silva andre.silva@udesc.br Livro da Kuncheva Roteiro Sistemas com múltiplos classificadores Fusão por voto majoritário voto majoritário ponderado
Leia maisCap. 4 - Estimação por Intervalo
Cap. 4 - Estimação por Intervalo Amostragem e inferência estatística População: consiste na totalidade das observações em que estamos interessados. Nº de observações na população é denominado tamanho=n.
Leia maisEstatística Aplicada ao Serviço Social
Estatística Aplicada ao Serviço Social Módulo 7: Correlação e Regressão Linear Simples Introdução Coeficientes de Correlação entre duas Variáveis Coeficiente de Correlação Linear Introdução. Regressão
Leia maisAprendizagem de Máquina
Aprendizagem de Máquina Árvores de Decisão Poda e extensões Prof. Paulo Martins Engel UFRGS 2 Questões sobre Árvores de Decisão Questões práticas do aprendizado de AD incluem: Determinar até quando se
Leia mais1 Espaços Vectoriais
Nova School of Business and Economics Apontamentos Álgebra Linear 1 Definição Espaço Vectorial Conjunto de elementos que verifica as seguintes propriedades: Existência de elementos: Contém pelo menos um
Leia maisComunicaçõ. ções Digitais II. Texto original por Prof. Dr. Ivan Roberto Santana Casella
PTC-43 Comunicaçõ ções Digitais II Texto original por Prof. Dr. Ivan Roberto Santana Casella Representaçã ção o Geométrica de Sinais A modulação digital envolve a escolha de um sinal específico s i (t)
Leia mais2 Uma Proposta para Seleção de Dados em Modelos LVQ
2 Uma Proposta para Seleção de Dados em Modelos LVQ Abordagens diferentes têm sido encontradas na literatura para seleção de dados. Entretanto, todas as técnicas buscam de fato o mesmo objetivo, seleção
Leia maisI Workshop em Inteligência Computacional e Aprendizado Estatístico Aplicados à Agropecuária
I Workshop em Inteligência Computacional e Aprendizado Estatístico Aplicados à Agropecuária Camila Ferreira Azevedo Professora Departamento de Estatística - UFV Email: camila.azevedo@ufv.br 1 Colaboradores:
Leia maisANÁLISE DE COMPONENTES PRINCIPAIS/PCA ou ACP
Procedimento para a determinação de novas variáveis (componentes) que expliquem a maior variabilidade possível existente em uma matriz de dados multidimensionais. ANÁLISE DE COMPONENTES PRINCIPAIS/PCA
Leia maisExemplo de Aplicação de Algoritmos Genéticos. Prof. Juan Moisés Mauricio Villanueva cear.ufpb.br/juan
Exemplo de Aplicação de Algoritmos Genéticos Prof. Juan Moisés Mauricio Villanueva jmauricio@cear.ufpb.br cear.ufpb.br/juan Estrutura do Algoritmo Genético Algoritmo genético Inicio t = 0 inicializar P(t)
Leia maisCONHECIMENTOS ESPECÍFICOS
CONHECIMENTOS ESPECÍFICOS A distribuição dos tempos de permanência dos estudantes nos cursos de graduação de certa universidade é uma distribuição normal com média igual a 6 anos e desvio padrão igual
Leia maisAULA 09 Regressão. Ernesto F. L. Amaral. 17 de setembro de 2012
1 AULA 09 Regressão Ernesto F. L. Amaral 17 de setembro de 2012 Faculdade de Filosofia e Ciências Humanas (FAFICH) Universidade Federal de Minas Gerais (UFMG) Fonte: Triola, Mario F. 2008. Introdução à
Leia maisMedidas de Semelhança
Medidas de Semelhança Índices de Semelhança Grandezas numéricas que quantificam o grau de associação entre um par de objetos ou de descritores. Como escolher um Índice? O objetivo da análise é associar
Leia maisCONTEÚDO LÓGICA NEBULOSA INTRODUÇÃO INTRODUÇÃO. Lógica Procura modelar o raciocínio. Lógica. Marley Maria B.R. Vellasco
LÓGICA NEBULOSA Marley Maria B.R. Vellasco ICA: Núcleo de Pesquisa em Inteligência Computacional Aplicada PUC-Rio CONTEÚDO Introdução Introdução, Objetivo e Histórico Conceitos Básicos Definição, Características
Leia maisMulticolinariedade e Autocorrelação
Multicolinariedade e Autocorrelação Introdução Em regressão múltipla, se não existe relação linear entre as variáveis preditoras, as variáveis são ortogonais. Na maioria das aplicações os regressores não
Leia maisEstatística: Aplicação ao Sensoriamento Remoto SER ANO Componentes Principais
Estatística: Aplicação ao Sensoriamento Remoto SER 4 - ANO 9 Componentes Principais Camilo Daleles Rennó camilorenno@inpebr http://wwwdpiinpebr/~camilo/estatistica/ Associação entre Variáveis r = < r
Leia maisAprendizado de Máquina (Machine Learning)
Ciência da Computação (Machine Learning) Aula 01 Motivação, áreas de aplicação e fundamentos Max Pereira Nem todo conhecimento tem o mesmo valor. O que torna determinado conhecimento mais importante que
Leia mais