KDD E MINERAÇÃO DE DADOS

Transcrição

1 KDD E MINERAÇÃO DE DADOS Métodos de Mineração de Dados Prof. Ronaldo R. Goldschmidt Instituto Militar de Engenharia Seção de Engenharia de Computação (SE/8) ronaldo.rgold@ime.eb.br / ronaldo.rgold@gmail.com

2 MÉTODOS DE MINERAÇÃO DE DADOS Considerações Iniciais Métodos Tradicionais Métodos Bioinspirados Tarefas de KDD x Métodos de Mineração de Dados

3 MÉTODOS DE MINERAÇÃO DE DADOS Considerações Iniciais Métodos Tradicionais Métodos Bioinspirados Tarefas de KDD x Métodos de Mineração de Dados

4 CONSIDERAÇÕES INICIAIS Demanda por Tarefas de KDD Diversidade de Métodos e Implementações Necessidades de parametrização e experimentação Exemplos de Métodos de Mineração de Dados: K-NN, Classificadores Bayesianos, K-Means, Apriori, C4.5 Etc Classificação: Métodos Tradicionais Métodos Bioinspirados

5 MÉTODOS DE MINERAÇÃO DE DADOS Considerações Iniciais Métodos Tradicionais Métodos Bioinspirados Tarefas de KDD x Métodos de Mineração de Dados

6 K NEAREST NEIGHBORS (K-NN) Características Básicas: Aprendizado Baseado em Instâncias / Casos (ABI) Não há geração de modelo de conhecimento explícito Dados do conjunto de treinamento representam o modelo Estratégia Geral dos Métodos ABI: Pré-processamento do conjunto de dados e do registro a ser analisado Cálculo da similaridade do registro a ser analisado e os registros do conjunto de dados Estimativa da saída com base nas similaridades calculadas

7 K NEAREST NEIGHBORS (K-NN) Entradas: Valor de K (número de vizinhos) Métrica Conjunto de dados (referência) Novo registro Procedimento Básico: Cálculo da distância do novo registro a cada um dos registros do conjunto de referência Identificação dos k registros que apresentam menor distância em relação ao novo registro (i.e., mais similares) Infere a saída a partir das informações contidas nos k registros identificados Critérios de Inferência: Variam bastante entre as implementações Mais usuais: Média Aritmética e Moda.

8 K NEAREST NEIGHBORS (K-NN) REGISTRO:

9 K-NN TAREFA DE CLASSIFICAÇÃO REGISTRO: CLASSE Saída: a classe mais frequente (Moda).

10 K-NN TAREFA DE REGRESSÃO REGISTRO: VALOR NUMÉRICO Saída: Interpolação dos valores recuperados. Ex: Média.

11 K NEAREST NEIGHBORS (K-NN) Escolha do valor de K (número de vizinhos) Depende do conjunto de referência. Heurística geral: quanto maior o valor de k, menor o efeito de eventuais ruídos no conjunto de referência. Valores grandes para k tornam mais difusas as fronteiras entre as classes existentes. Problema de otimização. Critério de interpolação: Tipo do atributo de saída (nominal x quantitativo) Pesos iguais x Pesos ponderados pela distância ao registro a ser analisado Questão para pesquisa: Métricas para lidar com atributos nominais?

12 CLASSIFICADORES BAYESIANOS Sejam: um conjunto de informações C1, C2,...,Cn Classes um objeto / caso. Um Classificador Bayesiano é um método estatístico que: a) Computa P(C=Ck/ ) para K=1,2,,n b) Seleciona a classe Ck com maior probabilidade

13 CLASSIFICADORES BAYESIANOS Cálculo das Probabilidades Condicionais: P (C = Ck ) =? P(C = Ck A 1 = a 1, A 2 = a 2, A 3 = a 3,...) = (Subst. ) P(A1 a1, A2 a2, A3 a3,... C ck) *P(c P( A1 a1, A2 a2, A3 a3,...) ck) (Re gra _ de _ Bayes ) Denominador comum pode ser descartado P(A 1 = a 1, A 2 = a 2, A 3 = a 3,... C = ck) * P(C=ck)

14 CLASSIFICADORES BAYESIANOS Cálculo das Probabilidades Condicionais: Sup. independência entre os atributos Classificador Ingênuo P(C = Ck ) é expressa por: P(A 1 = a 1 C = ck) * P(A 2 = a 2 C=ck) *...* P(C=ck) Onde, para atributos nominais: P( Ai ai C ck) count ( Ai ai C count ( C ck) ck)

15 CLASSIFICADORES BAYESIANOS Exemplo: Consideremos o seguinte conjunto de dados: (Jogar Tênis)

16 CLASSIFICADORES BAYESIANOS Exemplo: São 2 Classes: Jogar = Sim, Jogar = Não Os atributos Ai são: Aparência, Temperatura, Umidade e Vento Pergunta-se: Um dia ensolarado, quente, de alta umidade e vento fraco é adequado para jogar tênis?

17 CLASSIFICADORES BAYESIANOS Exemplo: P(Jogar = Sim ensolarado, quente, alta umidade, vento fraco) = 0,0071 P(Jogar = Não ensolardo quente, alta umidade, vento fraco) = 0,0274 Resposta do Classificador Bayesiano: Jogar = Não

18 CLASSIFICADORES BAYESIANOS Exemplo: Cálculo das Probabilidades: P(Jogar = Sim ensolarado, quente, alta unidade, vento fraco) = (2/9) * (2/9) * (3/9) * (6/9) * (9/14) = 0,0071

19 CLASSIFICADORES BAYESIANOS Exemplo: Cálculo das Probabilidades: P(Jogar = Não ensolarado, quente, alta unidade, vento fraco) = (3/5) * (2/5) * (4/5) * (2/5) * (5/14) = 0,0274

20 CLASSIFICADORES BAYESIANOS Não existe modelo de conhecimento explícito Depende do conjunto de referência (distribuição dos dados). Questões para pesquisa: Como adaptar para tratar atributos quantitativos? E se removermos a hipótese de independência entre os atributos?

21 FAMÍLIA K-MEANS Métodos voltados à tarefa de Agrupamento Separação dos registros em n clusters Maximizar/Minimizar similaridade intra/inter cluster

22 FAMÍLIA K-MEANS Estrutura Comum Inicialização: Seleção de um conjunto com k centroides de clusters iniciais no espaço de dados. Esta seleção pode ser aleatória ou de acordo com alguma heurística. Cálculo da Distância: Calcula a distância euclidiana de cada ponto ou padrão ao centroide de cada cluster. Atribui cada ponto ao cluster cuja distância do ponto ao centroide do cluster seja mínima. Recálculo dos Centroides: Recalcula o centroide de cada cluster pela média dos pontos de dados atribuídos ao respectivo cluster.

23 FAMÍLIA K-MEANS Estrutura Comum (cont.) Condição de Convergência: Repete os passos 2 e 3 até que o critério de convergência tenha sido atingido. Em geral, considera-se um valor de tolerância do erro quadrático médio (MSE Mean Squared Error) abaixo do qual a distribuição dos pontos de dados pelos clusters é considerada satisfatória.

24 Estrutura Comum (Cont.) FAMÍLIA K-MEANS Diagrama de Atividades:

25 FAMÍLIA K-MEANS Exemplo de Processamento

26 FAMÍLIA K-MEANS Implementações K-Means: Atributos Quantitativos Sem restrição aos Centroides K-Modes: Atributos Nominais K-Prototypes: Atributos Quantitativos e Nominais K-Medoids: Centroides são registros do conjunto de dados

27 FAMÍLIA K-MEANS Considerações Gerais Escolha do valor de K (número de grupos) Depende do conjunto de referência. Problema de otimização. Desempenho: Sensível a ruídos. Bom quando grupos são densos e bem separados uns dos outros.

28 FAMÍLIA APRIORI Base Comum Busca por Regras de Associação frequentes e válidas. Regra de Associação: Y, onde e Y são itemsets (conjuntos de itens) tais que Y=. Identificação dos conjuntos de itens frequentes: Y / D >= MinSup (Suporte Mínimo) Identificação, dentre os conjuntos de itens frequentes, quais as regras válidas: Y / >= MinConf (Confiança Mínima )

29 FAMÍLIA APRIORI Base Comum Princípio da Anti-Monotonicidade do Suporte: Subconjuntos de conjuntos frequentes precisam ser frequentes Busca por Cliques Maximais em Grafos Bipartidos: Transações Itens

30 FAMÍLIA APRIORI Variantes de Implementação Implementações Sequenciais: Basic, GSP, DHP, Partition, DIC, Eclat, MaxEclat, Clique e MaxClique,... Implementações Paralelas: ParEclat, ParMaxEclat, ParClique, ParMaxClique, P-Partition,

31 FAMÍLIA C4.5 Base Comum Baseiam-se no cálculo de entropia. Dividem recursivamente o conjunto de dados procurando gerar partições puras. Uma partição é pura quando só contém registros de uma mesma classe. Exemplo de medida para a impureza (inconsistência) de uma partição : Gini(T) = 1 - p j 2 (onde p j é a frequência relativa da classe j em T). Quanto menor, melhor (mais puro ou menos impuro) Sexo Est_Civil Result Count(*) M C A 2 M C I 1 Gini(T) = 1 [(2/3) 2 + (1/3) 2 ] = 0,44 F S A 3 M S I 1

32 FAMÍLIA C4.5 Seja S(A 1, A 2,..., A m, C) um conjunto de dados, sendo C o atributo objetivo do problema. C 1, C 2,..., C k são valores de C. Ex: Renda Despesa Resposta (AP, NG, ES) Alta Baixa AP Alta Alta ES Baixa Baixa NG Baixa Alta NG A 1 Renda A 2 Despesa C Resposta C 1 AP C 2 ES C 3 - NG info S = - j j freq C,S freq C,S log S S k 2 j=1 bits T infox T = info T T n i=1 i i gain = info T - info x T

33 FAMÍLIA C4.5 Árvore de Decisão - Exemplo: Baixa Renda Alta NG Alta ES Despesa Baixa AP Regras de Produção: 1) Se Renda = Baixa Então Resultado = NG 2) Se Renda = Alta E Despesa = Alta Então Resultado = ES 3) Se Renda = Alta E Despesa = Baixa Então Resultado = AP

34 FAMÍLIA C4.5 Gera modelo de conhecimento explícito. Implementações: ID3, C4.5, CART, J4.8, etc Questão para pesquisa: Como trata atributos quantitativos?

35 MÉTODOS DE MINERAÇÃO DE DADOS Considerações Iniciais Métodos Tradicionais Métodos Bioinspirados Tarefas de KDD x Métodos de Mineração de Dados

36 MÉTODOS DE MINERAÇÃO DE DADOS Métodos Bioinspirados Baseados em Algoritmos Genéticos Rule Evolver Sumarização, Classificação Baseados em Redes Neurais Rede MultiLayer Perceptron (MLP) com Backpropagation Classificação, Regressão, Previsão de Séries Temporais Redes SOM (Self Organizing Maps) Clusterização Baseados em Lógica Nebulosa Wang & Mendel Regressão, Previsão de Séries Temporais

37 ALGORITMOS GENÉTICOS: RULE EVOLVER Motivação Identificar padrões de empresas em um BD Exemplo: Qual o padrão das empresas do Cluster 1? Se receita_serviço 1 (Voz) = 5000<R$<7000 & receita_serviço 2 (Telex) = 7000<R$<8000 & código_atividade = 13 (Ind. Mat.Elétrico Eletrônico e Comunicação) & 10 < #_Filiais < 50 & #_Empregados > 100 Então Empresa pertence ao Cluster 1(In-Transaction)

38 ALGORITMOS GENÉTICOS: RULE EVOLVER Cromossoma Regra Genes atributos do banco de dados cruzamento P 1 Receita Serviço <R$<2000 Receita Serviço <R$<9000 COD_ATIV = 13 10<#_Filiais<50 Empregados>100 P 2 Receita Serviço <R$<7000 Receita Serviço <R$<8000 COD_ATIV = 14 30<#_Filiais<60 Empregados>300 F 1 Receita Serviço <R$<2000 Receita Serviço <R$<9000 COD_ATIV = 14 30<#_Filiais<60 Empregados>300 F 2 Receita Serviço <R$<7000 Receita Serviço <R$<8000 COD_ATIV = 13 10<#_Filiais<50 Empregados>100

39 ALGORITMOS GENÉTICOS: RULE EVOLVER Regras Forma Geral SE C 1 E C 2 E E C n ENTÃO CONCLUSÃO Onde C i, i=1,,n são condições envolvendo atributos preditivos Conclusão envolve um atributo objetivo com valor fixo, não manipulado pelo AG

40 ALGORITMOS GENÉTICOS: RULE EVOLVER Representação do Cromossoma Min 1 Max 1 Min 2 Max 2 Min n Max n Atb 1 Atb 2 Atb n Onde Atb i pode ser: Quantitativo Faixa de valores: [Min i,max i ] Categórico Contém um único símbolo codificado em Min i

41 ALGORITMOS GENÉTICOS: RULE EVOLVER Operadores de Crossover Disponíveis Um Ponto Dois Pontos Uniforme Média Aritmético Lógico Híbrido

42 ALGORITMOS GENÉTICOS: RULE EVOLVER Op. Lógico OU p/ Atributos Categóricos Representação Real Interpretação do valor de um atributo categórico (alfabeto de cardinalidade k): - Real Binário com k bits - Cada posição indica ausência (0) ou presença (1) do símbolo correspondente

43 ALGORITMOS GENÉTICOS: RULE EVOLVER Ex: Tipo Residência: Dom. = {própria, alugada, parente, funcional} Alelo Op. Lógico OU p/ Atributos Categóricos Decodificação Tipo Res própria alugada própria ou alugada própria ou alugada ou parente ou funcional (don t care) Não informada (Null)

44 ALGORITMOS GENÉTICOS: RULE EVOLVER Operador de Crossover Lógico (E/OU) F 1 = P 1 OU P 2 F 2 = P 1 E P 2 P null F null P null F null

45 ALGORITMOS GENÉTICOS: RULE EVOLVER Operador de Crossover Híbrido O Crossover Aritmético para Atributos Quantitativos O Crossover Lógico proposto para Atributos Categóricos

46 ALGORITMOS GENÉTICOS: RULE EVOLVER Operadores de Mutação Disponíveis Mutação Simples Mutação Don t Care Mutação Creep Mutação Lógica Mutação Híbrida Mutação de Extensão Lógica

47 ALGORITMOS GENÉTICOS: RULE EVOLVER Operador de Mutação Lógica (Negação/Troca Aleatória) I = NOT I 0011 null 1100 null

48 ALGORITMOS GENÉTICOS: RULE EVOLVER Operador de Mutação Híbrida A Mutação CREEP para Atributos Quantitativos A Mutação Lógica para Atributos Categóricos

49 ALGORITMOS GENÉTICOS: RULE EVOLVER Funções de Avaliação: FAbrangência e FAcurácia Seja R uma Regra qualquer: SE P ENTÃO O Define-se: Acurácia de R : P O / P Abrangência de R : P O / O

50 REDES NEURAIS: RECORDAÇÃO Estrutura de uma Rede Neural: Atividade Neural I 1 H 1 O 1 I 2 H 2 O 2 I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

51 REDES NEURAIS: RECORDAÇÃO Elementos Básicos de um Neurônio Artificial: Neurônio Artificial Pesos 1 Propagação Ativação 2 3

52 REDES NEURAIS: RECORDAÇÃO Elementos Básicos de um Neurônio Artificial: Conexões entre Processadores - a cada conexão existe um peso sináptico que determina o efeito da entrada sobre o processador W ik i W ik k W ik expressa a força da conexão entre os neurônios i e k Exemplos: Alguns autores referenciam W ik como W ki 1 W 18 = W 59 =

53 REDES NEURAIS: RECORDAÇÃO Elementos Básicos de um Neurônio Artificial: Regra de Propagação Combina as entradas de um processador com os pesos sinápticos associados às conexões que chegam a tal processador. net k é a saída do combinador linear, onde: net k = W ik * O i net k Potencial de ativação do processador k O i W ik Saída do processador i Peso da conexão entre os neurônios i e k O 1 1 = 0.2 W 13 = 1.2 O W 23 = = net 3 = (O 1 *W 13 ) + (O 2 *W 23 ) = (0.2*1.2) + ((-1)*(-0.3)) = = 2.7

54 REDES NEURAIS: RECORDAÇÃO Elementos Básicos de um Neurônio Artificial: Estado de Ativação S k Função de Ativação - determina o novo valor do Estado de Ativação do processador S k = F (net k ) Onda quadrada binária (degrau) 1 0 net Linear por partes (rampa) 0 Sigmóide 1 y Tangente Hiperbólica 1 y 0 net 0 net -1

55 REDES NEURAIS: MLP COM BACK-PROPAGATION Princípio Básico:

56 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

57 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

58 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 Entrada Pesos H 3 Escondida Pesos O 3 Saída

59 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Erro = - I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

60 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

61 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

62 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 Entrada Pesos H 3 Escondida Pesos O 3 Saída

63 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Erro = - I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Saída

64 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

65 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 H 3 O 3 Entrada Pesos Escondida Pesos Saída

66 REDES NEURAIS: MLP COM BACK-PROPAGATION MLP Ilustração da Dinâmica do Treinamento (BP) Atividade Alvo Neural I 1 H 1 O 1 I 2 H 2 O 2 Dados para Treinamento I 3 Entrada Pesos H 3 Escondida Pesos O 3 Saída

67 REDES NEURAIS: MLP COM BACK-PROPAGATION Regra de Aprendizagem: Regra Delta Generalizada A métrica de aprendizagem erro quadrático (a ser minimizado) E( k) e(k) 2 2 y d ( k) 2 y(k) ˆ 2 A regra de aprendizagem W i ( k 1) E( k)

68 REDES NEURAIS: MLP COM BACK-PROPAGATION Exemplos de Dificuldades no Treinamento Velocidade de aprendizado Mínimos Locais e Platôs Perda da Capacidade de Generalização (Overfitting)

69 REDES NEURAIS: MLP COM BACK-PROPAGATION Boa Generalização (Desejável): A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento. Interpola corretamente os novos pontos apresentados.

70 REDES NEURAIS: MLP COM BACK-PROPAGATION Os valores de entrada dos neurônios após a camada de entrada são calculados pela regra de propagação, em geral o produto escalar: netj(n)= ji(n)yi(n) onde, ji(n) correponde aos pesos das conexões que chegam ao neurônio j na n-ésima iteração. yi(n) é o i-ésimo sinal de entrada do neurônio j na n-ésima iteração.

71 REDES NEURAIS: MLP COM BACK-PROPAGATION Em todos os neurônios, a função de ativação deve ser diferenciável. A função de ativação é aplicada ao potencial de ativação de cada neurônio (netj(n)): yj(n)= j(netj(n)) É muito comum a utilização da função logística sigmoidal: yj(n)=1/(1+e -netj(n) )

72 REDES NEURAIS: MLP COM BACK-PROPAGATION Uma vez geradas as saídas dos neurônios da camada de saída da rede, o algoritmo Back-Propagation inicial a segunda etapa do treinamento para o padrão apresentado. Neste momento, o sinal de erro produzido pelo neurônio j da camada de saída na iteração n é calculado por: ej(n) = dj(n) yj(n) O gradiente local de cada neurônio j da camada de saída no instante n é calculado pela expressão: j(n)= ej(n) j(netj(n))

73 REDES NEURAIS: MLP COM BACK-PROPAGATION Esta etapa prossegue, passando os sinais de erro da direita para a esquerda, calculando o gradiente local associado a cada neurônio não pertencente à camada de saída (1), e ajustando os pesos das conexões (2) associadas a ele. j(n)= j(netj(n)) k(n) kj(n) (1) ji(n) = j(n) yi(n) (2)

74 REDES NEURAIS: SOM Kohonen SOM (Self Organizing Feature Maps) Objetivo: Agrupar dados de entrada em função da detecção de padrões de similaridade ou diferença entre esses dados, viabilizada pela redundância de informação existente. Características Pertence à família de redes auto-organizáveis (mapas de características auto-organizáveis) Voltada ao agrupamento de padrões que compartilham características comuns Utiliza aprendizado competitivo (neurônios competem entre si pelo direito de atualizar seus pesos) Teuvo Kohonen foi responsável por sua criação, além de outros modelos de RNAs

75 REDES NEURAIS: SOM Kohonen SOM (Self Organizing Feature Maps) Funcionamento: Quando um padrão de entrada p é apresentado, a rede procura o neurônio mais similar a p. Durante o seu treinamento, a rede aumenta a semelhança do neurônio escolhido e de seus vizinhos ao padrão p. Dessa forma, a rede constrói um mapa topológico onde os neurônios que estão fisicamente mais próximos respondem de forma semelhante a padrões de entrada semelhantes. Características A rede SOM apresenta respaldo biológico, pois no córtex cerebral, neurônios ativos apresentam conexões mais fortes com neurônios que estão fisicamente mais próximos.

76 REDES NEURAIS: SOM Kohonen SOM (Self Organizing Feature Maps) Características A rede SOM utiliza aprendizado competitivo e não supervisionado em que neurônios da camada de saída competem entre si para se tornarem ativos, ou seja, quem gera o maior valor de saída. A competição é do tipo inner takes all, em que apenas um neurônio pode vencer a disputa. Utiliza conexões laterais inibitórias e o conceito de vizinhos topológicos, simulando o efeito do chapéu mexicano (vizinhos próximos ao neurônio vencedor também têm seus pesos ajustados).

77 REDES NEURAIS: SOM Kohonen SOM (Self Organizing Feature Maps) Arquitetura Na rede SOM, os neurônios se organizam em uma grade ou reticulado, geralmente bidimensional, podendo algumas vezes ser unidimensional. Cada neurônio recebe todas as entradas e funciona como um discriminador ou extrator de características Quanto mais semelhante a entrada for de um vetor de pesos de um neurônio, maior será a saída gerada por este neurônio.

78 REDES NEURAIS: SOM Kohonen SOM (Self Organizing Feature Maps) Treinamento Algoritmo: Inicializa pesos e parâmetros Repita Para todo padrão de treinamento faça Definir neurônio vencedor Atualizar os pesos deste neurônio e seus vizinhos Se o número do ciclo for múltiplo de N então Reduzir taxa de aprendizado Reduzir Vizinhança Fim se Fim para Até que o mapa não mude

79 Kohonen SOM (Self Organizing Feature Maps) Treinamento REDES NEURAIS: SOM O estado de ativação de um neurônio é determinado pela distância entre n seu vetor de pesos e o vetor de entrada: ( x ) A atualização dos pesos do neurônio vencedor e dos situados na sua vizinhança é calculada por: 1ª. Eq caso o neurônio pertença à vizinhança do vencedor e 2ª. Eq. caso contrário. ji( t) ( t)( xi ( t) ji( t)) ji( t 1) ji( t) Redução da região de vizinhança j i 1 i ji

80 Método de Wang & Mendel (Fuzzy Logic) Tem como objetivo, a partir de um conjunto de dados de entrada e saída, onde x1 e x2 são entradas e y é a saída, gerar um conjunto de regras que generalize o conhecimento embutido nos dados; Pode ser generalizado para o caso de múltiplas entradas e saídas;

81 Método de Wang & Mendel (Fuzzy Logic) Passo 1- Dividir os espaços de entrada e saída em regiões fuzzy Domínios das variáveis intervalos onde provavelmente os valores vão estar 1 : [a-, a+] 2 : [b-, b+] Y : [c-, c+]

82 Método de Wang & Mendel (Fuzzy Logic) Divida cada domínio em 2N + 1 regiões N pode ser diferente para variáveis diferentes e os tamanhos das regiões podem ser iguais ou diferentes; Atribuir um rótulo a cada região SN (Small N),..., S1 (Small 1),..., BN (Big N);

83 Método de Wang & Mendel 1 : [a-, a+] Domínio de x1: N = 2 (5 regiões) 2 : [b-, b+] Y : [c-, c+] Domínio de x2: N= 3 (7 regiões) Domínio de y: N= 2 (5 regiões)

84 Método de Wang & Mendel Passo 2 Gerar uma regra para cada conjunto de dados conhecido: Determine o graus de pertinência dos dados em cada região B1(x 1 (1) ) = 0.8 B2 (x 1 (1) ) =0.2 (0 nos demais conjuntos)

85 Método de Wang & Mendel S1(x 2 (1) ) = 0.7 S2 (x 2 (1) ) =0.2 (0 nos demais conjuntos)

86 Método de Wang & Mendel CE(y (1) ) = 0.9 B1 (y (1) ) =0.1 (0 nos demais conjuntos)

87 Método de Wang & Mendel B1(x 1 (1) ) = 0.8 B2 (x 1 (1) ) =0.2 (0 nos demais conjuntos) S1(x (1) 2 ) = 0.7 S2 (x (1) 2 ) =0.2 (0 nos demais conjuntos) CE(y (1) ) = 0.9 B1 (y (1) ) =0.1 (0 nos demais conjuntos) Atribua cada valor dos dados à região com maior grau de pertinência x 1 (1) é considerado como B1 x 2 (1) é considerado como S1 y (1) é considerado como CE - Obtenha uma regra para cada dado de entrada e saída Regra 1: Se x 1 é B1 e x 2 é S1 então y é CE Regra 2: Se x 1 é B1 e x 2 é CE então y é B1

88 Método de Wang & Mendel Passo 3 Atribua um grau a cada regra D(Regra j) O grau de cada regra é definido pelo produto dos graus de pertinência: Regra 1: Se x 1 é B1 e x 2 é S1 então y é CE D(Regra 1) = 0.8 * 0.7 * 0.9 = Regra 2: Se x 1 é B1 e x 2 é CE então y é B1 D(Regra 2) = 0.6 * 1 * 0.7 = 0.42

89 Método de Wang & Mendel Caso exista conhecimento prévio que permita atribuir graus de importância a cada dado, redefinir o grau de cada regra como: D(Regra 1) = B1 (x 1 (1) ) * S1 (x 2 (1) ) * CE(y (1) ) * m (1) Nos casos em que se dispõe de regras linguísticas criadas por especialistas, elas serão consideradas assumindo que também possuem um grau, atribuído pelo especialista;

90 Método de Wang & Mendel Passo 4 Criar uma base de regras combinada Para cada grupo de regras com o mesmo antecedente (conflito e redundância) selecione a regra com o maior grau e elimine as demais;

91 Exemplo: 2 variáveis (entrada, saída)

92 Exemplo: 2 variáveis (entrada, saída)

93 Exemplo: 2 variáveis (entrada, saída)

94 Exemplo: 2 variáveis (entrada, saída)

95 Aplicação: Previsão de Séries Temporais Seja x(k), k = 1,2,... N uma série temporal e dada uma janela de n medidas de x(k), x(kn+1), x(k-n+2),..., x(k), determinar x(k+l). JANELA N =5 JANELA = 5 VALOR PREVISTO (L=4) (K-4) (K-3) (K-2) (K-1) (K) (K+4)

96 Aplicação: Previsão de Séries Temporais x1 x2 x3 x4 x5 x6 x7 = CONSEQUENTE ANTECEDENTE O valor a ser previsto depende de n valores passados de x, logo, estes n valores irão compor o antecedente da regra.

97 Aplicação: Previsão de Séries Temporais Passo 1 Divide-se a faixa de valores da série [U-, U+] em m (ímpar) conjuntos fuzzy;

98 Aplicação: Previsão de Séries Temporais Associa-se um rótulo a cada conjunto;

99 Aplicação: Previsão de Séries Temporais Passo 2 Determina-se: Tamanho da janela: define quantos e quais valores passados têm mais influência no valor a ser previsto; Horizonte de previsão: define l em função de quantos valores à frente se deseja a previsão; Para cada regra: Determinar os graus de pertinência dos elementos xj; Atribuir, a cada variável, o conjunto de maior grau; Obter a regra para cada par de entrada-saída;

100 Aplicação: Previsão de Séries Temporais x1 x1

101 Aplicação: Previsão de Séries Temporais

102 Aplicação: Previsão de Séries Temporais SE j(1) é S3 E j(2) é S1 E j(3) é S1 E j(4) é B1 E j(5) é CE E j(6) é B2 ENTÃO j(7) é S1

103 Aplicação: Previsão de Séries Temporais Passo 3 Atribuir um grau a cada regra determinado pelo produto dos graus de pertinência dos componentes da regra (antecedente e consequente); Passo 4 Eliminar redundância e conflito selecionando a regra com maior grau.

104 MÉTODOS DE MINERAÇÃO DE DADOS Considerações Iniciais Métodos Tradicionais Métodos Bioinspirados Tarefas de KDD x Métodos de Mineração de Dados

105 TAREFAS E MÉTODOS ALGUNS EEMPLOS Tarefas de KDD Descoberta de Associações Classificação Regressão Sumarização Métodos de Mineração de Dados Basic, Apriori, DHP, Partition, DIC, ASC-2P Redes Neurais (Ex: MLP com Back-Propagation), C4.5, Rough Sets, Algoritmos Genéticos (Ex: Rule Evolver), CART, K-NN, Classificadores Bayesianos, SVM Redes Neurais (Ex: Redes MLP com Back- Propagation), Lógica Nebulosa C4.5, Algoritmos Genéticos (Ex: Rule Evolver) Clusterização K-Means, K-Modes, K-Prototypes, Fuzzy K- Means, Algoritmos Genéticos, Redes Neurais (Ex: Kohonen) Previsão de Séries Temporais Redes Neurais (Ex: Redes MLP com Back- Propagation), Lógica Nebulosa (Ex: Wang- Mendel)