Sistemas de Apoio à Decisão Introdução ao DataMining V 1.0, V.Lobo, EN/ISEGI, 2005

Transcrição

1 V., V.Lobo, E/IEGI, 25 Objectivos gerais istemas de Apoio à Decisão Data ining & Optimização Victor Lobo Abrir horizontes em temas actuais Aprender técnicas usadas em istemas de apoio à decisão ou Business Intelligence étodos de Dataining Pesquisa de informação em grandes bases de dados Aprender com experiência passada étodos de Optimização Resolver problemas de pesquisa complicados Programa (parte relativa a técnicas). Introdução a Data ining 2. Redes euronais Perceptrão multicamada (LP) 3. Redes euronais apas auto-organizados (O) 4. Árvores de decisão 5. Introdução às técnicas de optimização 6. Algoritmos Genéticos Bibliografia Data ining Techniques, for sales and customer support Berry,., Linoff, G., John Wiley and ons, 997 Principles of Data ining Hand, D., annila,h,,myth,p.; IT Press, 2 achine Learning itchell, Tom,, cgraw- Hill, 997 Haykin, Bishop, Hertz, Breiman, alvador, oftware A - Enterprise iner P - Clementine IB - Intelligent iner open source em Java - WEKA osso patrocinador! Disponível nas salas AP ódulos de Business Intelligence atlab Toolboxs de, DT, GA, etc Outros tatistica eural etworks, O_PAK, C4.5(original),, plug-ins para Excel, etc, etc, etc, etc, Alguns sites interessantes achine Learning etwork oftware, dados, conferências, projectos, etc. Repositório de Irvine Dados, software, artigos Homepage do WEKA O (H.U.T.) oftware, bibliografia sobre O

2 V., V.Lobo, E/IEGI, 25 O que é Data ining? Introdução ao Data ining Data ining é a pesquisa de informação útil em grande quantidades de dados O que é ser útil? O que pretende obter? Consequência do enorme volume de informação actualmente disponível Informação é poder... Água é vida... Todos os anos morre gente afogada... É necessário trabalhar a informação Hierarquia de compreensão e utilidade E o que fazer depois de ter os dados organizados? Conhecimento Informação Dados O ciclo de data mining implificando, Data ining é Escolher dados Identificar probelmas AALIAR (DATA IIG) AGIR A utilização de três técnicas diferentes: Bases de dados Estatística Vamos estudar tudo isto? Aprendizagem máquina. (achine Learning) Para resolver dois tipos de problemas Predição Descobrir novo conhecimento EDIR 2

3 V., V.Lobo, E/IEGI, 25 Predição e novo conhecimento Predição é aprender critérios de decisão para ser capaz de classificar casos desconhecidos Descobrir novo conhecimento é encontrar padrões desconhecidos existentes nos dados Gostava de ver exemplos? Tipos de problemas Predição Classificação Regressão O que vamos estudar? Descoberta de conhecimento Detecção de desvios egmentação de bases de dados Clustering Regras de associação umarização Visualização Pesquisa em texto Detecção de fraudes na utilização de um cartão de crédito Deferir, ou não, um pedido de crédito Prever perdas com seguros Como descrevo os exemplos? Prever os níveis de audiência dos canais de televisão Classificar os efeitos hidrofónicos produzidos por diferentes navios Analisar as respostas de um inquérito médico Escolher clientes a quem direccionar uma campanha de marketing Cross- selling, fidelização, etc, etc, Problemas a montante... Recolha de dados Representação dos dados Armazenagem, organização, e disponibilização dos dados Pré-processamento dos dados Representação dos dados Representação mais usada = tabela (Existem muitas outras...) Exemplo Empresa de seguros de saúde Dado, vector, registo ou padrão Altura Peso exo F F Idade Ordenado Um exemplo? Variável, característica, ou atributo Usa ginásio Encargos para seguradora Tipos de atributos Booleanos ou binários ó tomam dois valores ominais Tomam um conjunto de valores não ordenados Ordinais Tomam um conjunto (finito) de valores ordenados uméricos 3

4 V., V.Lobo, E/IEGI, 25 Como organizar os dados? Data warehouse É o suporte centralizado de informação importante para a decisão. É uma base de dados? Como organizo tudo isto? O modelo de data warehouse Bases de dados Data Warehouse Forma tandard étodos preditivos Passos para construir a data warehouse Bases de dados Extrair Transformar Limpar Integrar Data Warehouse Pré-processamento dos dados Tratar dos missing values Eliminá- los, substituí- los, etc Corrigir factores de escala entre atributos ormalização linear por min/max ormalizar média e desvio padrão Outras Transformações de variáveis... Vidé Data preparation for Data ining, Dorian Pyle, organ Kaufmann, 999 Alguns problemas importantes que ÃO vamos tratar... Escolha dos atributos Visualização Dados multidimensionais Problema central em datamining OLAP e outras técnicas de reporting On- line Analytical Processing Regras de Associação e arket Basket Analysis Introdução à aprendizagem Aprender a partir dos dados conhecidos 4

5 Algoritmo Conhecimento Interpretador CLAIFICAÇÃO Algoritmo Algoritmo Conhecimento Interpretador Conhecimento Interpretador CLAIFICAÇÃO CLAIFICAÇÃO istemas de Apoio à Decisão Introdução ao Dataining V., V.Lobo, E/IEGI, 25 Fases do processo Exemplo de aprendizagem () (Treino) Classificação (novos) Aprendizagem (Treino) Algoritmo Conhecimento Aprendizagem Agência imobiliária pretende estimar qual a gama de preços para cada clinente de treino: Dados históricos Ordenado vs custos de casas compradas Classificação (novos) Interpretador CLAIFICAÇÃO Custo da casa Ordenado Exemplo de aprendizagem (2) (Treino) Classificação (novos) Aprendizagem Exemplo de aprendizagem (3) (Treino) Classificação (novos) Aprendizagem Algoritmo Regressão linear Representação do conhecimento Recta (declive e ordenada na origem) novos Um novo cliente, com ordenado x Interpretação Usar a recta (método de previsão usado) para obter uma PREVIÃO Custo da casa Custo da casa x Ordenado Ordenado Outro problema de predição Exemplo da seguradora Existem um conjunto de dados conhecidos de treino Queremos prever o que vai ocorrer noutros casos Empresa de seguros de saúde quer estimar custos com um novo cliente de treino (dados históricos) Altura Peso exo Idade Ordenado F F Usa ginásio Encargos para seguradora E o anel? Altura=.73 Peso=85 Idade=3 Ordenado=28 Ginásio= Terá encargos para a seguradora? Tipos de sistemas de previsão Clássicos Regressões lineares, logísticas, etc... Redes euronais Árvores de decisão Dados Regressões lineares Redes neuronais Árvores de decisão Previsões 5

6 V., V.Lobo, E/IEGI, 25 Professor/Aluno Tipos de Aprendizagem UPERVIIOADA vs ÃO UPERVIIOADA ICREETAL vs BATCH PROBLEA Todo o processo de aprendizagem pode ser caracterizado por um protocolo entre o professor e o aluno. O professor pode variar entre o tipo dialogante e o não cooperante. Onde já vi isto? Protocolos Professor/Aluno Professor nada cooperante ó dá os exemplos => não supervisionada Professor cooperante Dá exemplos classificados => supervisionada Professor pouco cooperante ó diz se os resultados estão certos ou errados => aprendizagem por reforço Professor dialogante - ORÁCULO Formas de adquirir o conhecimento Incremental Os exemplos são apresentados um de cada vez e a estrutura de representação vai- se alterando ão incremental (batch) Os exemplos são apresentados todos ao mesmo tempo e são considerados em conjunto. Acesso aos exemplos Aprendizagem offline Todos os exemplos estão disponíveis ao mesmo tempo Aprendizagem online Os exemplos são apresentados um de cada vez Aprendizagem mista Uma mistura dos dois casos anteriores Problema do nº de atributos Poucos atributos ão conseguimos distinguir classes uitos atributos Caso mais vulgar em Datamining Praga da dimensionalidade Visualização difícil e efeitos estranhos Atributos importantes vs redundantes Quais os atributos importantes para a tarefa? 6

7 V., V.Lobo, E/IEGI, 25 Problema da separabilidade eparáveis Erro Ø possível ão separáveis Erro sempre > Ø Erro de Bayes Erro mínimo possível para um classificador Problema do melhor tipo de modelo A representação de conhecimento mais simples. ais fácil de entender Árvores de decisão vs redes neuronais A representação de conhecimento com menor probabilidade de erro. A representação de conhecimento mais provável avalha de Occam... Problemas... Adequabilidade da representação do conhecimento à tarefa que se quer aprender Ruído Ruído na classificação dos exemplos ou nos valores dos atributos. á informação é pior que nenhuma informação Enormes quantidades de dados Quais são importantes? Tempo de processamento Aprender demais Decorar os dados. Vamos ver isso agora... Generalização e overfitting Os dados Exemplo de overfitting Universo Amostra (bem conhecida) eja um conjunto de pontos. Encontrar um polinómio de grau que represente esses pontos. ( x ) = y i= w x i i,9,8,7,6,5,4,3,2,,2,4,6,8 7

8 V., V.Lobo, E/IEGI, 25 Aproximação = Aproximação = 3 ( x) = 2 3 w w x y ( x) = w + w x + w x + w y + 2 3x,9,8,7,6,5,4,3,2,,2,4,6,8,9,8,7,6,5,4,3,2,,2,4,6,8 Data =3 Aprocimação = ( x) = w + w x + w x + w x + w x + w x + w x + w x + w x w y x Overfitting,9,8,7,6,5,4,3,2,,2,4,6,8 Data =,9,8,7,6,5,4,3,2,,2,4,6,8 Data = =3 = Curva de Overfiting Fases do processo Probabilidade de erro,9,8,7,6,5,4,3,2 A melhor Representação de Teste de treino (Treino) (Validação) Algoritmo Conhecimento Aprendizagem, Complexidade da representação do conhecimento Classificação (Teste) Interpretador CLAIFICAÇÃO 8

9 V., V.Lobo, E/IEGI, 25 Generalização de treino/validação/teste O objectivo não é aprender a agir no conjunto de treino mas sim no universo desconhecido! Como preparar para o desconhecido? anter um conjunto de teste de reserva Dados ew, unlabeled ovos data Training de treino set Treina Dados Known, conhecidos labeled data Validation Conj. de Validação set Controla o processo de aprendizagem Conj. Test Teste set Trabalho útil Classificador Classifier Prevê a capacidade de generalização Divisão dos dados de treino Quanto maior, melhor o classificador obtido de validação Quanto maior, melhor a estimação do treino óptimo de teste Quanto maior, melhor a estimação do desempenho do classificador Processo de aprendizagem A aprendizagem é um processo de optimização (inimização do erro) Algoritmo de optimização étodo do gradiente ubir a encosta Guloso Algoritmos genéticos imulated annealing O que é o bias da pesquisa? Formas de adquirir o conhecimento Tarefas do projecto Projecto do sistema de aprendizagem Preparação dos dados. Redução dos dados. odelação e predição dos dados. Casos e análise das soluções 9

10 V., V.Lobo, E/IEGI, 25 Aproximação exploratória... Preparação dos dados Fenómeno Physical phenomena edições experimentais Dados Raw em data bruto Extracção de características (feature extraction) Objectivos Extracção optimizada das características Classificador Classifier Informação útil Análise exploratória de dados perspectivas Desenho do classificador Validação Fundamental Características features fundamentais Características Features elecção de características (feature selection) Data Warehouse Transformação dos dados Dependências temporais Forma tandard Redução dos dados odelação iterativa e predição Forma standard inicial de treino inicial étodos de redução Atributos reduzidos Forma standard reduzida de treino de validação de treino étodo de predição olução udança de parâmetros Testa o melhor de teste inicial de teste de validação Análise das soluções de treino elecção de um subconjunto de teste Análise da medida de desempenho Considerações finais ubconjunto de treino étodo de predição olução

11 V., V.Lobo, E/IEGI, 25 Os principais paradigmas Redes euronais Baseados em instâncias Algoritmos genéticos Indução de regras Aprendizagem analítica Alguns pontos para meditar() Que modelos são mais adequados para um caso específico? Que algoritmos de treino são mais adequados para um caso específico? Quantos exemplos são necessários? Qual a confiança que podemos ter na medida de desempenho? Como pode o conhecimento a priori ajudar o processo de indução? Alguns pontos para meditar(2) Qual a melhor estratégia para escolher o processo exemplo? Em que medida a estratégia altera o processo de aprendizagem? Quais as funções objectivo que se devem escolher para aprender? Poderá esta escolha ser automatizada? Como pode o sistema alterar automaticamente a sua representação para melhorar a capacidade de representar e aprender a função objectivo? de problemas () Um banco quer estudar as características dos seus clientes. Para isso precisa de encontrar grupos de clientes para os caracterizar. Quais as variáveis do problema? Como descrever os diferentes clientes. Que problema de aprendizagem se está a tratar? Exemplo (2) Uma empresa de ramo automóvel resolveu desenvolver um sistema automático de condução de automóveis. Quais as variáveis do problema? Como descrever os diferentes ambientes. Que problema de aprendizagem se está a tratar?

12 V., V.Lobo, E/IEGI, 25 Exemplo (3) Quer estudar-se a relação entre o custo das casas e os bairros de Lisboa. Quais as variáveis do problema? Como descrever os diferentes bairros. É um problema problema de predição, mas será de classificação ou de regressão? Exemplo (4) Uma empresa de seguros do ramo automóvel quer detectar as fraudes das declarações de acidentes. Quais as variáveis do problema? Como descrever os clientes e os acidentes? É um problema problema de predição, mas será de classificação ou de regressão? 2