Aprendizado de Máquina

Transcrição

1 Aprendizado de Máquina Aula #8.1 EBS 564 IA Prof. Luiz Fernando S. Coletta Campus de Tupã

2 Conhecimento: abstração (modelo) das relações existentes entre as informações contidas nos dados e do seu significado. Produz insights que a informação por si só não é capaz de mostrar. 2

3 Conhecimento: abstração (modelo) das relações existentes entre as informações contidas nos dados e do seu significado. Produz insights que a informação por si só não é capaz de mostrar. Dados Números 3

4 Conhecimento: abstração (modelo) das relações existentes entre as informações contidas nos dados e do seu significado. Produz insights que a informação por si só não é capaz de mostrar. Dados Números Informação Granularização 4

5 Conhecimento: abstração (modelo) das relações existentes entre as informações contidas nos dados e do seu significado. Produz insights que a informação por si só não é capaz de mostrar. Dados Números Informação Granularização Conhecimento Regras Se-Então 5

6 O que queremos... Sistemas capazes de extrair conhecimento útil dos dados; 6

7 O que queremos... Sistemas capazes de extrair conhecimento útil dos dados; Sistemas capazes de aprender e se adaptar com o tempo; 7

8 Contudo...Big Data Boom Duplicação dos dados anos anos anos anos dias* Fonte: * G. Starkweather (Microsoft),

9 Grandes massas de dados Complexas Heterogêneas, não estruturadas... 9

10 Grandes massas de dados Complexas Heterogêneas, não estruturadas... Dinâmicas; Mudam rapidamente (online ) 10

11 Grandes massas de dados Complexas Heterogêneas, não estruturadas... Dinâmicas; Mudam rapidamente (online ) Dificuldades: capturar, armazenar, manusear e extrair conhecimento :/ 11

12 PERISSINOTTO, M., & DE MOURA, D. J. (2007). DETERMINAÇÃO DO CONFORTO TÉRMICO DE VACAS LEITEIRAS UTILIZANDO A MINERAÇÃO DE DADOS. Revista Brasileira de Engenharia de Biossistemas, 1(2), Souza, Z. M. D., Cerri, D. G. P., Colet, M. J., Rodrigues, L. H. A., Magalhães, P. S. G., & Mandoni, R. J. A. (2010). Análise dos atributos do solo e da produtividade da cultura de cana-de-açúcar com o uso da geoestatística e árvore de decisão. Ciência Rural, 40(4), Bucene, L. C., Rodrigues, L. H. A., & Meira, C. A. A. (2002). Mineração de dados climáticos para previsão de geada e deficiência hídrica para as culturas do café e da cana-de-açúcar para o Estado de São Paulo. Embrapa Informática Agropecuária. MEIRA, C. A. A., & RODRIGUES, L. H. A. (2005). Mineração de dados no desenvolvimento de sistemas de alerta contra doenças de culturas agrícolas. In CONGRESSO BRASILEIRO DE AGROINFORMÁTICA (Vol. 5). De Souza, V. M., Silva, D. F., Garcia, P. R., Batista, G. E., & Carlos SP Brazil, S. (2013). Avaliação de Classificadores para o Reconhecimento Automático de Insetos. Sousa, B. F. S. (2009). na Detecção do Uso do Solo no Bioma Caatinga via Sensoriamento Remoto (Doctoral dissertation). 12

13 13

14 Fatec em Pompéia 14

15 Fonte: 15

16 Fonte: Estatística, Matemática, Data Warehouse, Visualização de Dados, Computação Paralela/Distribuída... 16

17 Uma solução reconhecida: KDD e Mineração de Dados rwards-sas-data-mining-and-machine-learning/ 17

18 Processo de descoberta de conhecimento (KDD): 18

19 Processo de descoberta de conhecimento (KDD): Normalização, remoção de ruídos, seleção de atributos, etc. 19

20 Processo de descoberta de conhecimento (KDD): Normalização, remoção de ruídos, seleção de atributos, etc. Técnicas de Aprendizado de Máquina 20

21 Definições: Uma máquina de aprendizado, definida de maneira ampla, é qualquer dispositivo cujas ações são influenciadas por experiências anteriores (Nilsson 1965); 21

22 Definições: Uma máquina de aprendizado, definida de maneira ampla, é qualquer dispositivo cujas ações são influenciadas por experiências anteriores (Nilsson 1965); Um programa de computador aprende a partir da experiência E, em relação a uma classe de tarefas T, com medida de desempenho P, se seu desempenho em T, medido por P, melhora com E (Mitchell, 1997). 22

23 Exemplo: Filtro inteligente de SPAMs: 23

24 Exemplo: Filtro inteligente de SPAMs: Tarefa T: categorizar mensagens de como spam ou legítima; Medida de desempenho P: porcentagem de mensagens de corretamente classificadas; Experiência de treinamento E: conjunto de s rotulados por seres humanos. 24

25 Classificação de dados Objetivo: rotular objetos como sendo pertencente a alguma classe conhecida a priori. 25

26 Classificação de dados Objetivo: rotular objetos como sendo pertencente a alguma classe conhecida a priori. Algoritmos induzem modelos de classificação com base em um conjunto de dados rotulados (etapa de treinamento). 26

27 Classificação de dados Objetivo: rotular objetos como sendo pertencente a alguma classe conhecida a priori.? Algoritmos induzem modelos de classificação com base em um conjunto de dados rotulados (etapa de treinamento). Exemplo: churn prediction, previsão de fraudes (impostos), apólice de seguros...etc. 27

28 Classificação de dados c 28

29 Classificação de dados Atributos Classe A = {a1,, an} c C [0.2,1.3,4.5,0.6] 2 c 29

30 Classificação de dados Atributos Classe A = {a1,, an} c C [0.2,1.3,4.5,0.6] 2 Atributos de x [0.4,1.7,1.9,2.5] c 30

31 Classificação de dados Atributos Classe A = {a1,, an} c C [0.2,1.3,4.5,0.6] 2 Predição da classe de x Atributos de x [0.4,1.7,1.9,2.5] c 1 31

32 Algoritmos para classificação Árvores de Decisão Algoritmo de Hunt; C4.5; ID3; J4.8; CART; Random Forest.

33 Algoritmos para classificação K-Nearest Neighbors (K-NN)

34 Algoritmos para classificação Naive Bayes; Redes Neurais; Support Vector Machines (SVMs).

35 Paradigmas de aprendizado Aprendizado Supervisionado (modelos preditivos) Classificação Regressão Não-supervisionado (modelos descritivos) Associação Agrupamento

36 Paradigmas de aprendizado Aprendizado Supervisionado (modelos preditivos) Classificação Regressão Não-supervisionado (modelos descritivos) Associação Agrupamento

37 Livros 37

38 Softwares 38

39 Próxima aula: Hoje Lab. Informática II Material em Prof. Luiz Fernando S. Coletta Campus de Tupã

40 Exercício 4 (Prática - entregar) Classificação da base de dados Íris. 1) Avaliar classificação da base de dados original usando o WEKA;

41 Exercício 4 (Prática - entregar) Classificação da base de dados Íris. 1) Avaliar classificação da base de dados original usando o WEKA; 2) Gerar nova base de dados (2D) a partir da estimativa de área de pétalas e sépalas;

42 Exercício 4 (Prática - entregar) Classificação da base de dados Íris. 1) Avaliar classificação da base de dados original usando o WEKA; 2) Gerar nova base de dados (2D) a partir da estimativa de área de pétalas e sépalas; 3) Plotar gráfico de pontos (scatter) para analisar as classes no novo espaço de atributos;

43 Exercício 4 (Prática - entregar) Classificação da base de dados Íris. 1) Avaliar classificação da base de dados original usando o WEKA; 2) Gerar nova base de dados (2D) a partir da estimativa de área de pétalas e sépalas; 3) Plotar gráfico de pontos (scatter) para analisar as classes no novo espaço de atributos; 4) Avaliar classificação dessa nova base de dados no WEKA