Disciplina de Informação Profissional Eng. de Computação SSC0671

Transcrição

1 USP - ICMC / EESC - SSC Graduação Eng. Comp. SSC 0671 Info Profissional EC - 1o. Semestre 2016 Disciplina de Informação Profissional Eng. de Computação SSC0671 Prof. Fernando S. Osório - Grupo de Robótica Móvel LRM Laboratório de Robótica Móvel do ICMC-USP CROB-SC: Centro de Robótica da USP de São Carlos fosorio [at] { icmc. usp. br, gmail. com } Web: Wiki: 1 Junho 2016 Aula IA-ML

2 Inteligência Artificial (I.A. / A.I. ) & Aprendizado de Máquina (Machine Learning - ML) Agenda: Inteligência Artificial (I.A.) / Artificial Intelligence (A.I.) 1. O que é Inteligência Inteligência Natural x Inteligência Artificial 2. Inteligência Artificial: Tipos, Algoritmos, Aplicações 2 Junho 2016 Aprendizado de Máquina / Machine Learning (ML) 1. Aprendizado: Conceitos e Tipos Aprendizado Indutivo / Inductive Learning Supervisionado / Não Supervisionado 2. Redes Neurais Artificiais (RNA / ANN) 3. Algoritmos Evolutivos / Algoritmos Genéticos 4. Deep Learning (AG / GA)

3 Inteligência Artificial 3 Junho 2016 SISTEMAS INTELIGENTES Representação de Conhecimentos: Simbólico x Neural Casos (Prática) x Regras (Teoria), Particular x Geral Aquisição de Conhecimentos: Memória, Generalização, Adaptação e Otimização Aprendizado Manual x Aprendizado Automático (Machine Learning) Aprendizado Simbólico: ILP, Árvores de Decisão Aprendizado Genético: Algoritmos Genéticos (GA, GP) Aprendizado Conexionista: Redes Neurais Artificiais Aprendizado por Adaptação: Reinforcement Learning, Bayesian Learning, Adaptive Fuzzy Sistemas Híbridos: Hybrid Machine Learning Tools Cérebro Eletrônico?!?!?

4 Inteligência Artificial INTELLIGENCE Natural Intelligence Human Intelligence Artificial Intelligence 4 Junho 2016

5 Inteligência Artificial INTELLIGENCE Natural Intelligence Human Intelligence Artificial Intelligence MECANISMOS: Memória Raciocínio o Indutivo o Dedutivo o Analogia o Extrapolação Aprendizado / Adaptação 5 Junho

6 Inteligência Artificial INTELLIGENCE Natural Intelligence Human Intelligence Artificial Intelligence MECANISMOS: Conceito de Inteligência: Memória Raciocínio o Indutivo o Dedutivo o Analogia o Extrapolação Aprendizado / Adaptação CAPACIDADE DE RESOLVER PROBLEMAS CAPACIDADE DE APRENDER CAPACIDADE DE SE ADAPTAR / MELHORAR 6 Junho

7 Inteligência Artificial INTELLIGENCE Natural Intelligence Human Intelligence Artificial Intelligence INTELIGÊNCIA: 7 Junho 2016 Busca de Soluções Tomada de Decisões Classificação de Padrões Reconhecimento de Padrões Previsão e Estimativa Planejamento Aprendizado Adaptação e Otimização

8 Inteligência Artificial INTELLIGENCE Natural Intelligence Human Intelligence Artificial Intelligence INTELIGÊNCIA: 8 Junho 2016 Busca de Soluções Algoritmos de Busca / Opções Tomada de Decisões Diagnóstico / Sistema Especialista Classificação de Padrões Redes Neurais Artificiais Reconhecimento de Padrões Redes Neurais Artificiais Previsão e Estimativa Redes Neurais Artificiais Planejamento Planej. de Caminhos, Pesq.Operac. Aprendizado Machine Learning Adaptação e Otimização Algoritmos Genéticos

9 Inteligência Artificial INTELLIGENCE Natural Intelligence Human Intelligence Artificial Intelligence 9 Junho 2016 MECANISMOS: Memória Raciocínio o Indutivo o Dedutivo o Analogia o Extrapolação Aprendizado / Adaptação Percepção Decisão - Ação MÉTODOS COMPUTACIONAIS: Inductive Machine Learning ANN, Decision Trees (IDT, C4.5) Prolog: Logical Reasoning CBR: Case-Based Reasoning Statistics / Time Series Clustering, Optimization (GA) Data Mining... Livro: Sistemas Inteligentes Rezende, Solange (Ed)

10 Inteligência Artificial & Machine Learning ARTIFICIAL INTELLIGENCE - A.I. Inteligência Artificial & Machine Learning Na prática Junho

11 Inteligência Artificial & Machine Learning Base de Conhecimentos Knowledge Representation (regras + fatos +...) Conversão para um formato de representação interno 11 Junho 2016 Aquisição Explicitação Automática Conhecimentos sobre uma área de aplicação: Conhecimentos do especialista Teorias sobre o domínio de aplicação Resultados de experiências praticas (casos conhecidos)

12 Inteligência Artificial & Machine Learning Aprendizado Indutivo Aprendizado Supervisionado Induction of Decision Tress IDT [Quinlan ID3, C4.5, C5] 12 Junho 2016 C4.5 J. Ross Quinlan Programs for Machine Learning

13 Inteligência Artificial & Machine Learning EXEMPLO: DECISION TREES IDT, ID3, C4.5, C5, CART 13 Junho 2016

14 Inteligência Artificial & Machine Learning BASE DE DADOS SOBRE O PROBLEMA DECISION TREES IDT, ID3, C4.5, C5, CART 14 Junho 2016 NÚMERO CÉU TEMPERATURA HUMIDADE VENTO CLASSE 1 ensolarado elevada alta não N 2 ensolarado elevada alta sim N 3 coberto elevada alta não P 4 chuvoso média alta não P 5 chuvoso baixa normal não P 6 chuvoso baixa normal sim N 7 coberto baixa normal sim P 8 ensolarado média alta não N 9 ensolarado baixa normal não P 10 chuvoso média normal não P 11 ensolarado média normal sim P 12 coberto média alta sim P 13 coberto elevada normal não P 14 chuvoso média alta sim N Tabela Conjunto de dados de aprendizado : Condições meteorológicas N = Negativo (tempo ruim) P = Positivo (tempo bom)

15 Inteligência Artificial & Machine Learning DECISION TREES IDT, ID3, C4.5, C5, CART 15 Junho 2016

16 Inteligência Artificial & Machine Learning WEKA DECISION TREES IDT, ID3, C4.5, C5, CART IDT => J48 Method (C4.5 / Quinlan) 16 Junho

17 Inteligência Artificial & Machine Learning WEKA Descoberta de Conhecimentos Aprendizado Não Supervisionado Data Mining => Regras de Associação 17 Junho

18 Inteligência Artificial & Machine Learning Aprendizado Indutivo Aprendizado Supervisionado Artificial Neural Networks Perceptron Based ANN MLP BackPropagation 18 Junho 2016 PDP Book Parallel Distributed Processing + Marvin Minsky / Perceptrons (Book) + Redes Neurais Artificiais Teoria e Aplicações / Antônio Braga, André Carvalho, Teresa Ludermir + Redes Neurais Princípios e Prática / Simon Haykin + Redes Neurais Artificiais p/ Engenharia / Ivan Nunes da Silva et al.

19 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Redes Neurais Artificiais: Conceitos e Ferramentas 19 Set. 2014

20 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Redes Neurais Artificiais: Conceitos e Ferramentas Saída / Output Pesos Unit j MLP - Multi-Layer Perceptron Aprendizado: Back-Propagation Wij Camada Oculta Unit i Hidden Layer Entradas / Input 20 Set. 2014

21 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos EQUAÇÂO DA RETA AX + BY + C = 0 21 Set. 2014

22 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos 22 Set. 2014

23 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos 23 Set. 2014

24 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos 24 Set. 2014

25 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos REDES NEURAIS MULTICAMADAS MLP Multi Layer Perceptron Reconhecimento de Padrões Complexos 25 Set. 2014

26 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Redes Neurais Artificiais: Conceitos e Ferramentas SNNS JavaNNS Batchman Snns2c 26 Set JAVA NNS SNNS Simulator

27 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Redes Neurais Artificiais: Reconhecimento de Padrões 27 Set Dissertação de Mestrado: Fernando Santos Osório - UFRGS - PPGCC [1990] Título: "Um Estudo sobre Reconhecimento Visual de Caracteres através de Redes Neurais"

28 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Redes Neurais Artificiais: Reconhecimento de Padrões Ferramenta didática (para aprendizado) 28 Junho

29 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Reconhecimento de Padrões: GESTOS Demonstração CData.cpp 29 Junho 2016 AI Techniques for Game Programming Mat Buckland - Chapter 9 (Recognize It)

30 Reconhecimento de Gestos: Data-Glove Reconhecimento em Tempo Real: Data-Glove Postura das Mãos SVR Set. 2014

31 Reconhecimento de Gestos: Data-Glove Reconhecimento em Tempo Real: Reconhecimento de Assinaturas Padrões Temporais Tablet PC, Pocket PC 31 Set Pen Tablet (Mesa Digitalizadora)

32 Reconhecimento de Gestos: Data-Glove Reconhecimento em Tempo Real: Reconhecimento de Assinaturas Padrões Temporais Referências: - Heinen, M.R. ; Osório, F. S. Biometria Comportamental: Pesquisa e Desenvolvimento de um Sistema de Autenticação de Usuários Utilizando Assinaturas Manuscritas. Revista Infocomp, UFLA, v. 3, n. 2, p , Heinen, M.R. ; Osório, F. S. ; ENGEL, P. M. Handwritten Signatures Authentication Using ANN Committee Machines. In: CLEI - XXXIII Latin American Conf. on Informatics. San José, Costa Rica : CLEI, v. 1. p Heinen, M.R. ; Osório, F. S. Handwritten Signatures Authentication using ANNs In: IJCNN - IEEE Intenational Joint Conference on Neural Nets, 2006, Vancouver. Proceedings of the WCCI - IJCNN. Vancouver - Canadá : IEEE Press, v. 1. p Web: Pen Tablet: Autenticação On-Line de Assinaturas [Biometria Comportamental] 32 Set. 2014

33 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Recentes de Redes Neurais Artificiais: Reconhecimento de Imagens Área Navegável / Não Navegável Dissertação Mestrado: Patrick Shinzato Sales 2010: IEEE LARS Souza 2011, Shinzato 2011,... Lab. de Robótica Móvel 33 Set. 2014

34 Redes Neurais Artificiais: Reconhecimento de Padrões Complexos Aplicações de Recentes de Redes Neurais Artificiais: Reconhecimento de Imagens Área Navegável / Não Navegável Dissertação Mestrado: Patrick Shinzato Sales 2010: IEEE LARS Souza 2011, Shinzato 2011,... Lab. de Robótica Móvel 34 Set. 2014

35 Aprendizado de Máquina em Robótica Móvel Aprendizado de Seqüências: Autômato Finito / FSM Finite State Machine: SEVA IEEE IJCNN - International Joint Conference on Neural Networs 2006 Vancouver - Canadá - July 2006 Paper - Best Session Presentation Award SEVA3D: Using Artificial Neural Networks to Autonomous Vehicle Parking Control 35 Maio 2010

36 Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação NeuroFSM: aprendizado de Autômatos Finitos através do uso de RNAs aplicadas à robôs móveis e veículos autônomos Aluno: Daniel Oliva Sales dsales@icmc.usp.br Orientador: Fernando Santos Osório

37 37 EXP CBSEC 2012 Experimentos e Resultados Sistema de Patrulhamento Autônomo Multi-Agente Utilizando RNA e Controle por Autômatos Finitos Estados implementados: Usando Laser Sick Detecção de agente, reta, esquerda, direita e interseção Estados do autômato implementado

38 38 EXP EANN 2012 Experimentos e Resultados Sistema de Navegação Autônoma Baseado em Visão 3D utilizando sensor Kinect Pré-processamento: área de interesse

39 39 EXP EANN 2012 Experimentos e Resultados Sistema de Navegação Autônoma Baseado em Visão 3D utilizando sensor Kinect 8 Estados implementados

40 40 EXP EANN 2012 Experimentos e Resultados Sistema de Navegação Autônoma Baseado em Visão 3D utilizando sensor Kinect RNA

41 Inteligência Artificial & Machine Learning DEEP LEARNING Deep Neural Networks Deep Convolutional NNs 41 Junho [Google] [Microsoft] [Nvidia] CNTK

42 Machine Learning: Deep Learning 42 Março

43 Machine Learning: Deep Learning Google Opens Its Cloud Vision API To All Developers CLOUD SERVICES 43 Março

44 Machine Learning: Deep Learning Microsoft Cognitive Services API CLOUD SERVICES 44 Março

45 Inteligência Artificial & Machine Learning Algoritmos Evolutivos Genetic Algorithms (GA) 45 Junho 2016

46 Aprendizado de Máquina em Robótica Móvel Aprendizado de Seqüências: Robôs com Pernas MOTIVAÇÃO - Mobile Articulated Robots: Walking Machines... Insects, Animals, Humans Aldebaran Robotics Nao Robot 46 Maio 2010 Try It:

47 Aprendizado de Máquina em Robótica Móvel Aprendizado de Seqüências: Robôs com Pernas MOTIVAÇÃO - Mobile Articulated Robots: Walking Machines... Insects, Animals, Humans 47 Maio 2010

48 Aprendizado de Máquina em Robótica Móvel Aprendizado de Seqüências: Robôs com Pernas MOTIVAÇÃO - Mobile Articulated Robots: Walking Machines... Insects, Animals, Humans LEGGEN Dog Horse... Tetrapod Hexapod 48 Maio 2010

49 Aprendizado de Máquina em Robótica Móvel Aprendizado de Seqüências: Robôs com Pernas Autômato Finito / FSM Finite State Machine: LEGGEN 49 Maio 2010

50 Aprendizado de Máquina em Robótica Móvel Aprendizado de Seqüências: Robôs com Pernas Autômato Finito / FSM Finite State Machine: LEGGEN * Virtual Reality Environment and Simulation of Legged Robots "Uso de Realidade Virtual para a Simulação do Caminhar em Robôs Móveis" SVR Belém, Brazil * Evaluate different Robot Models (hardware configurations) "Applying Genetic Algorithms to Control Gait of Physically Based Simulated Robots - IEEE WCCI / CEC Vancouver, Canadá * Evaluate different Fitness Functions "Gait Control Generation for Physically Based Simulated Robots using Genetic Algorithms - IBERAMIA / SBIA Ribeirão Preto, SP * Robot, Vehicles and Human Simulation "Increasing Reality in VR Applications: Physical and Behavioral Simulation" Virtual Concept Summer School - Nov Porto Alegre, RS / VC2006 Cancun 50 Maio 2010 * Evaluate Neural Learning of cyclic functions => SBRN 2006 * Evaluate Robot Morphology Evolution => CLEI 2007

51 Aprendizado de Máquina em Robótica Móvel LEGGEN - ROBOT SIMULATION Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator Genetic Evolved Control of Articulated Robots (w/legs) Jun 2007

52 Aprendizado de Máquina em Robótica Móvel Competições Robóticas: Simulação: Robôs, Veículos e Agentes Autônomos Aprendizado de Robôs e Agentes Autônomos 52 Maio 2010 IEEE CEC 2007 Car Racing Competition

53 Aprendizado de Máquina em Robótica Móvel Competições Robóticas: Simulação: Robôs, Veículos e Agentes Autônomos Aprendizado de Robôs e Agentes Autônomos Simulated Car Racing The simulated car racing competition of CIG-2010 is the final event of the 2010 Simulated Car Racing Championship, an event joining the three competitions held at CEC-2010, GECCO-2010, and CIG Maio Competitions

54 Aprendizado de Máquina em Robótica Móvel Competições Robóticas: TORCS: The Open Racing Car Simulator Simulated Car Racing The simulated car racing competition of CIG-2010 is the final event of the 2010 Simulated Car Racing Championship, an event joining the three competitions held at CEC-2010, GECCO-2010, and CIG Maio Competitions

55 Aprendizado de Máquina em Robótica Móvel Competições Robóticas: CIG Competitions 2007: * Ms. Pac-Man *Simulated Car Racing * X-Pilot AI * Othello IEEE CIG 2007 Competitions 55 Maio 2010

56 Referências: Machine Learning Referências Aprendizado e Agentes Autônomos: >> Ferramentas SNNS / JavaNNS FANN WEKA GA-Lib => => => => >> Referências Competições Simuladas 56 Maio 2010 Competições: CIG - (Games) CEC - Car Racing => (Simulated) Pac-Man => Bot Prize => (UnReal at CEC) CiberMouse => Ciber-Rato =>

57 Referências: Machine Learning Referências Aprendizado e Agentes Autônomos: >> Referências Competições com Robôs Reais Competições: DARPA Challenge => ELROB => LARC => RoboCup => Fire-Fighting Contest => Ciber-Rato => OBR => LARC/CBR => 57 Maio 2010

58 Referências: Machine Learning Referências Aprendizado e Agentes Autônomos: >> Referências Deep Learning MICROSOFT CNTK - Microsoft Congnitive Services - Vision - GOOGLE Tensor Flow - Ver TUTORIALS Tensor Flow Web ANN Training - Google API Vision Maio 2010 NVIDIA CuDNN -

59 Referências: Machine Learning Referências Aprendizado e Agentes Autônomos: >> Referências Livro com exemplos de Machine Learning AI Techniques for Game Programming Mat Buckland. Inclui CD com programas: - Recognize It: RNA que reconhece desenhos feitos com o mouse (gestos) - Lunar Lander: AG que controla a aterrissagem de um módulo lunar 59 Maio 2010 Acesso: Para os alunos e convidados => usp - guest

60 Referências: Machine Learning Referências Aprendizado e Agentes Autônomos: >> Referências Livro sobre Aprendizado de Máquina e Sistemas Inteligentes Sistemas Inteligentes: Fundamentos e Aplicações Coord. por Solange Rezende Editora Manole 60 Maio 2010

61 Inteligência Artificial & Machine Learning 61

62 USP ICMC SSC Turma 2016/1 INFORMAÇÕES SOBRE A DISCIPLINA USP - Universidade de São Paulo - São Carlos, SP ICMC - Instituto de Ciências Matemáticas e de Computação SSC Depto. de Sistemas de Computação GRM - Grupo de Pesquisa em Robóticá Móvel LRM Lab. de Robótica Móvel: Prof. Fernando Santos OSÓRIO Web institucional: Página pessoal: fosorio [at] icmc. usp. br ou fosorio [at] gmail. com Disciplina de Informação Profissional para Eng. de Comp. Web Disciplinas: SSC Palestra: Inteligência Artificial e Aprendizado de Máquina 62 Junho 2016