INF011 - Seminários de Pesquisa II

Transcrição

1 INF011 - Seminários de Pesquisa II Doutorando: Erick Toshio Yamamoto Orientador: Prof. Dr. Ricardo Suyama Professor da Disciplina: Prof. Dr. João Henrique Kleinschmidt Santo André, 02 de maio de 2018

2 Agenda Introdução; Machine Learning; Deep Learning.

3 Introdução Doutorando em Engenharia da Informação pela UFABC Mestre em Automação e Controle de Processos pelo IFSP Bacharel em Engenharia de Controle e Automação pelo IFSP Histórico Profissional: Professor do Senai Roberto Simonsen; Consultor Técnico e de Vendas Treinamentos/ Produtos da FESTO Brasil Ltda.; Engenheiro de Aplicação na National Instruments Brazil Ltda.; Consultor em Automação para residências e industrias; Consultor em Robótica Educacional. Linhas de Pesquisas: Automação e Controle; Inteligência Artificial; Domótica/ Automação Residencial; UAV s.

4 Graduação

5 Interface de treinamento Graduação Banco de dados de ECG Interface final

6 Mestrado Rolagem (Roll) Esquerda Direita Passos para frente e para trás (Pitch) Guinada (Pitch) Esquerda Direita

7 Ferramentas do Control and Simulation Mestrado Modelo matemático no LabVIEW Interface de simulação

8 Por que aprendizado de máquina? É muito difícil escrever programas que resolvam problemas como reconhecer um objeto tridimensional de um novo ponto de vista em novas condições de iluminação em uma cena desordenada.

9 A abordagem de aprendizado de máquina Definição de Aprendizagem de Máquina é um campo de estudo que dá aos computadores a capacidade de aprender sem estarem programados explicitamente [Arthur L. Samuel, 1959]. Dados Rotulados Algoritmo de Aprendizado de Máquina Treinamento Predição Dados Modelo Aprendido Predição

10 Tipos de tarefas de aprendizagem Aprendizado supervisionado Aprendendo com conjunto de dados rotulados através de um treinamento. Aprendizado não supervisionado Descobrindo padrões em dados não rotulados. Aprendizado por reforço Aprendizagem baseada em feedback ou recompensa.

11 Tipos de problemas Classificação (Supervisionado preditivo) Regressão (Supervisionado preditivo) Agrupamento (Não supervisionado descritivo) Detecção de Anomalia (Não supervisionado descritivo)

12 Mas o que é Deep Learning? Parte do campo de aprendizado de máquina de aprender representações de dados. Eficácia excepcional em padrões de aprendizagem. Utiliza algoritmos de aprendizado que extraem significado de dados usando uma hierarquia de múltiplas camadas que imitam as redes neurais do nosso cérebro. Se você fornecer ao sistema toneladas de informações, ele começará a compreendê-las e a responder de maneira útil.

13 Inspirado pelo cérebro! Julgamentos categóricos, tomada de decisão Coordenação Motora Forma visual simples: bordas, cantos. A primeira hierarquia de neurônios que recebe informações no córtex visual são sensíveis às bordas específicas, enquanto as regiões do cérebro mais abaixo no canal visual Retina Para os músculos dos dedos Alto nível de descrição de objetos: faces, objetos Forma visual intermediária: características, grupos, etc. Medula espinhal são sensíveis às estruturas mais complexas, como rostos.

14 Inspirado pelo cérebro! Nosso cérebro tem muitos neurônios conectados e a força das conexões entre os neurônios representa um conhecimento de longo prazo; Uma hipótese do algoritmo de aprendizado: todos os algoritmos mentais significativos são aprendidos, exceto para o aprendizado e a recompensa do próprio maquinário.

15 Uma breve história A muito tempo atrás 1958 Perceptron 1974 Retropropagação Redes Neurais Convolucionais para Reconhecimento Escrita à Mão 1998 Google Brain Project em núcleos de 16k 2012 Silêncio Perturbador (AI hibernou) 1969 Perceptron criticado 1995 Reino SVM 2006 Restricted Boltzmann Machine 2012 AlexNet ganha a ImageNet

16 Uma breve história O Big Bang conhecido como Uma rede para governar todos eles ImageNet: The computer vision World Cup Fonte:

17 Uma breve história O Big Bang conhecido como Uma rede para governar todos eles IBM: Automatic Speech Recognition (ASR) Fonte: Google s I/O 2017 Fonte:

18 O que mudou? Vinhos antigos em novas garrafas Big Data (Digitalização) Computação (Lei de Moore, GPUs) Progresso do Algoritmo

19 Superstars / Pesquisadores

20 Empresas

21 Startups

22 DeepLearning Noções básicas Não há mais recursos de engenharia. Dados de Entrada Recursos de Engenharia Custa muito tempo Algoritmo Tradicional de Aprendizado Dados de Entrada Algoritmo de Aprendizado Profundo...Os aspecto principal da aprendizagem profundo é que essas camadas não são projetadas por engenheiros humanos: elas são aprendidas com dados, usando um procedimento de aprendizado para fins gerais. Yann LeCun, Yoshua Bengio e Geoffrey Hinton, Nature 2015.

23 DeepLearning Noções básicas Arquitetura Gato Uma rede neural profunda consiste em uma hierarquia de camadas, em que cada camada transforma os dados de entrada em representações mais abstratas (por exemplo, borda -> nariz -> face). A camada de saída combina esses recursos para fazer previsões.

24 DeepLearning Noções básicas O que aprende? Bordas Olhos, Nariz,... Faces

25 DeepLearning Noções básicas Redes Neurais Artificiais Consiste em uma entrada, uma saída e várias camadas ocultas totalmente conectadas entre elas. Cada camada é representada como uma série de neurônios e extrai progressivamente mais e mais recursos da entrada até que a camada final tome uma decisão sobre o que a entrada mostra. Quanto mais camadas a rede tiver, os recursos de alto nível ela aprenderá. Camada de Entrada Camada Oculta 1 Camada Oculta 2 Camada de Saída

26 DeepLearning Noções básicas O neurônio dendritos impulsos transportados em direção ao corpo celular Ramos do axônio núcleo corpo celular axônio impulsos levados do corpo celular Terminais do axônio Um neurônio artificial contém uma função de ativação não linear e possui várias conexões ponderadas de entrada e saída. Os neurônios são treinados para filtrar e detectar características ou padrões específicos (por exemplo, borda, nariz) recebendo entrada ponderada, transformando-a com a função de ativação e passando-a para as conexões de saída.

27 DeepLearning Noções básicas Funções de ativação não-linerares As redes mais profundas usam ReLU - max (0, x) - atualmente para camadas ocultas, uma vez que o treino é muito rápido, é mais expressiva que a função logística e evita o problema do gradiente de fuga. A não linearidade é necessária para aprender representações complexas (não lineares) de dados, caso contrário, o NN seria apenas uma função linear.

28 DeepLearning Noções básicas Processos de treinamento Amostra de Dados Rotulados Encaminhe-o pelo canal da rede para obter previsões Atualiza as conexões dos pesos Retropropague os erros Aprende por gerar um sinal de erro que mede a diferença entre as previsões da rede e os valores desejados e, em seguida, usando este sinal de erro para alterar os pesos (ou parâmetros) para que as previsões fiquem mais precisas.

29 DeepLearning Noções básicas Gradiente descendente O gradiente descendente descobre o (local) mínimo da função de estimação (usado para calcular o erro de saída) e, assim usado para ajustar os pesos.

30 DeepLearning Noções básicas Redes Neurais Artificiais Convolucionais Redes neurais convolucionais aprendem uma representação complexa de dados visuais usando grandes quantidades de dados. Eles são inspirados pelo sistema visual humano e aprendem múltiplas camadas de transformações, que são aplicadas umas sobre as outras para extrair uma representação progressivamente mais sofisticada da entrada. Cada camada de um CNN leva um volume 3D de números e produz um volume 3D de números. Por exemplo. A imagem é um cubo 224 * 224 * 3 (RGB) e será transformada em 1 * 1000 vetor de probabilidades.

31 DeepLearning Noções básicas Redes Neurais Artificiais Convolucionais A camada de convolução é um detector de recursos que aprende automaticamente a filtrar as informações não necessárias de uma entrada usando o kernel de convolução. As camadas de agrupamento compõem o valor máximo ou médio de um recurso específico em uma região dos dados de entrada (redução de tamanho das imagens de entrada). Também ajuda a detectar objetos em alguns locais incomuns e reduz o tamanho da memória.

32 DeepLearning Noções básicas É tudo Open Source

33 DeepLearning Noções básicas Aplicações Jogos Digitais Reconhecimento de Caracteres (PLN) Reconhecimento de Imagem Reconhecimento Objetos

34 Referências Bibliográficas Google s I/O Disponível em : Acesso em: 30 mar IBM: Automatic Speech Recognition (ASR). Disponível em : Acesso em: 30 mar ImageNet: The computer vision World Cup. Disponível em: < >. Acesso em: 30 mar KURENKOV, A. A 'Brief' History of Neural Nets and Deep Learning. Disponível em: Acesso em: 20 mar LI, F.F.; JOHNSON, J.; YEUNG, S. Convolutional Neural Networks. Disponível em:< >. Acesso em: 20 mar MEDINA, A. M. Machine Learning and Optimization f. (Doutorado em Matemática) - Courant Institute of Mathematical Sciences, New York, NY. Medium. A Guide to Receptive Field Arithmetic for Convolutional Neural Networks. Disponível em Acesso em: 20 mar PUGET, J. F. What Is Machine Learning? Disponível em: Acesso em: 19 de fev. de YANN, L., YOSHUA, B., GEOFFREY, H. Deep learning. Disponível em: < Nature. 2015;521: doi: /nature14539.

35 Obrigado!