Mineração de Dados com Big Data. Prof. Fabrício Olivetti de França Universidade Federal do ABC

Transcrição

1 Mineração de Dados com Big Data Prof. Fabrício Olivetti de França Universidade Federal do ABC

2 Sobre mim Formado em Engenharia Elétrica com ênfase em Computação pela Universidade Católica de Santos. Mestrado e Doutorado no mesmo curso na Universidade Estadual de Campinas.

3 Sobre mim Áreas de pesquisa: - Co-agrupamento de Dados - Regressão Simbólica - Algoritmos Evolutivos - Heurísticas para Otimização - Aprendizado de Máquina

4 Sobre a Disciplina

5 Motivação O avanço da tecnologia nos permitiu obter dados em massa de diversas fontes: - Transações Bancárias - Dados de medidas de sensores - Experimentos genéticos - Uso de Redes Sociais - Construção de conteúdo colaborativo

6 Crescimento dos Dados Grande quantidade de dados cria a necessidade de armazenamento. - Maior HD tem cerca de 16TB por >$7000,00 - Dados na ordem de PetaBytes!!

7 Crescimento dos Dados Grande quantidade de dados cria a necessidade de armazenamento. - Maior HD tem cerca de 16TB por >$7000,00 - Dados na ordem de PetaBytes!! Solução: Sistema de Arquivos Distribuídos

8 Fonte:

9 Extração de Informação Desses dados surge a necessidade de extrair informações úteis: - Possíveis dívidas bancárias - Genes relacionados a doenças - Previsão de desastres naturais

10 Aprendizado de Máquina - Muitos algoritmos consolidados - Foco em bases de dados pequenas e bem estruturadas - Bases de dados pequenas em apenas uma máquina!

11 Realidade Temos: - Bases de Dados grandes e distribuídas em diversas máquinas - Dados brutos, não estruturados - Sem a mínima ideia de como trabalhar com eles!

12 $$$

13 Objetivo do Curso - Conhecimento básico sobre Ciência dos Dados - Paradigma funcional / Pensamento Paralelo - Enfoque em algoritmos escaláveis e distribuídos

14 Site da disciplina

15 Metodologia - Aulas expositivas - Atividades de programação - Projetos - Seminários

16 Ferramentas - Linguagem de Programação Haskell (ghc + cabal) - Apache Spark (Python/Scala) + Jupyter Notebook - Talvez um pouco de C

17 Cronograma No site

18 Ferramentas necessárias Haskell: Spark:

19 Alternativa online

20 Material de apoio Livros sobre Mineração de Dados: Introduction to Data Mining P-N. Tan, M. Steinbach, V.Kumar Addison Wesley Data mining : pratical machine learning tools and techniques / 3. ed.

21 Material de apoio Livros sobre Haskell: SÁ, Claudio Cesar de; SILVA, Márcio Ferreira da. Haskell: uma abordagem prática. São Paulo, SP: Novatec, p. ISBN O'SULLIVAN, Bryan et al. Real world Haskell. Sebastopol, USA: O'Reilly Media, c2009. xxxviii, 670. ISBN

22 Material de apoio Livros sobre Apache Spark: ODERSKY, Martin et al. Programming in Scala. Mountain View, USA: Artima Press, xxxix, 736. ISBN

23 Material de apoio Livros sobre Python: LUTZ, Mark; ASCHER, David; ALYH69. Aprendendo python. 2. ed. Porto Alegre, RS: Bookman, p. ISBN x.

24 Avaliação As avaliações consistirão de: - Entrega das Atividades (4pts) - Relatório de projeto e seminário (4pts) - Prova (2pts)

25 Atividades Cada aluno deve criar uma conta no github e criar um repositório BIGDATA2017. Nesse repositório, criar uma pasta por atividade: ATIVIDADE01, ATIVIDADE02, Colocar códigos nas pastas correspondente.

26 Atividades Na próxima semana enviar o link de seus repositórios para ufabc.edu.br No dia da entrega as atividades serão pontuadas. Não faça "commit" após o prazo.

27 Projeto Cada aluno deve escolher um tema de projeto relacionado com a disciplina. O projeto deve ser entregue em forma de relatório científico com até 3 páginas. Apresentação de 10 a 15 minutos.

28 Projeto Temas: - Implementação distribuída de um algoritmo (Haskell ou Spark). - Implementação de um algoritmo escalável.

29 Projeto Temas entregue por a qualquer momento (antes do dia das apresentações). Primeiro a escolher um tema ficará com ele. Relatório explicando o algoritmo e a implementação, assim como resultados.

30 Conceito O conceito final será calculado da seguinte forma: A > 8 pts 6 pts < B <= 8 pts 5 pts <= C <= 6 pts F <= 3 pts