com Big Data Fabrício Olivetti de França Universidade Federal do ABC

Tamanho: px

Começar a partir da página:

Download "com Big Data Fabrício Olivetti de França Universidade Federal do ABC"

Maria das Dores Bandeira Braga
6 Há anos
Visualizações:

1 Mineração de Dados com Big Data Fabrício Olivetti de França Universidade Federal do ABC

2 Tópicos 1. Sobre mim 2. Sobre a Disciplina 1

3 Sobre mim

4 Sobre mim Formado em Engenharia Elétrica com ênfase em Computação pela Universidade Católica de Santos. Mestrado e Doutorado no mesmo curso na Universidade Estadual de Campinas. 2

5 Sobre mim Áreas de pesquisa: Co-agrupamento de Dados Regressão Simbólica Algoritmos Evolutivos Heurísticas para Otimização Aprendizado de Máquina 3

6 Sobre a Disciplina

7 Motivação O avanço da tecnologia nos permitiu obter dados em massa de diversas fontes: Transações Bancárias Dados de medidas de sensores Experimentos genéticos Uso de Redes Sociais Construção de conteúdo colaborativo 4

8 Crescimento dos Dados Grande quantidade de dados cria a necessidade de armazenamento. Maior HD tem cerca de 16TB por > $7.000, 00 Dados na ordem de PetaBytes!! 5

9 Crescimento dos Dados Grande quantidade de dados cria a necessidade de armazenamento. Maior HD tem cerca de 16TB por > $7.000, 00 Dados na ordem de PetaBytes!! Solução: Sistema de Arquivos Distribuídos 5

10 Crescimento dos Dados Figura 1: Fonte: datacenterknowledge.com. 6

11 Extração de Informação Desses dados surge a necessidade de extrair informações úteis: Possíveis dívidas bancárias Genes relacionados a doenças Previsão de desastres naturais 7

12 Aprendizado de Máquina Muitos algoritmos consolidados Foco em bases de dados pequenas e bem estruturadas Bases de dados pequenas em apenas uma máquina! 8

13 Realidade Temos: Bases de Dados grandes e distribuídas em diversas máquinas Dados brutos, não estruturados Sem a mínima ideia de como trabalhar com eles! 9

14 Objetivo do Curso Conhecimento básico sobre Ciência dos Dados Paradigma funcional / Pensamento Paralelo Enfoque em algoritmos escaláveis e distribuídos 10

15 Site da Disciplina 11

16 Metodologia Aulas expositivas Atividades de Programação Projetos - Seminários 12

17 Ferramentas Linguagem de Programação Haskell (ghc + cabal) Apache Spark (Python/Scala) + Jupyter Notebook 13

18 Cronograma No site. 14

19 Ferramentas necessárias Haskell (ghc) - Windows Haskell (ghc) - Mac Haskell (ghc) - Linux Spark 15

20 Material de apoio Livros sobre Mineração de Dados: Mining Massive Datasets Introduction to Data Mining P-N. Tan, M. Steinbach, V.Kumar Addison Wesley Data mining : pratical machine learning tools and techniques / 3. ed. 16

21 Material de apoio Livros sobre Haskell: SÁ, Claudio Cesar de; SILVA, Márcio Ferreira da. Haskell: uma abordagem prática. São Paulo, SP: Novatec, p. ISBN O SULLIVAN, Bryan et al. Real world Haskell. Sebastopol, USA: O Reilly Media, c2009. xxxviii, 670. ISBN

22 Material de apoio Livros sobre Apache Spark: ODERSKY, Martin et al. Programming in Scala. Mountain View, USA: Artima Press, xxxix, 736. ISBN

23 Material de apoio Livros sobre Python: LUTZ, Mark; ASCHER, David; ALYH69. Aprendendo python. 2. ed. Porto Alegre, RS: Bookman, p. ISBN x. 19

24 Avaliação As avaliações consistirão de: Entrega das Atividades (4pts) Relatório de projeto e seminário (4pts) Prova (2pts) 20

25 Atividades Cada aluno deve criar uma conta no github e criar um repositório BIGDATA2018. Nesse repositório, criar uma pasta por atividade: ATIVIDADE01, ATIVIDADE02,... Colocar códigos nas pastas correspondente. 21

26 Atividades Na próxima semana enviar o link de seus repositórios para ufabc.edu.br No dia da entrega as atividades serão pontuadas. Não faça commit após o prazo. 22

27 Projeto Cada aluno deve escolher um tema de projeto relacionado com a disciplina. O projeto deve ser entregue em forma de relatório científico com até 3 páginas. Apresentação de 10 a 15 minutos. 23

28 Projeto Temas: Implementação distribuída de um algoritmo (Haskell ou Spark) que envolva DADOS. Implementação de um algoritmo escalável. 24

29 Projeto Temas entregue por até a quarta semana de aula. Primeiro a escolher um tema ficará com ele. Relatório explicando o algoritmo e a implementação, assim como resultados. 25

30 Conceito O conceito final será calculado da seguinte forma: A > 8pts 6pts < B 8pts 5pts C 6pts F < 5pts 26

Documentos relacionados

Mineração de Dados com Big Data. Prof. Fabrício Olivetti de França Universidade Federal do ABC

Mineração de Dados com Big Data Prof. Fabrício Olivetti de França Universidade Federal do ABC Sobre mim Formado em Engenharia Elétrica com ênfase em Computação pela Universidade Católica de Santos. Mestrado