Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Transcrição

1 Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca

2 AGENDA 1 - O que é Big Data? 2 - Impactos do uso de Big Data 3 - Recomendações para Big Data 4 - Tecnologias para Big Data 5 - Análise Big Data 6 - Algoritmos de Mineração de Dados para Big Data 7 - Computação em Nuvem Computação em Nuvem Desvantagens 8 - Hadoop Componentes do Hadoop HDFS Map-Reduce 9 - Oportunidades 10 - Desafios Referências 2

3 O que é Big Date? Big Data não é um grande data warehouse? Big Data não é apenas um BI em cima de um data set de terabytes de dados? 3

4 O que é Big Data? Big Data é um volume de dados muito significativo, porém além desse grande volume de dados outras variáveis importantes fazem a composição do Big Data como: Dados coletados de sensores; ERPs (enterprise resource planning) Sistema que integra todos os dados e processos de uma organização em um único sistema. 4

5 O que é Big Data? Volume Valor Velocidade Veracidade Variedade 5

6 O que é Big Data? Volume se não houver um volume mínimo de dados como poderemos inferir estatisticamente se as tendências detectadas estão corretas? Velocidade a necessidade de obtermos dados, inclusive em tempo real, sua gravação, alteração ou substituição deve ser feito em tempo hábil para que gere ganhos reais. Imagine o transtorno que uma operadora de cartão de crédito teria e causaria se demorasse horas para aprovar uma transação de um cliente pelo fato de o seu sistema de segurança não conseguir analisar rapidamente todos os dados que podem indicar uma fraude. 6

7 O que é Big Data? Variedade é outro aspecto importante. Os dados podem e devem ser tratados conforme sua origem estruturados e não estruturados. Os dados estruturados são aqueles cuja origem é oriunda de bancos de dados relacionais ou não (Oracle, SQLSERVER, etc.) e de dados esparsos como, por exemplo, vídeos, s, documentos, imagens, etc. Veracidade De nada obtermos um alto volume de dados se os mesmos não são confiáveis. Valor informação não é só poder, informação também é patrimônio. A combinação volume + velocidade + variedade + veracidade, além de todo e qualquer outro aspecto que caracteriza uma solução de Big Data, se mostrará inviável se o resultado não trouxer benefícios significativos e que compensem o investimento. 7

8 O que é Big Data McKinsey Global Institute define Big Data como A intensa utilização de redes sociais online, de dispositivos móveis para conexão à Internet, transações e conteúdos digitais e também o crescente uso de computação em nuvem tem gerado quantidades incalculáveis de dados. O termo Big Data refere-se a este conjunto dedados cujo crescimento é exponencial e cuja dimensão está além da habilidade das ferramentas típicas de capturar, gerenciar e analisar dados. 8

9 Big Data 9

10 Big Data Ano Arquivo Digitalização % 25% % 93% % 98% 2015 ~0,1% ~99,9% 10

11 Big Data Portanto, Big Data = volume + variedade + velocidade + veracidade, tudo agregando +valor. 11

12 Impactos do uso de Big Data Maior Transparência - A simples disponibilização de muito mais dados, antes inacessíveis, possibilita que o setor público, por exemplo, cruze informações antes is oladas em silos departamentais, abrindo novas oportunidades de integração e melhoria da gestão das cidades e órgãos. Segmentação bem mais precisa da população, chegando ao nível do próprio indivíduo - Com Big Data as fontes de informação se ampliam consideravelmente. Além disso, podemos chegar ao indivíduo. Capturando dados de rastreamento na Internet podemos inclusive dar outro sentido à palavra anonimato. A capacidade cada vez maior de associarmos a identidade da vida real das pessoas com seus hábitos de compra marca uma virada na área de privacidade, desfazendo a fronteira cada vez mais nebulosa entre público o privado. 12

13 Impactos do uso de Big Data Maior potencial de análises preditivas É possível desenvolver projetos usando informações coletadas de mídias sociais como Twitter e Google. Substituindo/complementando decisões humanas com algoritmos automatizados - Algoritmos sofisticados, suportados por imensos volumes de dados permitem automatizar diversas funções, como gerenciamento de processos, de tráfego nas ruas e assim por diante. Criar novos modelos de negócio - Big Data permite a criação de novos modelos de negócio baseados no valor das informações armazenadas e analisadas. 13

14 Recomendações para Big Data Será que sei realmente o que fazer com a tecnologia? Devo começar analisando os dados para tentar descobrir alguma coisa? 1 - Fazer uma pergunta precisa sobre seu problema e o escopo do problema (quanto mais precisa, mais valiosa será sua resposta) 2 - Que dados serão necessários para que a resposta seja alcançada? Quais os dados realmente disponíveis? Estão dentro de casa ou fora? São acurados? Podem ser utilizados sem nenhuma violação da legislação para sua indústria? 3 - Definir algoritmos e tecnologias necessárias 4 - Implementar, ou seja, gerar dados corretos, operar os algoritmos em cima deles e agir à luz dos resultados obtidos 14

15 Tecnologias para Big Data NoSQL Databases MongoDB, CouchDB, Cassandra Map Reduce Hadoop, Hive, Pig Storage S3, Hadoop Distributed File System Servers EC2, Google App Engine Processing NLP R, Yahoo! Pipes NL Toolkit, OpenNLP Machine Learning WEKA, Mahout Visualization Gephi, GraphViz Serialization JSON, BSON 15

16 Análise em Big Data Processamento centralizado não é adequados para Big Data; Objetivo: elencar um conjunto de boas práticas para que esses algoritmos sejam modificados e satisfatórios para o contexto de Big Data. 16

17 Análise em Big Data 1º passo Utilizar paralelismo e o paradigma de dividir para conquistar, uma forma de alcançar isso é fazer uso do MapReduce. 17

18 Análise em Big Data 2º passo - Distribuição/particionamento dos dados deve ser balanceado entre os nós do cluster, a fim de evitar sobrecarga em um nó em particular. É necessário nesse caso observar o desvio da distribuição do dado. 18

19 Análise em Big Data 3º passo Evitar replicação de dados pois isso pode resultar em crescimento exponencial da quantidade de dados a se processar 19

20 4º passo Utilizar sistemas que sejam satisfatórios na análise de dados Big Data Magnetic Agile Deep Data-lifecycle- awareness Elasticity Robustness 20

21 Análise em Big Data Magnetic: Capacidade de manipular qualquer fonte de dados; Agile: Adaptação a evolução dos dados; Deep: Suporte a análises complexas; 21

22 Análise em Big Data Data-lifecycle-awareness: Otimização da movimentação, armazenamento e processamento dos dados BigData; Elasticity: Ajustar o uso dos recursos aos requisitos dos usuários e do processamento da carga de trabalho; Robustness: Prover serviços mesmo com adversidades (falhas); 22

23 Algoritmos de Mineração de Dados para Big Data Itens Frequentes/Regras de Associação Classificação Clusterização k-means DBSCAN 23

24 Onde e como armazenar, processar e analisar este volume de dados? 24

25 Computação em Nuvem É a capacidade de computação infinitamente disponível e flexível. A nuvem é tudo aquilo que fica por detrás da conexão. As preocupações com a largura de banda, espaço de armazenamento, poder de processamento, fiabilidade e segurança, são postas de parte. Basta uma ligação à nuvem, e as necessidades, em termos de tecnologias de informação, são satisfeitas. 25

26 Computação em Nuvem - Desvantagens Privacidade Dados armazenados no provedor Dependência de provedor em nuvem 26

27 27

28 Hadoop É uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados. Foi inspirada no MapReduce e no GoogleFS (GFS). Trata-se de um projeto da Apache de alto nível, que vai sendo construído por uma comunidade de contribuidores e utilizando a linguagem de programação Java. 28

29 Componentes do Hadoop O framework do Hadoop é formado por dois componentes principais: armazenamento e processamento. O primeiro é o HDFS (Hadoop Distributed File System), que manipula o armazenamento de dados entre todas as máquinas na qual o cluster do Hadoop está sendo executado. O segundo, o Map-Reduce, manipula a parte do processamento do framework. 29

30 HDFS (Hadoop Distributed File System) O HDFS é um sistema de arquivos escalonável e distribuído, cujo desenho é baseado fortemente no GFS (Google File System), que também é um sistema de arquivo distribuído. 30

31 Map-Reduce Map-Reduce é um paradigma de programação em que cada tarefa é especificada em termos de funções de mapeamento e redução. Ambas as tarefas rodam paralelamente no cluster. O armazenamento necessário para essa funcionalidade é fornecido pelo HDFS. 31

32 Oportunidades Saúde Um exemplo interessante do uso de Big Data na pesquisa de medicamentos é o cruzamento de informações entre usuários de diversas drogas. Suponhamos que uma pessoa que sofra de pressão alta tome determinado medicamento. Ela é alertada de efeitos colaterais como palpitações. Um outro indivíduo está se medicando com antidepressivos e também é alertado de efeitos colaterais. Mas, se uma pessoa está tomando os dois remédios ao mesmo tempo? Qual o feito colateral resultante? 32

33 Oportunidades Administração Pública Eficientes e mais transparentes Lei de Acesso à Informação - Lei promulgada em 18 de novembro de 2011 Atua de forma Isolada Exemplo Com base em associações e cruzamentos de dados, podem-se identificar situações anômalas como, por exemplo, um funcionário público acumulando cargos indevidamente ou um cidadão que obtém salário desemprego ao mesmo tempo em que apresenta atestado de acidente de trabalho. 33

34 Oportunidades Administração Pública Soluções inovadoras para transporte e trânsito Exemplo Em Singapura, um sistema pode prever velocidades no tráfego com precisão de 90%. 34

35 Oportunidades Segurança Pública Exemplo Dados coletados de diversas fontes, que vão de câmeras nas ruas a comentários e posts publicados em mídias sociais, as agências de inteligência e de segurança pública podem detectar e se antecipar a atividades ilícitas, evitando que ocorram. 35

36 Oportunidades Defesa Civil Exemplo Durante um desastre natural, como uma enchente (felizmente não temos terremotos no Brasil) dados gerados por GPS embutidos em smartphones e sensores e câmeras que analisam o fluxo de veículos podem contribuir para facilitar a evacuação de pessoas das áreas atingidas, bem como diminuir o tempo para o socorro chegar a estas áreas. 36

37 Oportunidades - Segurança Exemplo Uso no combate as fraudes. Stream computing 37

38 Oportunidades Sentimentos das Multidões Exemplo Tentar perceber o que a multidão (milhares de pessoas) está pensando sobre um determinando tema ou fato. 38

39 Oportunidades - Educação Exemplo Sugerir, baseado em padrões de milhões de alunos, quais as profissões que melhor se adéquem a cada pessoa 39

40 Oportunidades - TI Exemplo A utilização de Big Data em TI permite um autogerenciamento, é possível, por exemplo, analisar todos os logs gerados pelas tecnologias, detectando eventuais problemas antes que eles aconteçam. 40

41 Desafios Gerenciamento e Armazenamento Tecnologias atuais não são adequadas para Big Data; Capacidade de armazenamento cresce mais lentamente do que a quantidade de dados; Algoritmos não são eficientes para trabalhar com heterogeneidade de dados; Incompletude dos dados; 41

42 Desafios Computação e Análise dos Dados Velocidade; Utilização de índice não é adequada para dados complexos; Construir e adaptar algoritmos para trabalhar de forma paralela; Aproveitar a infraestrutura em nuvem; Desempenho Congestionamento da rede 42

43 Desafios Segurança Permitir análise de dados sem informações confidenciais; Tecnologias atuais para proteção da privacidade consideram dados estáticos; Escalabilidade Construir sistemas para processar um volume crescente de dados; Volume está aumentando em uma velocidade maior do que os recursos computacionais; Crowd-sourcing 43

44 Desafios Análise para Big Data Alta dimensionalidade dos dados; Acúmulo de outliers; Correlação incorreta dos dados; Alto custo computacional; Necessidade de algoritmos complexos; Heterogeneidade Múltiplas fontes, diferentes pontos de tempo e diferentes tecnologias; Necessidade de procedimentos robusto e adaptáveis; 44

45 Desafios Big Data e Cloud Necessidade de gerenciar grandes infraestruturas; Hadoop é complexo e sem suporte gerencial; Mais de 150 variáveis a serem configuradas; 45

46 REFERÊNCIAS A tecnologia transforma a vida das pessoas e das empresas e o Big data revoluciona o marketing. Disponível em: < Acesso dia 28 de junho de Big Data. Disponível em: < Acesso dia 20 de junho de Big data analysis. Disponível em: < Acesso em 20 de junho de Big Data and Cloud Computing: Current State and Future Opportunities. Disponível em: < Acesso em 28 de junho de Big data: bringing new opportunities and challenges. Disponível em: < cesso dia 16 de junho de 2015 Big Data Challenges. Disponível em: < Acesso dia 18 de junho de Big data como utilizar a extraordinária quantidade de informações coletadas por novas tecnologias para obter vantagens competitivas. Disponível em: < Acesso dia 16 de junho de

47 REFERÊNCIAS Big data: um novo conceito gerando oportunidades e desafios. Disponível em < dia 16 de junho de 2015 Business intelligence and analytics: from big data to big impact. Disponível em: < Acesso em 15 de junho de Challenges and Opportunities with Big Data. Disponível em: < Acesso dia 27 de junho de Recomendações para Big Date. Disponível em: < Acesso dia 19 de junho de The Age of Big Data. Disponível em: < Accesso em 19 de junho de The Meaningful Use of Big Data: Four Perspectives - Four Challenges. Disponível em: < _Four_Challenges> Acesso em 19 de junho de 2015 Transforme os dados e a análise em uma vantagem competitiva. Disponível em: < Acesso dia 28 de junho de

48 Dúvidas e sugestões? 48