Prof. Daniela Barreiro Claro

Transcrição

1 Prof. Daniela Barreiro Claro

2 São dados que não podem ser processados ou analisados usando as ferramentas tradicionais Empresas acessando muitas informações mas não sabem como tirar proveito Normalmente estão concentradas nos dados estruturados Atualmente, os dados estão sendo gerados a todo momento, através do celular, dos sensores do carro, das cameras das lojas, etc. Processar estes dados através de um Banco de Dados tradicional é impraticavel ou até mesmo impossível.

3 Desafios e oportunidades para o crescimento dos dados baseado em três dimensões Volume Quantidade de dados Velocidade Velocidade dos dados de entrada e saída Variedade Tipos de dados O que influenciou nesta explosão dos dados

4 Transformação do modelo de negocios Modelo mudou de orientado a produto para orientado a serviço Com isso aumentaram a quantidade de dados a ser processados e a quantidade de dados produzidos Globalização Grande responsável pela mudança do comércio no mundo Também modificou a variedade no formato dos dados. Personalização dos serviços Cada vez mais os consumidores desejam serviços e dados mais personalizados

5 Novas fontes de dados Redes sociais, smartphones, sensores, dispositivos móveis

6 Quantidade de dados que é gerado continuamente Diferentes tipos de dados possuem diferentes tamanhos Blogs kilobytes Chamadas de voz, videos megabytes Sensores e logs gigabytes Todo dispositivo hoje pode gerar uma grande quantidade de dados

7 Dados não sao mais caracterizados como dados relacionais Dados complexos Não tem um limite, os dados vão desde s aos tweets em uma rede social Não se tem mais controle sobre o formato de input dos dados nem sobre a estrutura destes dados A falta de um metadado significa atraso no processamento

8 Pode ser definida como a velocidade que os dados sao gerados e processados A velocidade que os dados são gerados tem crescido enormemente Grande problema que não estava sendo tratado era a escalabilidade

9 Processamento do Big, algumas caracteristicas referentes a velocidade devem ser contempladas: Sistema deve ser elástico, para garantir velocidade com um grande volume Sistema deve ampliar ou reduzir a escalabilidade sem custos adicionais Deve processar os dados no tempo mais curto O thourghput deve se manter estável independente da velocidade Deve processar dados em plataformas distribuidas

10 Além dos 3V que já fornecem um alto grau de complexidade no processamento destes Big há ainda outros fatores que contribuem Ambiguidade Falta de metadados promove a ambiguidade Ex. Em uma foto M ou F representa Masculino ou feminino e em um gráfico pode ser Monday to Friday Viscosidade Mede a resistência que uma empresa tem no monitoramento do fluxo de dados Viralidade Mede quão rápido um dado é compartilhado na rede PeopleToPeople. Taxa de espalhamento é medida em tempo

11 Armazenamento Com o crescimento no volume de dados, a quantidade de armazenamento necessaria para processar aumentou 1,5 vezes. Processamento CPU ou processador Memoria Barata e rapida, cresce continuamente Software Velocidade ou Thoughput

12 Big data tem como principais características Não é estruturado Não tem um estado finito Não tem volume pré-determinado Complexidade de processamento no Big envolve os 3V+A: Volume qtde de dados gerado todo dia dentro e fora das organizações Variedade diferentes formatos gerados por diferentes fontes Velocidade velocidade de geração dos dados Ambiguidade ambiguidade associada aos metadados.

13 flow of BIG Gather Load Transform Extract Gather Dados sao recebidos das diversas fontes e armazenados em sistemas de arquivos. Modificacoes no nome e extensoes podem ser realizadas nesta etapa

14 flow of BIG Gather Load Transform Extract Load Os dados são aplicados a um metadados, ou seja, uma estrutura é definida para os dados. Pode haver a quebra do arquivo em vários chunks (pedaços) Dados podem ser particionados verticalmente ou horizontalmente

15 flow of BIG Gather Load Transform Extract Transform Dados são transformados aplicando as regras de negócios e o processamento de conteúdo.

16 flow of BIG Gather Load Transform Extract Extract O resultado dos conjuntos de dados sao extraídos para serem analisados.

17 Escalabilidade Necessidade de uma escalabilidade linear, ou seja, a medida que infraestruturas adicionais sao colocadas, aumenta-se mais a escalabilidade Alto thoughput A velocidade em que os dados sao processados necessitam de uma infraestrutura como rapido processamento, incluindo I/O Alto paralelismo Tolerancia a falhas Processamento distribuido

18 Schema-less ou dados não-estruturados Devido a diversidade e tamanho dos dados, não há um modelo fixo no Big. Não há um metamodelo definido. Minimal data transformation Necessario para garantir a alta velocidade no processamento Non-relational structures Armazenamento pode ser feito em sistemas de arquivos, mas em SGBD não relacionais Replicação e Compartilhamento de Dados

19 5 principais características para processar Big Volume Tamanho grande necessidade de quebrar em chunks Processamento paralelo Processamento simultâneo Dados devem ser processados a partir de qualquer ponto de falha, pois os dados são muito grandes para serem re-inicializados desde o inicio Velocidade Dados devem ser processados em velocidades rápidas durante a captura Devem ser processados por multiplos pontos de aquisição

20 Variedade Dados de diferentes formatos precisam ser processados Diferentes tipos Diferentes estruturas Big é ambiguo por natureza devido a falta de metadados relevante Uma das tecnologias que mais inovaram e revolucionaram Big foi o sistema de arquivos do Google

21 Big processing can be summarized as a file system-based scalable and distributed data processing architecture, designed and deployed on a high-performance and scalable infrastructure.