L s. e f. i u. F s. i e

Transcrição

1 Q S o N a t a D g i B e L te i e L e p eli F s i u L or: s s e f o r P

2 Contato Professorluisleite.wordpress.com

3 O e u q o é D g Bi? a at

4 Big Data Vivemos hoje a era da informação. Em apenas um clique, temos acesso a notícias, dados financeiros, pesquisas, etc. Essa quantidade exacerbada de informação pode ser útil, bem como danosa.

5 Big Data Big Data hoje é uma palavra da moda. E com certeza é um conceito transformador. O conceito dita que, praticamente tudo que fazemos hoje em dia, deixa um rastro digital. E que, esses dados devem e podem ser analisados. Em resumo, Big Data, pode ser vista como nossa habilidade de tratar e usar essa grande quantidade de dados.

6 Big Data Do ínicio da civilização até hoje até 2003, a raça humana gerou 5 exabytes de dados. Hoje nós produzimos a mesma quantidade de dados em dois dias. A ideia é que em alguns anos, produziremos essa mesma quantidade a cada minuto. O facebook em 2013 tinha 1.11 bilhão de usuários.

7 De onde vem esses dados? Dados de atividades corriqueiras: Música digital, dados de smartphones e cartões de crédito. Dados de conversas. Dados de imagens e vídeos. Dados de sensores. Dados de Internet das Coisas.

8 O que esses dados nos trazem? Essa grande quantidade de dados trazem características novas ao novo paradigma de Big Data chamadas de os 4 Vs. Volume; Velocidade; Variedade; Veracidade

9 Volume Volume se refere a questão da quantidade de dados em si. O grande volume que é gerado a cada minuto e que só aumenta. Para processar essa quantidade enorme de volume de dados, ferramentas foram,e estão sendo desenvolvidas, para guardar e analisar esses dados de forma distribuída.

10 Velocidade Velocidade se refere a rapidez que novas informações são geradas a cada minuto e como elas se tornam viral nas redes sociais. A tecnologia hoje permite que esses dados sejam analisados sem que exista a necessidade de um banco de dados.

11 Variedade A variedade de dados que é gerada hoje em dia nos traz formas diferentes de interagir. No passado, a maioria dos dados eram estruturados (Dados bancários), já hoje, o grande volume está nos não estruturados. (textos, imagens, voz, etc ) Com o Big Data, podemos juntar dados variados e analisá-los juntos.

12 Veracidade Muitos dados, pouca confiança

13 Como usar esse big data? Embora seja complexo tratar, armazenar e analisar essa grande quantidade de dados, a indústria e as empresas já descobriram que, se feito de uma forma direcionada, o uso do big data pode trazer excelentes frutos.

14 Melhor entendimento de clientes

15 Melhor entendimento de clientes A chave aqui é analisar o que os clientes procuram e compram para prever futuras vendas. Foi investigado pelo wallmart que após o Katrina, a maioria dos clientes compravam strawberry poptarts. Antes do furacão a maior venda era cerveja. Colocar cerveja perto de fraudas durante a noite é uma outra ideia que vem de análises.

16 Entendimento e otimização de processos de negócios O comércio varejista está tornando seus estoques mais sustentáveis e menos custosos baseado em análises de dados de redes sociais, trends e previsões do tempo. Outro exemplo pode ser visto na melhora de rotas de entrega e distribuição de produtos com base na análise de dados do trânsito em tempo real.

17 Análises médicas

18 Análises médicas O google trends é uma poderosa ferramenta para juntar dados diferentes sobre um mesmo assunto e mostrar análises interessantes sobre essas correlações. A cura de doenças pode ser descoberta por profissionais da informação, em vez de médicos. É especulado que a cura da Aids já pudesse ter sido descoberta se a sociedade de hoje tivesse os meios necessários para processar a quantidade de dados sobre o vírus já disponível. Genoma humano.

19 Cumprimento da Lei Agências governamentais usam big data para prever ataques terroristas, bem como ter insights sobre áreas perigosas urbanas. Empresas de cartão de crédito também usam da análise de grandes volumes de dados para ter uma ideia de quando uma compra é uma fraude ou não.

20 Performance no esporte.

21 Cidades inteligentes Cidades estão usando big data para prever trânsito, clima, decisões. Essas previsões podem tornar a cidade em uma smartcity.

22 O quarto paradigma Milhares de anos atrás: Ciência empírica, como a natureza funciona, etc. Centenas de anos atrás: Já foram criados modelos matemáticos, modelos e generalizações Décadas atrás: A descoberta de que usando computador era possível prever coisas mais rápidas. Hoje, temos cientistas e sistemas juntando quinquilhões de dados, explorando as informações (e-science).

23 E os bancos de dados? Com essa enorme quantidade de informações, como os bancos de dados podem nos ajudar? A n t e s, o s b a n c o s e ra m p e n s a d o s ap e n a s e m gerenciamento de dados. Os bancos durante anos, se desenvolveram, com base nas grandes empresas, pensando em consistências, integridade, etc.acid!!

24 CAP THEOREM O ACID é nossa base de bancos de dados relacionais até hoje. Esqueça!! Um cara chamado Brewer, em 2000, afirmou que é impossível um serviço web prover consistência, disponibilidade e tolerância à partição ao mesmo tempo.

25 CAP Theorem Consistência: Todos os nós estão vendo a mesma coisa ao mesmo tempo. Disponibilidade: A garantia que cada serviço vai ter a resposta se teve sucesso ou falhou. Tolerância à partição: O sistema continua funcionando mesmo se houver um erro em um nó, ou parte do sistema parar de funcionar.

26 ACID X BASE BASE é uma forma de entregar o banco da melhor forma possível. Facebook é um ótimo exemplo se tratando de consistência em mão da disponibilidade. A troca entre os três pilares é feita de forma perto do ótimo, relaxando um ou outro fator, dependendo de sua aplicação.

27 ACID X BASE

28 CAP Theorem Então, dada as três características, consistência, disponibilidade e tolerância à partição, você pode ter no máximo duas para qualquer sistema distribuído. A questão é qual você vai abrir mão.

29 NoSQL

30 NoSQL Existe uma ideia na internet que os bancos de dados NoSQL querem acabar com o padrão SQL. Uma definição mais realista, aponta para uma ideia de uma padrão de armazenamento de dados alternativos ao SQL, oferecendo robustez e principalmente, escalabilidade melhor.

31 NoSQL O termo NoSQL foi primeiramente utilizado em 1998 como o nome de um banco de dados não relacional de código aberto. Seu autor, Carlo Strozzi, alega que o movimento NoSQL "é completamente distinto do modelo relacional e portanto deveria ser mais apropriadamente chamado "NoREL".

32 NoSQL Com a crescente popularização da internet, diversos novos dados foram surgindo e tratá-los foi se tornando gradualmente mais complexo e sua manutenção cada vez mais cara. A crescente popularização das redes sociais, a geração de conteúdo por dispositivos móveis bem como o número cada vez maior de pessoas e dispositivos conectados, fez com que o trabalho de armazenamento de dados e sua análise esbarrasse nas questões de escalabilidade e custos de manutenção desses dados.

33 NoSQL X Banco de Dados Relacionais Bancos de dados relacionais também fazem escalabilidade, porém, quanto maior o tamanho, mais custoso ele se torna. Novas máquinas e novos especialistas, fazem a empresa gastar mais do que o esperado.

34 NoSQL X Banco de Dados Relacionais Quando tratamos de bancos de dados não relacionais, é permitido uma escalabilidade mais barata e menos trabalhosa. A exigência de máquinas mais poderosas não é mais necessária e sua facilidade de manutenção permite que o banco seja administrado por um número menor de pessoas.

35 NoSQL X Banco de Dados Relacionais Com essa facilidade, os bancos de dados NoSQL ganham popularidade entre as grandes empresas. Características que reúnem a possibilidade de trabalhar com uma gama de dados vindo de diferentes origens é um prato cheio para redes sociais, empresas financeiras, etc.

36 Tipos de bancos NoSQL Bancos de dados orientado à colunas; Bancos de dados chave valor; Bancos de dados orientados a documento; Bancos de dados de grafos.

37 Bancos de dados orientados à coluna. O banco de dados orientados à coluna veio com o foco em análise. O q u e s t i o n a m e n t o a q u i é n a fo r m a d e armazenamento dos dados. Em vez de ter todos os dados em tuplas e depois em outra tupla e assim adiante, você armazena em colunas.

38 Bancos de dados orientados à coluna. Você pode ter os dados armazenados em colunas para analisar em uma dimensão. Os recortes verticais são mais importantes do que recortes horizontais. Esses banco de dados focam na performance através de recortes verticais. Monet DB

39 Bancos de dados orientados à coluna.

40 Bancos de dados orientados à coluna.

41 Bancos de dados orientados à documentos Nós usamos muitos documentos, muitos também em formatos xml. Em vez de pegar esses documentos, t ra n s fo r m a r e m u m a t ab e l a e guardar. Pega o documento em xml mesmo e guarda.

42 Bancos de dados orientados à documentos MongoDB e CouchDB seguem essa ideia. Este modelo armazena uma coleção de documentos. No caso, um documento é representado como um objeto, que possui um código único e um conjunto de campos, que podem ser strings, listas ou outros objetos aninhados.

43 Bancos de dados orientados à documentos As estruturas desses campos se parecem com a estrutura dos campos no modelo Chave-valor (Keyvalue). No modelo Chave-valor, uma única tabela hash é criada para todo o banco de dados. Já no modelo orientado a documentos, temos um conjunto de documentos (objetos) e em cada documento temos um conjunto de chaves (campos) cada um com sua chave (key).

44 Bancos de dados orientados à documentos

45 Bancos de dados orientados à documentos Uma característica importante deste modelo é que ele não depende de um esquema rígido, ou seja, não há obrigação de uma estrutura fixa. Sendo assim, pode-se fazer uma atualização na estrutura do documento sem causar nenhum problema com ao banco de dados. Por exemplo, a adição de novos campos ao documento não causará nenhum problema no banco. Essa facilidade e flexibilidade em atualizar a estrutura dos documentos é uma das grandes e principais vantagens do modelo orientado a documentos.

46 Bancos de dados orientados à documentos As codificações em uso incluem XML, YAML, JSON e BSON, assim como formas binárias, como imagens, PDF, documentos do Microsoft Office (MS Word, Excel) e assim por diante.

47 Bancos de dados de Grafos Neo4J é o mais conhecido banco de dados de grafos. Os bancos de dados relacionais não permitem que os dados sejam representados através de grafos de uma maneira natural. Algumas pesquisas dessa forma, podem se tornar extremamente complexas ou até mesmo impraticáveis. O uso de grafos pode facilitar e muito a aquisição de alguns resultados.

48 Bancos de dados de Grafos

49 Bancos de dados de Grafos Analisando o grafo, se quisermos saber quem viajou para o mesmo lugar que o Ricardo, basta descobrimos os relacionamento de saída dele, que sejam do tipo VIAJOU, com isso, temos as cidades pelas quais Ricardo viajou.

50 Bancos de dados de Grafos Podemos também realizar a complexa pesquisa sugerida anteriormente, para saber por onde passaram (morando ou viajando) as pessoas que passaram por Nova York. Novamente, podemos percorrer o grafo tendo como ponto de partida Nova York, porém, agora percorrendo os doi tipos de relacionamentos (MOROU e VIAJOU) de chegada à cidade. Com isso, teremos nosso resultado.

51 Bancos de dados de Grafos

52 Bancos de dados de Grafos Outros exemplos.

53 Até a próxima aula.