Evandro Deliberal Aula 01

Transcrição

1 Evandro Deliberal Aula 01

2 Agenda Bancos Não Relacionais

3 Índices O que é um índice? Uma forma de ordenar, de organizar,... Para que serve? Busca eficiente, mais rápida, acelerar... Quais tipos: Único, Primário e Secundário Denso, único Chave estrangeira Clustered

4 Índices

5 Estrutura de índices Baseado Hash Hash Transformação de caracteres em tamanhos fixos Os registros de um arquivo são agrupados em buckets, onde um bucket consiste em uma pagina primária e, possivelmente, páginas adicionais conectadas a uma cadeia

6 Estrutura de índices Baseado em Arvore As entradas de dados são organizadas de maneira ordenada pelo valor chave de pesquisa e uma estrutura de dados de pesquisa hierárquica é mantida direcionando as pesquisas às páginas corretas das entradas de dados.

7 O que envolve índices? Tamanho? Tipo de Dado? Transação? Normalização? Cardinalidade? Replicação? O que mais...? Integridade é atributo ou resultado?

8 TEOREMA de CAP Teorema CAP (Consistency, Availability e Partition tolerance) Também conhecido como Brewer s theorem Resumidamente, afirma que existem três propriedades que são úteis em SGBD: C = Consistência (Permitir diversas transações) A = Disponibilidade (mesmo ocorrendo falha) P = Tolerância a Partições (manter o sistema operando mesmo no caso de falhas de rede)

9 Banco de Dados NoSQL Tradução: NoSql Not Only SQL Iniciou-se em 1998 como projeto acadêmico, porém nesta época não sofríamos do mau da ganancia dos dados, quanto mais tenho, mais armazeno. Quanto mais tenho, mais eu transformo e multiplico. Seu propósito e criação é para um grande volume de dados Escalabilidade Vertical recursos (processador, memória, armazenamento...) Horizontal Numero de maquinas

10 Banco de Dados NoSQL Impulsionado por: Google BigTable Amazon Dynamo Yahoo Facebook O que é? São Banco de dados não relacionais de alto desempenho Escalavem Schemma Free ou Ausência de Schemma Desnormalizado Consistência eventual (ACID não é aplicada simultaneamente)

11 NoSql - IMPORTANTE Em um sistema distribuído entende-se normal enfraquecer o requisito de consistência de dados, para aumentar a disponibilidade e a tolerância a criar mais partições. A partir desta idéia nasceu o conceito de BASE (Basically Available, Soft state, Eventual consistency) com propriedades e filosofia oposta. Este cenário provê transações distribuídas, tolerância a falhas de consistência, e replicação otimista em um sistema distribuído.

12 NoSql Tipos: Chave/Valor (key/value) Baseado em documento (document-store) Grafo (Graph)

13 Tipos NoSql Chave / Valor permite a persistência de dados totalmente livre de definições de estrutura para esquema uma abordagem parecida com uma tabela hash caracterizado pela sua facilidade ao ser implementado Permite que os dados sejam acessados rapidamente através da chave Aumenta também a disponibilidade do acesso aos dados A informação do conteúdo é armazenada e um índice em forma de um tipo primitivo de dado é usado para mapeá-lo

14 Tipos NoSql Chave / Valor Muita redundância e repetição

15 Tipos NoSql Baseado em Documento Parecido com o modelo Chave / Valor requisita que os dados armazenados sigam um formato que o banco possa interpretar Podem ser arquivos xml, json, json-blob Armazena coleções e documentos Há um agrupamento de documentos onde cada um destes documentos tem-se um conjunto de campos

16 Tipos NoSql Baseado em Documento

17 Tipo NoSql Chave X Documento

18 Tipos NoSql Grafos: Este modelo possui três componentes básicos Nós (vértices do grafo), relacionamentos(arestas) e as propriedades Visto como um multibraço rotulado e direcionado Muito útil para consultas demasiadamente complexas Possui bom desempenho

19 Tipos NoSql Grafos:

20 Tipos NoSql Outros Exemplos

21 Funcionalidades MVCC Multiversion concurrency control Oferece suporte as transações paralelas Não faz uso de locks para controle de concorrência Transações de escrita e leitura são feitas simultaneamente Escalabilidade Vertical Relacionada aos núcleos de Processamento CPU Horizontal Relacionada a funcionalidade de distribuição de dados e de carga por diversos servidores

22 Funcionalidades Map/Reduce Permite a manipulação de enormes volumes de dados ao longo de nós de uma rede Fase map problemas são particionados em pequenos problemas distribuídos ao longo da rede Fase Reduce problemas são resolvidos em cada nó filho e o resultado é passado para o pai até chegar a raiz do problema. Hadoop é uma implementação do MAP/Reduce open source

23 Map / Reduce Exemplo de um processo para contar palavras

24 E quais opções eu tenho? Baseado em Coluna (Column Stores): Hbase, Cassandra, Hypertable, Accumulo, Amazon SimpleDB, Cloudata, Cloudera, SciDB, HPCC, Stratosphere; Baseado em Documentos (Document Stores): MongoDB, CouchDB, BigCouch,RavenDB, Clusterpoint Server, ThruDB, TerraStore, RaptorDB, JasDB, SisoDB, SDB, SchemaFreeDB, djondb; Baseado em Grafos (Graph-Based Stores): Neo4J, Infinite Graph, Sones, InfoGrid, HyperGraphDB, DEX, Trinity, AllegroGraph, BrightStarDB, BigData, Meronymy, OpenLink Virtuoso, VertexDB, FlockDB;

25 E quais opções eu tenho? Baseado em Chave-Valor (Key-Value Stores): Dynamo, Azure Table Storage, Couchbase Server, Riak, Redis, LevelDB, Chordless, GenieDB, Scalaris, Tokyo Cabinet/Tyrant, GT.M, Scalien, Berkeley DB, Voldemort, Dynomite, KAI, MemcacheDB, Faircom C-Tree, HamsterDB, STSdb, Tarantool/Box, Maxtable, Pin-caster, RaptorDB, TIBCO Active Spaces, allegro-c, nessdb, HyperDex, Mnesia,LightCloud, Hibari, BangDB

26 Hadoop projeto envolve um conjunto de ferramentas voltadas para o processamento de dados de forma escalável, confiável e distribuída

27 NoSql Principais desafios: Continuar evoluindo Segurança Melhor balanceamento do ACID Difundir o conhecimento Presença em ferramentas corporativas...

28 Duvidas?

29 Obrigado Evandro Deliberal