A NOVA EXPERIÊNCIA ANALÍTICA

Transcrição

1 A NOVA EXPERIÊNCIA ANALÍTICA USANDO MELHOR O HADOOP COMO PEÇA DO QUEBRA-CABEÇA DO BIG DATA Rafael Aielo Gerente de Soluções

2 AGENDA Era Big Data Hadoop O que é e como funciona SAS e Hadoop

3 ERA BIG DATA Uma pessoa hoje processa mais dados em um único dia, do que uma pessoa do século XV fez em sua vida inteira. Ref: The Human Face of Big Data Documentário 2014

4 ERA BIG DATA Deixamos um rastro digital de navegação, localização, dados de chamadas e mensagens de texto que irão durar para sempre. Ref: The Human Face of Big Data Documentário 2014

5 ERA BIG DATA ESTÁ MUDANDO A MANEIRA QUE VIVEMOS Como Big Data influenciou na campanha do Presidente Obama... Como colabora com o o centro de pesquisa do Hospital Infantil de Los Angeles... Como colabora com a eficiente de distribuição de água da cidade de Cary/NC...

6 HADOOP O QUE É? Projeto Apache do framework para armazenamento de dados e desenvolvimento de aplicações em um ambiente computacional distribuído, escalável e confiável. Um sistema de arquivos distribuído que permite o acesso às informações com alto desempenho. Um framework para desenvolvimento de aplicações distribuídas com maior facilidade e flexibilidade.

7 Quantos MMs amarelos tem em cada recipiente?

8 EXEMPLO CONCEITOS BÁSICOS Pergunta: Quantos M&Ms amarelos existem no recipiente? 1. Distribua os M&Ms em todos os 4 nodes (HDFS) 2. Conte utilizando uma abordagem em 2 etapas (MapReduce) I. Passo Map: Cada node independentemente conta quantos M&Ms amarelos existem em seu repositório. II. Passo Reduce: O Node 0 tem uma responsabilidade adicional: Ele combina os resultados da contagem de cada node e retorna o resultado. Nota: Neste exemplo simplificado, não estamos considerando a abordagem complete de alta-disponibilidade do Hadoop. Exemplo: Armazenamento múltiplas cópias dos dados e outras técnicas para garantir resiliencia e evitar ponto único de falha.

9 HADOOP COMO ESTÁ HOJE? Hadoop é um projeto totalmente ativo O seu ecossistema está em constante evolução Hive, pig, oozie, flume, hbase, etc. Grande aceitação de mercado e adoção pelas organizações Tem crescido o foco em funcionalidades e ferramentas Enterprise Level Hadoop está em constante atualização e tem suporte de grandes organizações dedicadas no tema

10 ERA BIG DATA GRANDES DESAFIOS Source: Gartner (Sep 2014), Big Data Investment Grows but Deployments Remain Scarce in 2014 By Nick Heudecker, Lisa Kart

11 ERA BIG DATA

12 INDO UM POUCO MAIS ALÉM EM NOSSO EXPERIMENTO Qual o total de MMs por cor? 2. Quantos MMs são de amendoim e quantos são de chocolate? 3. Quantos MMs tem um formato fora do padrão (com defeito) e existe alguma correlação entre as características?

13 SAS & HADOOP COMO SE INTEGRAM? SAS & Hadoop se integram das seguintes formas: SAS pode tratar o Hadoop como uma fonte de dados tradicional (como um RDMS), trazendo os dados para o ambiente SAS a partir (FROM) do Hadoop, quando for mais conveniente; SAS pode trabalhar com (WITH) o Hadoop, compartilhando sua infraestrutura para a instalação do componente In-memory do SAS. Assim, os dados são carregados para memória para execução de operações de exploração de dados e análises avançadas; SAS pode trabalhar diretamente em (IN) Hadoop, explorando as capacidades nativas de processamento paralelo do ecossistema nativo do Hadoop;

14 SAS & HADOOP HABILITANDO OS DADOS PARA O CICLO ANALÍTICO Acesso & Gestão de Dados Capacidades avançadas de gestão de dados (ELT, ETL, DQ, virtualização) habilitadas para Hadoop Explore & Vizualize Interativamente Visualize rapidamente em Hadoop, Descubra Novos Padrões, Publique Relatórios Via Web Reports, Dispositivos Móveis, MS Office Apps Integre & Publique Publique e classifique (Score) automaticamente os modelos em abiente paralelizado. Realize a gestão e análise de dados em real-time Analíse & Modele Descubra padrões e tendências nos dados armazenados em Hadoop. Ambiente interativo e visual para análises. Aplique análises de domínio específico em High-performance

15 MUITO OBRIGADO! sas.com