- PDF Download grátis

Transcrição

1 Disciplina:Programação para Física Ambiental Turma 2015 Programação para Física Ambiental Turma 2015 Prof. Dr. Josiel Maimone de Figueiredo Prof. Dr. Raphael de Souza Rosa Gomes

2 Sumário Conteúdo 1 Conteúdo 2 Introdução e Contextualização aula 1 Introdução a Algoritmos aulas 2 a 4 Conteúdo 3 MatLab aulas 5 a 9 Conteúdo 4 Software R aulas 10 a 13 SSA, Regressão Linear e Não Linear, Manova e Mancova Conteúdo 5 Fourier, Dimensão Fractal, Wavelet, Eliminação de Gauss Redes Neurais aula 14 Conteúdo 6 Programação Paralela aula 15

3 Introdução e Contextualização (temas) Computação Big e o 4º Paradigma da Ciência Data Cientista de Dados Evolução dos Dados Mineração Ciência de Dados e Descoberta de Conhecimento e Dados Abertos

4 Grandes Desafios da Computação Gestão da Informação em grandes volumes de dados multimídia distribuídos Modelagem computacional de sistemas complexos artificiais, naturais e sócio-culturais e da interação homem-natureza Impactos para a área da computação da transição do silício para novas tecnologias Acesso participativo e universal do cidadão brasileiro ao conhecimento Desenvolvimento tecnológico de qualidade: sistemas disponíveis, corretos, seguros, escaláveis, persistentes e ubíquos (Sociedade Brasileira de Computação )

5 Grandes Desafios da Computação

6 Paradigmas da Ciência 1º - Mil anos atrás: empírica 2º - Centenas de anos: teórica Teorias, modelos e generalizações 3º - Últimas décadas: simulação computacional Descrevia fenômenos naturais Foco computacional para simulação de fenômenos complexos 4º - Atualmente: exploração de dados A transformação de dados em conhecimento (KDD) unifica Experimentação -> sensores Teoria -> modelagem Simulação -> computação de alto desempenho (HPC)

7 Paradigmas da Ciência 4º - Atualmente: exploração de dados A transformação de dados em conhecimento (KDD) unifica Experimentação Teoria -> sensores -> modelagem Simulação -> computação de alto desempenho (HPC) Ideia geral: Uma coleção de dados completa de um domínio complexo qualquer tem o potencial de contemplar todo o conhecimento desse domínio, esperando para ser explorado e descoberto. Somewhere, something incredible is waiting to be known. - Carl Sagan

8 The Fourth Paradigm: Data-Intensive Scientific Discovery The 4 Scientific Paradigms: Experiment (sensors) Theory (modeling) Simulation (HPC) Data Exploration (KDD)

9

10 Big Data Grande volume de dados na ordem de dezenas/centenas de TB Modelo flexível para armazenamento de dados complexos armazenados em clusters de processadores de baixo custo requer alto poder computacional para processamento, manipulação e armazenamento de dados tipos de dados variados, complexos e/ou semiestruturados e.g., projeto Square Kilometre Array (SKA) envolve a construção do maior radio telescópio que irá gerar até 1500 PBytes diariamente e.g., Facebook tem 2700 nós em seu cluster com 60PB de armazenamento (2011) poder de crescimento elástico horizontal Alocação/desalocação de recursos de hardware/software sob demanda da aplicação

12 Definição de Big Data (5V) Velocidade Volume Alta taxa de geração e Transmissão de dados: cria arquivos históricos massivos Mineração de padrões, tendências e relacionamentos Variedade Estruturado (logs, transações de negócios) Semi-estruturado e não estruturado Maldição da dimensionalidade! Variabilidade Interpretação diferente Visualização diferente Veracidade Resultados confiáveis

14 LSST = Large Synoptic Survey Telescope meter diameter primary mirror = 10 square degrees! Dados gerais: 20 Terabytes de imagens astronômicas todas as noites Petabytes após 10 anos Petabytes (Banco de Dados) 2-10 milhões de novos eventos no céu toda noite para serem classificados Hello! Petabyte image archive Petabyte database catalog 15

15 Big Data: Volume Large Hadron Collider 700MB por seg, 60TB/dia, 20PB/ano Illumina HiSeq 2000 Sequencer ~1TB/dia Maioria dos laboratórios possuem dessas máquinas

16 Big Data: Volume A World Wide Web 20+ bilhões páginas x 20KB = 400+TB Um computador pode ler MB/seg do disco => 4 meses para ler a Web

17 Big Data: Volume

18 Big Data: Volume

19

21 Infraestrutura: Crescimento no armazenamento Kryder's Law: Storage Quadruples Every 2 Years By disk = $40

22 Infraestrutura: Crescimento na transmissão Los Angeles-New York OC-3 Lease Nielsen's Law: Internet Bandwidth Doubles Every 2 Years Models home bandwidth (~10Mbps now) Institutions with GigE connections clearly much more expensive and constrained! Internet2's backbone is 100Gbit/s Home Bandwidth Growth Only Mbit/s, price ½ 2 years

23 Infraestrutura: Crescimento no poder de processamento

24 Infraestrutura: Crescimento na transmissão cloud, cloud,virtualização virtualização commodity commodity força/resfriamento força/resfriamento explosão explosãode dedados dados

25 Problemas a serem resolvidos: Crescimento na geração de dados Quantidade de dados no Mundo Até bilhões de gigabytes (exabytes) Em 2011 a mesma quantidade era gerada a cada 2 dias. Em 2013, a mesma quantidade era gerada a cada 10 minutos Previsão de crescimento de 1000x em 10 anos e 1,000,000x em 20 anos. ( l)

26 Problemas a serem resolvidos: Crescimento na geração de dados Como resolver tantos problemas com uma equipe? Impossível! É preciso adotar soluções livres

27 Problemas a serem resolvidos: Crescimento na geração de dados Como transmitir tantos dados? Impossível! É preciso integrar e permitir acesso externo Dados Abertos

28 Problemas a serem resolvidos: Crescimento na geração de dados Como transmitir tantos dados? Impossível! É preciso integrar e permitir acesso externo!

31 Problemas a serem resolvidos: Crescimento na geração de dados

32 4º Paradigma: exploração de dados Componentes Processos Como as coisas acontecem Infraestrutura Implementam modelos e análises Infraestrutura de software e serviços de equipamento Convergência e ubiquidade ( Internet das coisas ) Dados Tipos variados e grande quantidade Pessoas Conhecimento multi e interdisciplinar Pessoas comuns integradas ao processo (não só cientistas)

33 4º Paradigma: exploração de dados Serviços e interações complexos Borgmann et al., Cyber Learning Report, NSF 2008

34 4º Paradigma: exploração de dados Grande quantidade de soluções

35 4º Paradigma: exploração de dados

36 4º Paradigma: exploração de dados Processos São necessários novos procedimentos para atender à demanda

37 4º Paradigma: exploração de dados Visualizar ( sentir ) os dados Estatística tradicional fornece informações sobre os dados Média x Mediana,Desvio padrão, Visualização permite observar as informações de forma mais holística Explorar os dados: Interagir, navegar e sentir summary(data) x Min. : st Qu.: Median : Mean : rd Qu.: Max. : y Min. : st Qu.: Median : Mean : rd Qu.: Max. :

38 4º Paradigma: exploração de dados 4 conjuntos de dados com as propriedades da tabela. São os mesmos dados? i Propriedade Valor Média de x 9 Variância de x 11 Média de y Variância de y Correlação entre x e y Regressão Linear Y = x X y ii x y iii x y iv x y

39 4º Paradigma: exploração de dados 4 conjuntos de dados com as propriedades da tabela. São os mesmos dados? i X y ii x y iii x y iv x y

40 4º Paradigma: exploração de dados Cross Industry Standard Process for Data mining (CRISP-DM)

41 4º Paradigma: exploração de dados Cross Industry Standard Process for Data mining (CRISP-DM)

42 Big Data Data scientist Data Science Revealed community survey ews/emc-data-science-study-wp.pdf

43 4º Paradigma: exploração de dados È preciso incluir a captação dos dados

44 4º Paradigma: exploração de dados Processo Magnetic Attract all kinds of data Agile Flexible and elastic data structures Analyze Analyze and and Model Model in in the the cloud cloud Data EDC EDC PLATFORM PLATFORM How can we do better? What will happen? Past Past Future Future What happened where and when? Interpretation Interpretation Get Get data data into into the the cloud cloud Push Push results results back back into into the cloud the cloud Rich data repository and algorithmic engine Facts Facts Analytics Deep Source: MAD Skills: New Analysis Practices for Big Data, March 2009 How and why did it happen? Da ta Siz e

46 4º Paradigma: exploração de dados Componentes Pessoas Conhecimento multi e interdisciplinar Pessoas comuns integradas ao processo (não só cientistas) Ciência de Dados

47 Ciência de Dados

50 Cientista de Dados Data scientist jobs Indeed.com

51 Cientista de Dados

53 Boa Notícia: é a profissão mais Sexy 59

56 Cientista de Dados Cientista de Dados = X-informata Domínio de Informática Domínio do contexto de negócio Ex: Físico-informata Médico-informata Bio-informata Genético-informata Informata-informata!

58 Infraestrutura de equipamento Visão Repositório Dispositivos Visão Global Arquitetura de armazenamento de Banco de Dados Visão Dado Evolução dos Dados Visão Conceitual Modelo de Dados

59 Repositório: cartão Sistema de cartão perfurado Muito lento e tedioso para usar Erros de operação comumente realizados Correções de difícil execução

60 Repositório: fita Fita magnética Em 1950 construída primeira fital comercial Armazenava 1 milhão de bits Recuperava uma palavra em 5 ms Propriedades Acesso sequencial

61 Repositório: disco Em setembro de 1956 IBM apresenta RAMAC (Random Access Method of Accounting and Control), O primeiro sistema de disco de computador para armazenamento Mesmo princípio utilizado até os dias de hoje Disco(s) Cabeça(s) de leitura

62 Repositório: SSD Solid State Drive Primeiro criado em 1976 Velocidade 555 MB/s de leitura e 520 MB/s de escrita Organizado em páginas e blocos

64 Arquitetura de Software Evolução 1ª geração: Processamento Software único controla: interface, manipulação, acesso, armazenamento e gerenciamento dos dados. Software Armazenamento

65 Arquitetura de Software Evolução 2ª geração: Software 2 camadas Aplicação (Cliente ) controla: manipulação, interface SGBD (Servidor) Aplicação controla o acesso, armazenamento e gerenciamento dos dados. Sistema Gerenciador de Banco de Dados Software

66 Arquitetura de Software Evolução 3ª geração: Aplicação Software Distribuído Cliente (Aplicação) Servidor (SGBD) vários locais vários produtos SGBD1 SGBD2 SGBD1 SGBD3 Software

67 Arquitetura de Software Evolução 4ª geração: Software 3 camadas Cliente (Aplicação) Navegador Web Servidor Web SGBD SGBD Servidor Web Navegador Web Software

68 Arquitetura de Software Evolução 5ª geração: Software Multi camadas Cliente: vários dispositivos Servidor de Aplicações componentes SGBD SGBD Cliente Servidor de Aplicações Software

69 Arquitetura de Software Evolução Nª geração: SGBD Paralelo Processamento paralelo SGBD SGBD Cliente Servidor de Aplicações Software SGBD SGBD

70 Arquitetura de Software Evolução Nª geração: SGBD Cluster Servidor Vários nós com memória e disco compartilhados no1 SGBD no2 Cliente Software no3

71 Arquitetura de Software Evolução Nª geração: Software Universal Server Servidor Acessa várias fontes SGBD Cliente SGBD 2

72 Arquitetura de Software Evolução Nª geração: SGBD Distribuído Distribuição transparente

73 Arquitetura de Software Evolução 2ª geração: Software Nuvem Cliente: vários dispositivos Servidor Elasticidade horizontal Multitenant

74 Arquitetura de um SGBD Evolução Nª geração: SGBD InMemory Dados em memória

75 Arquitetura de Software Evolução Nª geração: BigData Ambiente Poliglota

77 Conceitos Básicos Informação X Dado Fatos registrados, e que têm um significado implícito, sobre acontecimentos Gravação em código de uma observação, de um objeto, de um fenômeno

78 Conceitos Básicos Informação X Dado Conhecimento (compreensão / teoria) Informações (significado para organização) Dados (qualitativos / quantitativos) Abstração / Valor Ação (projetos / valores)

79 Dados Para definir um tipo de dado é preciso ter Propriedades: representação domínio Operações manipulação Em outras palavras: Operandos + Operadores

80 Dados: número Para definir um tipo de dado é preciso ter Propriedades: Representação: BCD, little endian, big endian Domínio: 64 bits Ordem total Operações Manipulação: soma, adição, etc Comparações: <, >, etc Padrão para arredondamento em contas

81 Dados: alfanumérico Propriedades: Representação: codificação de caracter UNICODE, ASCII, ISO 5960, etc Domínio: 16 bits para UNICODE (65535 caracteres) Operações Manipulação: concatenação, etc Comparações: ordem alfabética, etc

82 Dados Além da definição de Operandos + Operadores em Banco de Dados é preciso definir Método de Acesso (MA) Árvores Usam a propriedade de ordem total para dividir o domínio e diminuir o número de comparações Bitmap, etc

83 Dados: texto estruturado Propriedades: Representação: Convergindo para padrão XML (Extensible Markup Language) Estrutura hierárquica Diversos padrões: XHTML, SMIL, etc Domínio: Texto estruturado com marcações <xml> </xml>

84 Dados: texto longo Propriedades: Representação: Uso de método de acesso específico Padrão Full Text Formato do arquivo: ODF, DOC, PDF, etc Domínio: Texto com mais de 64Kb

85 Dados: imagem Propriedades: Representação: Resolução definida pela matriz de pixels (raster) Modelo de cores: RGB(aditivo), CMYK(subtrativo), HSB. Formato do arquivo: JPG, PNG, TIFF, etc Domínio: O tamanho da matriz pode ultrapassar Gigabytes

86 Dados: imagem Armazenamento Operações (não embutidas no SGBD) Manipulação: adição, subtração,etc Buscas de partes das imagens Em formato binário Métodos estatísticos e da área de reconhecimento de padrões podem normalmente não são escaláveis Comparações:???????? Imagem é um dado complexo!!

87 Dados: complexo Comparação Não possui relação de ordem total Não existe origem dos dados Ordenação dos dados: < <

88 Dados: complexo Comparação Não possui relação de ordem total Não existe origem dos dados Ordenação dos dados:

89 Dados: complexo Comparação Qual o parâmetro usar para comparação?

90 Dados: complexo Comparação: Similaridade entre objetos Criação de um Método de acesso: Domínio de dados complexo Permita buscas por similaridade

91 Dados: complexo Imagem é um dado complexo Pertence a um espaço métrico Exige a definição de uma métrica (p1) x, y S, d(x, y) 0 positiva, (p2) x, y S, d(x, y) = d(y, x) simétrica, (p3) x S, d(x, x) = 0 reflexiva, e, em alguns casos, (p4) (p5) x, y S, x y d(x, y) > 0estritamente positiva. x, y, z S, d(x, y) d(x, z) + d(z, y) Desigualdade Triangular Indexação feita considerando a similaridade entre os objetos Maldição da dimensionalidade!!

92 Dados: complexo Método de Acesso Métrico Seleciona um ou mais objetos representativos Inserção de um novo objeto Distância aos representativos são calculados e armazenados Durante as consultas Usa a propriedade de desigualdade triangular para descartar os objetos

93 Dados: complexo Exemplo de MA: Slim-Tree: J B K E L I MD N O C P AG F Q H B E K E L C A B J B I A D F H A G M D N F Q O C C P

94 Dados: complexo Estaticas: GH-tree (Generalized Hyperplane Decomposition tree) VP-tree (Vantage Point tree) FQ-tree (Fixed Queries tree) GNAT (Geometric Near-Neighbor Access Tree) MVP-tree (Multi-Vantage Point tree)... Dinâmicas: M-tree Slim-tree...

95 Dados: complexo Buscas por similaridade Retorna o(s) objeto(s) mais similares ao objeto de consulta (referência) Principais tipos: Range Query - RQ k-nearest Neighbor Query - knnq

96 Dados: complexo Range Query Recupera todos os objetos que estão até uma distância rq ao objeto de consulta oq oq rq

97 Dados: complexo k-nearest Neighbor Query Recupera os k elementos mais similares ao objeto de consulta oq oq

98 Dado: áudio Propriedades: Representação: freqüência e altura Domínio: 64 bits Possui dimensão tempo Influencia nas comparações Formato de arquivos: Wav, Ogg Vorbis, MP3 Operações Manipulação: freqüência Comparações: intervalos

99 Dado: vídeo Propriedades: Representação: Domínio: Possui dimensão tempo Influencia nas comparações Imagem + som = sincronização Formato de arquivo: RM, SWF, MPEG,

100 Dado: genômico Propriedades: Representação: sequência de caracteres Domínio: combinação de nucleotídeos Operações Manipulação: regras de composição Comparações: faixas semelhantes, formas semelhantes

101 Dado: espacial Propriedades: Representação: coordenadas Domínio: espaço N-dimensional Operações Manipulação: pontos e regiões Comparações: métodos de acesso multidimensionais

102 Dado: espacial Consultas espaciais Seleção por ponto Seleção por região Seleção por janela Fonte: Karine Ferreira (2006)

103 Dado: espacial Junção espacial Para cada rodovia selecione as escolas que estão a menos de 1000 metros. Fonte: Karine Ferreira (2006)

104 Dado: espacial Predicados topológicos A B B B B- A A A- disjoint B- A A A equal B B B B B A B B- overlap B- A A A contains B A A A- A B B B B- A A A- meet A ABB B B A A A A- B B B- inside Fonte: Adaptado de Egenhofer e Herring (1991) B- A A A covers B A B B B B B A B- A A A- covered by

105 Dado:espacial Métodos de Acesso Multidimensionais: k-d Trees Fonte: Gilberto Ribeiro (2006)

106 Dado: espacial Métodos de Acesso Multidimensionais Quadtree Fonte: Gilberto Ribeiro (2006)

107 Dado: espacial Métodos de Acesso Multidimensionais R-Trees

108 Dado: composição Sistemas de Informação Geográfica Imagens georreferenciadas Sensores orbitais captam bandas do espectro eletromagnético Imagens podem atingir 200MB cada Todos os sensores captam TB de dados diariamente

109 Dado: composição fonte: NASA

110 Modelo de Dados Coleção de construções lógicas usadas para representar estrutura de dados estruturados e seus relacionamentos em um banco de dados Modelos conceituais: natureza lógica de representação dos dados distante de tecnologia Modelos lógicos ênfase na forma como os dados são representados pelo banco de dados próximo de tecnologia 116

111 Modelo: arquivos Dados armazenados diretamente em arquivos Cada arquivo organizado pelo tipo de uso Dados redundantes Sem escalabilidade Dependência entre aplicação e estrutura dos dados Cada manipulação dependia de um programa (ou método) específico Baixa segurança Dados difíceis de serem representados Data: Fev 14, 1955 Hora: 2:00 p.m. Paciente:Joana, CID: Nome: Rua: Cidade: Fone: Joana Av. Dom,123 Poconé

112 Modelo: arquivos Limitações Separação e Isolamento de Dados Dificuldade no acesso aos dados porque eles são isolados em arquivos separados. Exemplo:Listar todos os pacientes que foram atendidos em fevereiro Criar um arquivo temporário dos pacientes Identificar os atendimentos de fevereiro Testar e sincronizar o processamento dos dois arquivos para garantir a extração correta dos dados. Data: Fev 14, 1955 Hora: 2:00 p.m. Paciente:Joana, CID: Nome: Rua: Cidade: Fone: Joana Av. Dom,123 Poconé

113 Modelo: Hierárquico Modelo Hierárquico Uma hierarquia define a organização e o acesso aos dados Cada nó pode ter diversos filhos

114 Modelo: Hierárquico Vantagens Simplicidade conceitual Integridade da base de dados Independência de Dados Eficiência Desvantagens Implementação complexa Falta de padrão Dependência estrutural Limitação de implementação

115 Modelo: Relacional Edgar Codd Pai do Modelo Relacional IBM San Jose Em 1970, Codd publicou: A Relational Model of Data for Large Shared Data Banks. Modelo Relacional consiste de: Independência de Dados com implementação e armazenamento em hardware. Navegação automática (alto nível) Linguagem não-procedural

116 Modelo: Relacional Modelo lógico Usuário considera que trabalha com uma coleção de tabelas que armazenam os dados Tabelas são uma série de intersecções de linhas/colunas Tabelas possui características parecidas com de entidades

117 Modelo: MER Modelo Entidade Relacionamento Modelo conceitual Representa informações com Entidades representam entes do mundo real. Relacionamento representam interações entre as entidades.

118 Modelo: MER cor fabricante modelo 1 Veículo n 1 idade Pessoa possui_frota n 1 produz é-um rua localização #companhia nome Companhia nome_comp domicílio #pessoa 1 Empregado administra 1 1 possui trabalha 1 Subsidiária nome_sub rua localização qualificação n gerencia n salário 1

119 Modelo: OO Paradigma Orientado a Objetos Classe e Objeto Encapsulamento Relacionamento Herança Associação Polimorfismo

120 Modelo: OO Sistemas Orientados a Objetos Conceito mais especializado de detalhamento da realidade (herança) Conceito de reutilização: maior produtividade Melhor ligação: analista X usuário Suportam com mais flexibilidade alterações e evolução

121 Modelo: OO Booch Rumbaugh Jacobson Fusion Meyer Operation descriptions, Message numbering Before and after conditions Embley Harel Singleton classes, High-level view State charts Gamma, et.al Wirfs-Brock Frameworks, patterns, notes Shlaer - Mellor Object Lifecycles Odell Responsibilities Classification

122 Modelo: OO

123 Modelo: OO Diagrama de Classes

124 Modelo: objeto-relacional Sistema Objeto-relacional Extensão de Tipo Básico em Contexto SQL Objetos Complexos em Contexto SQL Herança em Contexto SQL Suporte para Regras de Produção permite estender o banco de dados com tipos e funções específicas da aplicação A linguagem de consulta OR (SQL3) é uma extensão da linguagem SQL para suportar o modelo de objetos As extensões incluem consultas envolvendo objetos, atributos multivalorados, TADs, métodos e funções como predicados de busca em uma consulta

125 Modelo: objeto-relacional Criação de Tipos: CREATE TYPE Endereço ( RuaNoVARCHAR(60), Cidade VARCHAR(40), ); CREATE TYPE Companhia ( NomeComp String, Matriz endereço, Subsidiarias SET(REF(Subsidiaria)), Presidente REF(Empregado), ); CREATE TYPE Fornecedor ( CodFornec CHAR(4) NomeFornec VARCHAR(40) EndFornec endereço, ); CREATE TYPE Subsidiaria ( NomeSub String, Escritório endereço, Empregados SET(REF(Empregado)), ); CREATE TYPE empregado ( nome CHAR(20), salário DECIMAL(10,2), ); Criação de Tabelas: CREATE TABLE Fornecedor OF Fornecedor CREATE TABLE empregados OF Empregado

126 Modelo: multidimensional Armazena os dados em arrays multidimensionais com um número fixo de dimensões Permite uma visualização multidimensional e multigranular dos dados Dimensões: diferentes Elementos (ou membros): posições segundo uma dimensão Medidas: conteúdo de uma célula NORDESTE P1 P2 P3 P4 PERNAMBUCO po Jan./13 m Te perspectivas de visualização dos dados (podem ser compostas por múltiplos níveis) Fev./13 CEARÁ FORTALEZA... SOBRAL SUDESTE RIO DE JANEIRO SÃO PAULO Produto

127 Modelo: multidimensional Operações sobre o cubo P ro d u to Local Tem po P ro d u to Vendas Vendas Local Tem po Tem po Local Vendas P ro d u to

128 Modelo: multidimensional Operações sobre o cubo

129 Modelo: multidimensional Acesso aos dados Middleware ou transporte Acesso à informação Data Warehouse Acesso aos dados Bd Operacional Funções dos Dados Gerenciador de Processos Dicionário de Dados

130 Modelos de Dados x Quantidade de Dados

131 Classificação de Software de armazenamento

132 Evolução dos softwares Evolução nos tipos de dados adicionar novos tipos de dados nativos permitir tipos definidos pelo usuário (UDT) Evolução na produção dos dados Evolução na transmissão dos dados uso de MemCache redes de alta velocidade Evolução no armazenamento dos dados dispositivos SSD, alta velocidade

133 Evolução dos softwares: Desafios dados na ordem de dezenas ou centenas de TB poder de crescimento elástico horizontal controle de transação ACID torna inviável a elasticidade fácil distribuição dos dados e/ou processamento abordagem de cluster é cara SGBD paralelos são caros tipos de dados variados, complexos e/ou semiestruturados modelo de dados objeto-relacional não resolve todos os requisitos

134 Conclusão Liderança das tecnologias livres Softwares livres Dados livres Conhecimento livre!!

135 Conclusão 4º Paradigma da Ciência está sendo direcionado pelo ambiente Big Data Postura early adoption Protótipo/produto Aproximação Mercado x Ciência Os dois contextos têm o mesmo problema Influência das redes sociais

136 Conclusão Duas abordagens principais: Aumento de processamento Ferramentas específicas para cada problema NoSQL

137 Conclusão Ambiente Poliglota várias linguagens de programação vários produtos de armazenamento vários modelos de dados Várias ferramentas de análise maior intersecção entre papéis do Programador Gerente de Dados Estatístico X-informata