BIG DATA. SIRLON DINIZ DE CARVALHO DR

Tamanho: px
Começar a partir da página:

Download "BIG DATA. SIRLON DINIZ DE CARVALHO DR sirlondiniz@gmail.com"

Transcrição

1 BIG DATA SIRLON DINIZ DE CARVALHO DR 1

2 Sirlon Diniz de Carvalho, MSc. Tem experiência de mercado nas áreas de Sistemas de Informação, Engenharia da Computação, Administração por Processos e Gestão da Qualidade, com ênfase em Mapeamento de Processos, Inteligência nos Negócios (Business Intelligence - BI) e Teleinformática. Atuação como analista de sistemas e consultor independente para diversas empresas, principalmente nos temas: Análise e Desenvolvimento, Sistemas Tutores Inteligentes, Segurança da Informação, Infraestrutura e Redes de Computadores. Certificado Six Sigma - Lean Green Belt e Lean Black Belt - liderou e participou de vários projetos Six Sigma. Com os conhecimentos obtidos em Administração por Processos, já atuou em vários projetos na área de tecnologia, melhoria da qualidade em empresa do ramo educacional, entre outros. Atua na área acadêmica há mais de 14 anos como docente na graduação e pós-graduação, além de ter exercido atividades de gestão de cursos de graduação e pós-graduação. Atualmente é servidor público federal do Instituto Federal de Goiás. 2

3 BIBLIOGRAFIA Mayer-Schönberger, Viktor; Kenneth, Cukier. Big Data: como extrair volume, variedade, velocidade e valor da avalanche de informação cotidiana. Rio de Janeiro: Elsevier, Mahrt, M.; Scharkow, M. (2013) The Value of Big Data in Digital Media Research. Journal of Broadcasting & Electronic Media, 57(1), Manyika J, Chui M, Brown B, Bughin J, Dobbs R, Roxburgh C, Byers AH (2011) Big data: the next frontier for innovation, competition, and productivity. McKinsey Global Institute. Disponível em big_data_ the_next_frontier_for_innovation. Acesso em Inmon, W. H., Como Construir o Data Warehouse, Campus, Barbieri, Carlos. BI Business Intelligence Modelagem & Tecnologia. Rio de Janeiro: Editora Axel Books, Serra, L., A Essência do Business Intelligence, Berkeley Brasil, Kimball, Ross. "The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition)", Wiley,

4 Dos Sistemas Transacionais ao Big Data Sistemas Transacionais e sua estrutura de Dados; C o n c e i t o d e B a n c o s d e D a d o s Relacionais; Dos Dados Transacionais ao Data Warehouse (DW); Além dos Dados Transacionais e do DW: s, informações de tráfego de rede, redes sociais etc.; O Big Data e a Business Intelligence; O agora em Big Data: aplicações e estudos de Casos; A imprecisão dos dados (confusão): ênfase no todo e não no detalhe. Big Data: Volume, Variedade, Velocidade e Valor Os V s do Big Data Aceitando a Confusão: estudos de caso; A causalidade: sem saber o porquê, apenas o quê ; Conteúdo da apresentação A Dataficação: quantificação, tabulação e análise; Além dos dados estruturados: o valor dos dados não estruturados; Valor dos dados: análise de custo e benefício; Dados: reutilização, recombinação, expansão e depreciação; A cadeia de valor do Big Data: Informação, Especialista de Dados, Pessoas e Empresas com mente Big Data; Riscos do Big Data: Privacidade e Punições preditivas; Big Data e normas de regulação. Projetos de Big Data Ferramentas de Big Data; Dados não estruturados e o NOSQL; Projeto de Big Data: ganham os pequenos ou os grandes; 4

5 Tipos de Aplicações: Sistemas Transacionais/Operacionais USlizado para aplicações operacionais Aplicações crí6cas OLTP Execução do negócio Sistemas de controle de estoque Sistemas bancários Sistemas Financeiros Operações de manipulação de dados (insert, update, delete), normalmente on- line e em nível detalhado. Sistemas de controle de vendas de mercadorias etc. 5

6 Banco de Dados Transacionais Como armazenar dados Textos Sistemas de Gerenciamento de Arquivos Planilhas eletrônicas Sistemas de Gerenciamento de Bancos de Dados o SGBD Relacional o SGBD Orientado a Objetos etc. 6

7 Modelagem dos dados de aplicações transacionais Para armazenar é necessário modelar ou projetar o BD Normalização Porque normalizar 1ª, 2ª, 3ª e 4ª FN Exemplo de normalização Exercício modelagem 7

8 Modelagem dos dados de aplicações transacionais 8

9 Empresa informaszada: novas demandas Novas Demandas de T.I. Relatórios gerenciais: clientes por bairro, estado civil etc. Análise complexa questões impossíveis de se prever Mais demandas para o departamento de T.I. Case supermercado produtos por grupo Mas resumo não contradiz normalização? Ambiente de negócio em mudança constante Dados heterogêneos e inconsistentes 9

10 Problemas com a modelagem transacional Alto volume de dados e necessidade de resposta rápida Dados são voláteis: clientes mudam, casam, estudam etc. Enfim: Os modelos de dados tradicionais acabam sendo muito complexos e di3ceis de ser entendidos pelo usuário. Além disso, Joins de múl;plas tabelas, frequentemente grandes, são demorados e consomem muitos recursos do sistema. 10

11 Dúvidas e quessonamentos surgem Conhecemos o negócio? Entendemos o processo, mas somos incapazes de analisar situações mais complexas Valor da Tecnologia versus valor da Informação O que está sendo feito com a memória da organização Relatórios não atendem à Gerência Como resolver esse problema? 11

12 Com Aplicações de Tomada de Decisão USlizadas para análise do negócio Sistemas de Apoio à Decisão - SAD Exige conhecimento do negócio Vital para desenvolvimento de estratégias Extraem informações necessárias para a tomada de decisão, u6lizando consultas complexas sobre grandes volumes de dados (por exemplo, determinar a taxa de crescimento do faturamento nos úl6mos 5 anos) Podem usar sistemas transacionais como fontes de dados 12

13 BI Conceito Business Intelligence (BI) Refere- se à coleta, organização, análise, compar;lhamento e monitoramento de informações para suporte à gestão de negócios. Contempla: Data Warehouse (DW) Data Mining (DM) Customer Rela6onship Management(CRM) OLAP 13

14 Nascimento do Data Warehouse (DW) Data Warehouse é um conjunto de dados: orientados a um assunto integrados não- voláteis variáveis com o tempo usado no apoio a decisões gerenciais William H. Inmon Pai do Data Warehousing 14

15 Data Warehouse: texto para leitura CaracterísScas de um DW Orientado a assuntos: vendas de produtos a diferentes 6pos de clientes, atendimentos e diagnós6cos de pacientes, rendimento de estudantes. Integrado: diferentes nomenclaturas, formatos e estruturas das fontes de dados precisam ser acomodadas em um único esquema para prover uma visão unificada e consistente da informação. Não volásl: os dados de uma data warehouse não são modificados como em sistemas transacionais (exceto para correções), mas somente carregados e acessados para leituras, com atualizações apenas periódicas. 15

16 Comparação entre dados transacionais e DW Operacionais Orientados à aplicação Precisão Instantânea Atualizáveis Voláteis Dispersos em aplicações Acesso frequente Acesso a quantidade reduzida Data Warehouse Orientados a assuntos Snapshots Somente para leitura Históricos Integrados no DW Acesso esporádico Acesso a grande volume Transacional DW 16

17 O Data Warehouse Afinal, o que é o DW? Um novo modelo de Dados Uma nova estrutura de armazenamento Infraestrutura diferente Acesso diferenciado Grandes quan6dades de dados 17

18 E nos departamentos: Data Mart Data Mart Subconjunto dos dados corpora6vos Informações específicas para um grupo de usuários Esquemas não normalizados Data Warehouse Corporativo Data Mart de Marketing Data Mart de Finanças Data Mart de Vendas 18

19 Data Mart - Aplicação Aplicações de Data Mart Uso departamental Locais remotos (filiais, lojas etc.) Acesso externo (fornecedores, clientes etc.) Estals6ca/Mineração (segmentação de mercado, previsão orçamentária, gerenciamento de campanhas etc.) 19

20 Problemas com Origens dos Dados Problemas com Sistemas Legados Modelagem inexistente Programadores não pertencem mais à equipe Sistemas proprietários não possibilitam acesso Domínio de tecnologia obsoleta: cobol, adabas etc. Dados dependentes da aplicação: dincil dissociar Equipe transacional não coesa com B.I. 20

21 Conceito de ETL: Extração Desafio da Extração Ø Ø Somente a extração dos dados leva cerca de 60% das horas de desenvolvimento de um DW (KIMBALL, 1998 apud ABREU, 2007). A maior parte do esforço exigido no desenvolvimento de um DW é consumido neste momento e não é incomum que oitenta por cento de todo esforço seja empregado no processo de ETL, (INMON, 1997 apud ABREU, 2007) Ø A extração é afetada pelo ambiente 21

22 Dados Externos Dados Externos referem- se a dados essenciais para a tomada de decisão, mas que não fazem parte dos dados originados dos sistemas transacionais. Exemplos de Dados Externos: cotação de moeda estrangeira, situações de catástrofe, cenário de mercado etc. Fonte de Dados Externos: revistas especializadas, jornais, índices governamentais etc. 22

23 Os Metadados: Conceito Essencialmente Metadados refere- se a um dicionário de dados, ou seja, dados que mantém informações sobre outros dados Para cada atributo no DW, há uma entrada no dicionário Dados são consultados e atualizados com base nos metadados Permite conhecer e entender a estrutura dos dados Em BD transacional a semân6ca está na aplicação 23

24 OLAP: Online analyscal processing Tipos de Ferramentas MOLAP: Mul6dimensional OLAP ROLAP: Rela6onal OLAP HOLAP: Hybrid OLAP DOLAP: Desktop OLAP 24

25 Ferramentas OLAP Dados Operaciona is Warehouse Data Mart Ferramentas OLAP Dados Externos Cuidados com soluções integradas DW e OLAP 25

26 Ferramentas Mineração de Dados Matemática Estatística Heurística Inteligência Artificial Diferenças entre - OLAP - Data Mining Machine Learning Business Application Data Mining 26

27 Nova Fonte de Recursos para a empresa Questões é6cas A Informação como a6vo da empresa: novo conceito Possibilidade de vendas de informação E as novas fontes de informação? Para onde vamos? Big Data? 27

28 O Big Data Agora Definição Existem várias, mas segundo Mayer- Schönberger, Big data se refere a trabalhos em grande escala que não podem ser feitos em escala menor, para extrair novas ideias e criar novas formas de valor de maneiras que alterem os mercados, as organizações, a relação entre os cidadãos e governos etc. Origem do nome Big Data Ciências como astronomia e genômica 28

29 O Big Data Agora Caso H1N1 CDCs (Centro de Controle de Prevenção de Doenças): ü Dependia de resultado de exames e informações do médicos ü Cenário defasado em 01 ou 02 semanas Google: ü usou dados de 50 milhões de termos de busca comuns (histórico de 2003 a 2008) ü 450 milhões de modelos matemá6cos ü Combinação de 45 termos, num modelo matermá6co ü Encontrou correlação entre previsão e números oficiais ü Em tempo real ü Sem teste de saliva, sem atraso 29

30 O Big Data Agora Caso Forecast (Oren Etzioni) Passagens antecipadas com preço maior? Como saber se comprar antecipadamente é melhor? Coletou preços em 41 dias Criou uma startup Passou para 200 bilhões de registros Vendeu para Microsow por US$ 110 milhões Qual a matéria- prima do negócio? Revolução nos dados, não nas máquinas! 30

31 O Big Data Agora Caso Sloan Digital Sky Survey Início no ano 2000 (Novo México) Em 2 semanas o telescópio coletou mais dados que em toda a história da astronomia Em 2010 eram 140 terabytes Uma sucessora, a Large Synop6c Survey Telescope (Chile), prevista para 2016: coletará isso em 5 dias 31

32 O Big Data Agora Projeto Genoma Humano Criado em 1990 nos EUA, com previsão para 15 anos 2003: cien6stas precisaram de uma década para sequenciar 3 bilhões de pares- base Hoje: faz- se em um único dia 32

33 O Big Data Agora Empresas de Internet Google: processa 24 petabyte/dia Facebook ü Recebe mais de 10 milhões de fotos/hora ü Cur6r e comentar: 3 bilhões/dia ü Trilha digital é construída Youtube ü 800 milhões de usuários ü > 1 hora de vídeo criada por segundo Twi}er (2012): 400 milhões/dia 33

34 O Big Data Agora Quanto há de informação? Existem vários estudos Mar6n Hilbert, da Annenberg School for Communica6on and Journalism, CA, EUA, apresentou um ü Considerando Livros, imagens, e- mails, fotografias, música, vídeo (analógico e digital), videogames, ligações telefônicas, cartas e sistemas de navegação para carros, além de televisão e rádio ü Resultado: em 2007 es6mou- se 300 hexabytes (um bilhão de GB) O suficiente para ü Se impresso, cobrir os EUA com 52 camadas ü Em CD- ROMs empilhados: 5 pilhas até a lua 34

35 O Big Data Agora Big Data Inteligência Ar6ficial? Aprendizado de máquina? Ensinar um computador a pensar? Na verdade está mais para aplicação de matemá;ca a enormes quan;dades de dados visando prever probabilidades! 35

36 A imprecisão dos Dados Usar todos os dados (N1=1Tudo) Amplia a visão, o que não era possível antes Fontes diversificadas Dados normalizados e não normalizados SQL já não é suficiente Não se pode abrir mão das conquistas Há ferramentas que resolvem o problema? Como fica o especialista? O conhecimento do negócio é relevante? E os sistemas legados? 36

37 Os 'Vs' do Big Data 3 ou 5 Vs Volume: grande, crescimento exponencial e às vezes subu6lizados Velocidade: tratamento dos dados (obtenção, gravação, atualização etc.) deve ser rápido - muitas vezes em tempo real Variedade: diversidade de informações (Estruturados - Bancos de Dados, DWs, Não Estruturados - documentos, imagens, áudios, vídeos etc.) 37

38 Os 'Vs' do Big Data 3 ou 5 Vs Veracidade: dados confiáveis, garan6r o máximo possível a consistência dos dados? Valor: os resultados devem trazer benencios significa6vos e que compensem o inves6mento? 38

39 A confusão (inexasdão) dos Dados N1=1Tudo è Usar todos os dados disponíveis Há custos Aumento da quan6dade leva à inexa6dão Soluções com menor volume permi6a tratar outliers Buscou- se tratá- los como problemas Em big data é necessário aprender a conviver com inexa6dão Pra6camente impossível tratá- los como em amostragens Historicamente o homem evoluiu ao medir (precisão) Em big data imprecisão (confusão) é visto de forma posi6va Como entender melhor tudo isso? 39

40 A confusão (inexasdão) dos Dados Case vinhedo Medir a temperatura com um único sensor o Tem que ser preciso o Não permite confusão Medir a temperatura com um sensor a cada 100 parreiras o Pode- se usar sensores mais baratos (não tendenciosos) o Alguns podem apresentar confusão o Mas a soma é mais abrangente o Mudar de uma medida por minuto para 10 ou 100/segundo o Volume versus perda 40

41 A confusão (inexasdão) dos Dados Então em big data Dados não totalmente incorretos = 3,9 pode? Pretere- se um pouco da precisão em favor de uma tendência Big data é mais probabilís6co que exato Case algoritmos de xadrez o Poucas modificações o Regras conhecidas o Como melhoraram o Jogadas finais: 6 peças mapeados o N1=todo para: mais de 1 TB 41

42 A confusão (inexasdão) dos Dados Case linguagem natural Análise grama6cal MS Word (2000): Michele Banko e Eric Brill buscavam melhorar o resultado Melhorar os algoritmos ou aumentar dados? 1 milhão de palavras é comum (corpus texto) 10 milhões, 100 milhões, 1 bilhão? O mais simples com 500 mil saiu de 75% para 95% acerto Google em 2006 usava 1 trilhão Em 2012: 60 idiomas, 14 por voz Algoritmo pouco inteligente: modelos simples Modelos simples com muitos dados são melhores que modelos mais elaborados com menos dados, disse Peter Norvig 42

43 A confusão (inexasdão) dos Dados Mais sobre confusão Existe porque a tecnologia não é perfeita Dep. Americano de Estals6cas Trabalhistas faz índice de preço ao consumidor (Federal Reserve usa para cálculo inflação) o Custo: US$ 250 milhões/ano o Dados organizados, mas defasados em função do tempo o Crise 2008 não foi prevista com tanta precisão Alberto Cavallo e Roberto Rigobon(MIT): alterna6va confusa o 500 mil preços da Internet + big data: previu deflação 2 meses antes que o governo (2008) o MIT originou a PriceStats: bancos e outros usam o The Economist usa: não confia completamente nos cálculos de alguns países (Argen6na, p.e.) The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again. 43

44 Aceitando a causalidade Mais sobre confusão Flickr: 6 bilhões de imagens e 75 milhões de usuários (2011) o usou big data para rotular imagens Maior escala: exato perde importância o Ícone do Twi}er ou Cur6r do Face o Gmail condensa minutos, horas, dias etc. o Flexibilidade para BDs tradicionais (campos diferentes) SQL não é suficiente: surge NOSQL Google criou MapReduce: modelo de programação (framework) Hadoop: rival Open Source Projeto Apache em Java (Distribuído) o Visa usou para segmentar 70 milhões transações o Reduziu de um mês para 13 minutos 44

45 A causalidade Sem saber o porquê apenas o quê Ser humano sente a necessidade de entender a causa Crí6cas a modelos caixas pretas Importância para modelos simbólicos e estals6cos Questões filosóficas sobre causalidade (é tudo causal?) Daniel Kahneman professor de psicologia de Princeton e ganhador do Nobel de Economia de 2002 Ser humano: 2 6pos de raciocínio (rápido ou reflexivo) Rápido para sobrevivência no passado Implica em ver causalidades inexistentes É cultural mas o paradigma é um problema em big data Correlação é fácil, causalidade é dincil 45

46 Dataficação QuanSficação, Tabulação e Análise Case Ma}hew Fontaine Maury o Oficial da Marinha americana (1839) o Big data à moda an6ga: carta náu6ca Case Shigeomi Koshimizu o Ins6tuto Avançado de Tecnologia (Japão) o Forma que a pessoa se senta é quan6ficada e tabulada o Resultado: código digital único com até 98% de acerto o Pode- se aplicar em segurança, cansaço etc. 46

47 Dataficação QuanSficação, Tabulação e Análise Dado: origem do grego e pode significar fato Dataficar: coleta de dados e disposição em formato quan6ficado de modo que possa ser tabulado e analisado Números Romanos versus arábicos Itália no século XIV: balanço e origem da contabilidade Dataficação de imagem de texto do Google Geoprocessamento: dataficação de um lugar (la6tude/longitude) GPS teve origem em 1978 e aberto para uso não militar em 1980 Dataficação dos smartphones: o Publicidade direcionada o Biometria Gráfico social 47

48 Além dos dados estruturados O valor dos dados não estruturados Digitalização versus dataficação Luis Von Ahn (2000) criou Captcha: problemas com spambots Yahoo implementou Captcha (Teste Completamente Automa6zado para Separar Computadores e Humanos) E o ReCaptcha, o que tem de diferente? Movimento e cliques de mouse Conteúdo do Twi}er: entender sen6mentos e manifestações Conteúdo do face: entender preferências de imagens, sons, vídeos etc. Quando as palavras se tornam dados: literatura e estals6ca Custo de armazenagem jus6fica manutenção dos dados 48

49 Além dos dados estruturados NOSQL Criado por Carlo Strozzi em 1998: BD relacional código aberto mas sem SQL Dis6nto do modelo relacional: o termo norel ficaria melhor Ressurgiu em 2009: Rackspace evento sobre BD Open Source e Distribuídos Termo se refere a diferentes sistemas de BDs não estruturados Buscam performance superior e de alta escalabilidade Facilidade para distribuição horizontal: mais dados mais servidores Todas informações agrupadas no mesmo registro Mais tolerantes a erros Ideal para BDs Transacionais? 49

50 Valor dos Dados Análise Custo e Benetcio Logís6ca abastecimento carro elétrico: problema para empresa e motoristas IBM e big data: previsão local abastecimento e construção postos Mas os carros já não possuem computador de bordo? Apenas parte dos dados coletados são usados Empresas inovadoras procuram valor oculto nos dados Na era big data custo e benencio pode estar na reu6lização básica, fusão de Bancos de Dados ou novas descobertas Muitos dados se perdem ou são subu6lizados O valor está no que é possível extrair Valor dos dados é a soma das possibilidades 50

51 Extraindo o máximo dos Dados ReuSlização e recombinação Reu6lização: dados de uso primário u6lizados para outros fins o Dados das buscas: corretor ortográfico o Amazon extraiu preferência de usuários da AOL o Reconhecimento de voz: Google versus Nuance o SWIFT: prever PIB a par6r de transferências internacionais o Operadora de Celular: dados de localização anônimos Recombinação: combinar fontes de dados diferentes Uso de Celular e Câncer (Dinamarca): 3,8 milhões de dados Zillow (Ramo imobiliário): informações de imóveis + preços + mapas para prever valores 51

52 Extraindo o máximo dos Dados Expansão e depreciação Expansão: dados adequados a vários usos o Câmeras: segurança e fluxo de clientes o Street View: fotos, dados de GPS (autopiloto), nomes de redes WiFi (especula- se que até dados) dois pelo preço de um Depreciação: perda de u6lidade com o tempo o Desafio de separar dados úteis ou manter todos o NSA mantem dados do maior número possível Uso exaus6vo dos dados Case corretor: Yahoo pensou, Google agiu (veio de graça) Treinamento de voz: aprendizado recursivo Gostamos de aprender com bancos de dados enormes e barulhentos funcionário Google 52

53 Cadeia de Valor do Big Data Informação Dados da empresa auxiliam na definição do seu valor contábil Bancos e a Terceirização de cartões: qual o custo? Mastercard analisa 65 bilhões de transações de 1,5 bilhão de clientes em 210 países e até vende informações É Capaz de descobrir: encher tanque 16h, gastar de US$ 35,00 a US$ 50,00 na próxima hora (em mercearia ou restaurante) Sensores sem fio em ônibus público para prever quebras o Diminuiu o custo em até 10% o Possibilitou a subs6tuição de uma peça com 450 mil Km (antes era com 320 ou 400 mil): economia de mais de US$ 1 mil/veículo Origem da informação é irrelevante: mídia e dados 53

54 Cadeia de Valor do Big Data Especialista de Dados Ganha bem, trabalha duro e entrega o diamante para o dono Ideias e habilidades são acessórios: o valor recai sobre os dados Valor migrou: conhecimento è ideia è dados Morte do especialista? Pioneiros tem origem externa ao seu domínio: especialista em análise de dados, IA, matemá6ca, estals6ca etc. Piada Microsow: a qualidade das traduções aumenta sempre que um linguista deixa a equipe Grupo Google é capaz de traduzir para idiomas que não dominam 54

55 Cadeia de Valor do Big Data Pessoas e Empresas com mente Big Data Novo perfil: menos especialista, mais generalista Setor de videogames fatura mais/ano que Hollywood/mundo Usam big data para entender o jogador (vendas de itens) Intermediários que agrupam e vendem dados Big data pouco ú6l para empresas de porte médio: vantagens de escala para grandes e custo e inovação para pequenas Big data obriga médias a se tornarem grandes ou pequenas Veem oportunidades antes dos outros: mesmo sem dados Cria6vo e observador: não se limita ao que é exequível, mas ao que é possível Em expansão e com muitas oportunidades 55

56 Riscos do Big Data Privacidade e Punições PrediSvas Dados podem se tornar instrumento de opressão Como saber de obje6vos que sequer existem Case Street View: casa ofuscada Consen6mento individual, opção de exclusão e anonimização perderam eficiência Aplica6vos de smartphones: solicitam autorização à localização NSA em Fort Williams: inves6mento de US$ 1,2 bilhões Coleta dados o tempo todo, do maior número possível São capazes de inves6gar assim que iden6ficam o suspeito Comportamento de compra pode iden6ficar uma pessoa 56

57 Riscos do Big Data Privacidade e Punições PrediSvas Cases de Anonimato quebrado o Buscas AOL e pesquisa do New York Time o Prêmio Ne lix disponibilizou 100 milhões de registros de 500 mil usuários e US$ 1 milhão a quem melhorasse recomendações: resultado, iden6ficaram clientes o Ne lix e Pesquisadores da Universidade do Texas: classificação 6 filmes obscuros (de 500 mais vistos) - possível iden6ficar cliente com 84% precisão (de posse da data da classificação, sobe para 99%) Memphis, no Tennessee: big data aplicado na diminuição de crimes, prevendo ações (Blue CRUSH) Pode- se punir predi6vamente? 57

58 Big Data: Normas e Regulação Regulação Área nova, ainda não há regulação específica Como inves6gar? Quem é capaz? Algoritmistas, a nova profissão? o Algoritmistas externos e internos Governos também devem ser regulados? Big data altera autocontrole da sociedade? Para onde vamos? 58

59 Ferramentas Big Data Ferramentas de Big Data Há ferramenta ou solução específica para Big Data? Big Data: estruturas de indexação de dados e de visualização Estrutura de indexação de dados o Agrupa dados estruturados e não estruturados o É somente a composição dos dados (isso lembra algo?) Componente de visualização de dados: um ou vários o IBM Cognos, QlikView, SAP Business Objects, Datameer, splunk, Oragle Business Intelligence entre outros (lembra algo também?) 59

60 Ferramentas Big Data Ferramentas de Big Data Simplificando o NOSQL (Not Only SQL) Estruturados Não Estruturados 60

61 Ferramentas Big Data NOSQL versus BD Relacional NOSQL é não relacional (não estruturado) NOSQL possui sua linguagem de consulta Relembrando conceito dos BDs relacionais O que se ganha com o NOSQL É aplicável a todos os casos? Transacional tem propriedades ACID (Atomicity, Consistency, Isola6on, Durability) Relacional: indispensável onde há necessidade de precisão e consistência de referências Solução: u6lizar NOSQL conjuntamente com um relacional 61

62 Ferramentas Big Data Consultas SQL em uma tabela SELECT Lista_atributos FROM Tabela WHERE Condição Exemplos de consultas com funções de agregação SELECT COUNT(*) FROM CLIENTE SELECT COUNT(*) FROM CLIENTE WHERE sexo= feminino SELECT nome FROM CLIENTE WHERE codigo not in (SELECT codigo FROM FONE) SELECT nome, salario FROM CLIENTE WHERE salario > (SELECT avg(salario) FROM CLIENTE WHERE SEXO= MASCULINO ) 62

63 Ferramentas Big Data Tipos de armazenamento NOSQL Key/Value Store é o mais comum (uma chave, um valor), suporta mais carga, muita escalabilidade o Ferramentas: Berkeley DB, Tokyo Cabinet, Kyoto Cabinet, Project Voldermort, MemcacheDB, SimpleBD, Redis, Riak, entre outros Wide Columns Store tem inspiração no BigTable (Google), suporta várias linhas, colunas e até subcolunas o Ferramentas: Hbase (Apache), Cassandra entre outros Document Store baseados em documentos XML e JSON o Ferramentas: MongoDB, CouchDB (Apache) entre outros 63

64 Ferramentas Big Data Tipos de armazenamento NOSQL Graph Store é mais complexo pois guarda objetos o Ferramentas: Neo4J, InfoGrid e HyperGraphDB Column Oriented Store são bancos de dados relacionais com caracterís6cas NOSQL. Dados armazenados em colunas o Ferramentas: MonetDB, LucidDB, Infobright e Ingres/Vectorwise Cases: SimpleDB é u6lizado pela Amazon Hbase é ligado ao Hadoop MongoDB é u6lizado por: Disney, MTV Networks entre outros 64

65 Ferramentas Big Data Exemplos de NOSQL no MongoDB MongoDB: orientado a documentos, escalável, livre de esquema, de alto desempenho e código aberto escrito em C++ Dados dispostos em coleções - estrutura JSON (JavaScript Object Nota6on). Exemplo: pessoa{ name: Marcos Paulo, nick: Marquinhos, age: 30, phone: {mobile: , residencial: }} Registros flexíveis: quando for necessário, altere Ideal para leituras de grandes volumes não estruturados Exemplos de consultas: 65

66 Projeto de Big Data Por onde começar Planejamento estratégico da empresa Definição do escopo do projeto e demais artefatos No desenvolvimento: o Base de dados interna transacionais o Base de dados informacionais o Flat files imprescindíveis para o negócio o Dados externos acessíveis o Dados que precisam ser adquiridos o Dados de máquina relevantes para o negócio o Ferramentas de indexação de dados o Ferramentas de visualização de dados 66

67 BIG DATA SIRLON DINIZ DE CARVALHO DR 67

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

3 0 ENCONTRO DE USUÁRIOS DE BI

3 0 ENCONTRO DE USUÁRIOS DE BI 3 0 ENCONTRO DE USUÁRIOS DE BI Contextualizando Durante o segundo encontro de usuários de BI, o tema Big Data surgiu várias vezes durante as discussões e prometemos que seria assunto de um próximo evento.

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Bancos de dados NOSQL (Not Only SQL)

Bancos de dados NOSQL (Not Only SQL) Bancos de dados NOSQL (Not Only SQL) Qual banco de dados utilizado pelo Facebook e Twitter???? E pelo Google? Quando você digita pindamonhangaba no Google, e ele traz: "Aproximadamente 7.220.000 resultados

Leia mais

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br Data Warehousing Leonardo da Silva Leandro Agenda Conceito Elementos básicos de um DW Arquitetura do DW Top-Down Bottom-Up Distribuído Modelo de Dados Estrela Snowflake Aplicação Conceito Em português:

Leia mais

Professor: Disciplina:

Professor: Disciplina: Professor: Curso: Esp. Marcos Morais de Sousa marcosmoraisdesousa@gmail.com Sistemas de informação Disciplina: Introdução a SI Noções de sistemas de informação Turma: 01º semestre Prof. Esp. Marcos Morais

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Data Warehouses Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Conceitos Básicos Data Warehouse(DW) Banco de Dados voltado para

Leia mais

Administração de Sistemas de Informação Gerenciais UNIDADE IV: Fundamentos da Inteligência de Negócios: Gestão da Informação e de Banco de Dados Um banco de dados é um conjunto de arquivos relacionados

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados Carlos Marques Business Development Manager, Data Connectivity and Integration Latin America & Caribbean Market (CALA) O que veremos hoje?

Leia mais

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II Pollyanna Gonçalves Seminário da disciplina Banco de Dados II Web 2.0 vem gerando grande volume de dados Conteúdo gerado por redes sociais, sensores inteligentes, tecnologias de colaboração, etc. Novas

Leia mais

O que a Gestão da Informação pode fazer pela sua empresa na era da Informação Extrema

O que a Gestão da Informação pode fazer pela sua empresa na era da Informação Extrema O que a Gestão da Informação pode fazer pela sua empresa na era da Informação Extrema Walter W. Koch Quadrantes de alinhamento da informação estratégica Quadrantes de alinhamento da informação estratégica

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

Bases Computacionais da Ciência (BC- 0005)

Bases Computacionais da Ciência (BC- 0005) Bases Computacionais da Ciência (BC- 0005) 1 Base de Dados Maria das Graças Bruno Marie/o graca.marie*o@ufabc.edu.br Centro de Matemá6ca, Computação e Cognição (CMCC) Universidade Federal do ABC (UFABC)

Leia mais

Chapter 3. Análise de Negócios e Visualização de Dados

Chapter 3. Análise de Negócios e Visualização de Dados Chapter 3 Análise de Negócios e Visualização de Dados Objetivos de Aprendizado Descrever a análise de negócios (BA) e sua importância par as organizações Listar e descrever brevemente os principais métodos

Leia mais

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4. SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.1 Armazenamento... 5 4.2 Modelagem... 6 4.3 Metadado... 6 4.4

Leia mais

Introdução a Computação

Introdução a Computação Introdução a Computação Aula 04 SGBD Sistemas Gerenciadores de Bancos de Dados Prof. MSc. Edilberto Silva edilms@yahoo.com Conceitos Básicos DADOS: são fatos em sua forma primária. Ex: nome do funcionário,

Leia mais

Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados

Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados slide 1 1 Copyright 2011 Pearson Education, Inc. publishing as Prentice Hall Objetivos de estudo Como um banco de dados

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES.

BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES. Encontro de Ensino, Pesquisa e Extensão, Presidente Prudente, 22 a 25 de outubro, 2012 88 BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES. Andrios Robert Silva Pereira, Renato Zanutto

Leia mais

Big Data: Uma revolução a favor dos negócios

Big Data: Uma revolução a favor dos negócios Big Data: Uma revolução a favor dos negócios QUEM SOMOS Empresa especializada em Big Data e Analytics. Profissionais com larga experiência na gestão de bureaus de crédito, analytics e uso inteligente da

Leia mais

Laudon & Laudon Essentials of MIS, 5th Edition. Pg. 1.1

Laudon & Laudon Essentials of MIS, 5th Edition. Pg. 1.1 Laudon & Laudon Essentials of MIS, 5th Edition. Pg. 1.1 SISTEMA DE APOIO À DECISÃO Grupo: Denilson Neves Diego Antônio Nelson Santiago Sabrina Dantas CONCEITO É UM SISTEMA QUE AUXILIA O PROCESSO DE DECISÃO

Leia mais

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados PÓS-GRADUAÇÃO LATO SENSU Big Data Curso: Banco de Dados Disciplina: Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 7 Big Data 2012 Big Data - Contexto Globalização Modelo just

Leia mais

Prova INSS RJ - 2007 cargo: Fiscal de Rendas

Prova INSS RJ - 2007 cargo: Fiscal de Rendas Prova INSS RJ - 2007 cargo: Fiscal de Rendas Material de Apoio de Informática - Prof(a) Ana Lucia 53. Uma rede de microcomputadores acessa os recursos da Internet e utiliza o endereço IP 138.159.0.0/16,

Leia mais

Sistemas de Apoio à Decisão (SAD) - Senado

Sistemas de Apoio à Decisão (SAD) - Senado Sistemas de Apoio à Decisão (SAD) - Senado DW OLAP BI Ilka Kawashita Material preparado :Prof. Marcio Vitorino Sumário OLAP Data Warehouse (DW/ETL) Modelagem Multidimensional Data Mining BI - Business

Leia mais

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática Bases de Dados Relacional/Objeto e NoSQL Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática SGBDs Principais tarefas Gerir grandes volumes de dados Suportar acessos eficientes Garantir

Leia mais

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence Juntamente com o desenvolvimento desses aplicativos surgiram os problemas: & Data Warehouse July Any Rizzo Oswaldo Filho Década de 70: alguns produtos de BI Intensa e exaustiva programação Informação em

Leia mais

Conceito de Big Data

Conceito de Big Data Conceito de Big Data O que são Dados? A palavra Dados é o plural de Datum em Latin que significava Dar", ou seja "algo dado". Dados como um conceito abstrato pode ser explicado como o mais baixo nível

Leia mais

Planejamento Estratégico de TI. Prof.: Fernando Ascani

Planejamento Estratégico de TI. Prof.: Fernando Ascani Planejamento Estratégico de TI Prof.: Fernando Ascani Data Warehouse - Conceitos Hoje em dia uma organização precisa utilizar toda informação disponível para criar e manter vantagem competitiva. Sai na

Leia mais

Sobre o que falaremos nesta aula?

Sobre o que falaremos nesta aula? Business Intelligence - BI Inteligência de Negócios Prof. Ricardo José Pfitscher Elaborado com base no material de: José Luiz Mendes Gerson Volney Lagmman Introdução Sobre o que falaremos nesta aula? Ferramentas

Leia mais

Data Warehouse Processos e Arquitetura

Data Warehouse Processos e Arquitetura Data Warehouse - definições: Coleção de dados orientada a assunto, integrada, não volátil e variável em relação ao tempo, que tem por objetivo dar apoio aos processos de tomada de decisão (Inmon, 1997)

Leia mais

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Sumário Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Capítulo 2 - Reputação corporativa e uma nova ordem empresarial 7 Inovação e virtualidade 9 Coopetição 10 Modelos plurais

Leia mais

Uma Ferramenta Web para BI focada no Gestor de Informação

Uma Ferramenta Web para BI focada no Gestor de Informação Uma Ferramenta Web para BI focada no Gestor de Informação Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

NoSQL. Cintia Freitas de Moura. BCC 441 Banco de Dados II / 2014

NoSQL. Cintia Freitas de Moura. BCC 441 Banco de Dados II / 2014 NoSQL Cintia Freitas de Moura BCC 441 Banco de Dados II / 2014 Origem: O termo NoSQL foi usado pela primeira vez em 1998, como o nome de um banco de dados relacional de código aberto que não possuía um

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

Módulo 2. Definindo Soluções OLAP

Módulo 2. Definindo Soluções OLAP Módulo 2. Definindo Soluções OLAP Objetivos Ao finalizar este módulo o participante: Recordará os conceitos básicos de um sistema OLTP com seus exemplos. Compreenderá as características de um Data Warehouse

Leia mais

Business Intelligence e ferramentas de suporte

Business Intelligence e ferramentas de suporte O modelo apresentado na figura procura enfatizar dois aspectos: o primeiro é sobre os aplicativos que cobrem os sistemas que são executados baseados no conhecimento do negócio; sendo assim, o SCM faz o

Leia mais

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP.

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. Eduardo Cristovo de Freitas Aguiar (PIBIC/CNPq), André Luís Andrade

Leia mais

Interatividade aliada a Análise de Negócios

Interatividade aliada a Análise de Negócios Interatividade aliada a Análise de Negócios Na era digital, a quase totalidade das organizações necessita da análise de seus negócios de forma ágil e segura - relatórios interativos, análise de gráficos,

Leia mais

A evolução da tecnologia da informação nos últimos 45 anos

A evolução da tecnologia da informação nos últimos 45 anos A evolução da tecnologia da informação nos últimos 45 anos Denis Alcides Rezende Do processamento de dados a TI Na década de 1960, o tema tecnológico que rondava as organizações era o processamento de

Leia mais

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso 5 Estudo de Caso De modo a ilustrar a estruturação e representação de conteúdos educacionais segundo a proposta apresentada nesta tese, neste capítulo apresentamos um estudo de caso que apresenta, para

Leia mais

Guia definitivo de ferramentas de Planejamento para Micro Empreendedores Individuais

Guia definitivo de ferramentas de Planejamento para Micro Empreendedores Individuais Guia definitivo de ferramentas de Planejamento para Micro Empreendedores Individuais Introdução O Brasil já tem 4,7 milhões de microempreendedores individuais, segundo dados de janeiro de 2015 da Receita

Leia mais

Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional

Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional Margy Ross Presidente Kimball Group Maio de 2009, Intelligent Enterprise.com Tradução livre para a língua portuguesa por

Leia mais

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse Definição escopo do projeto (departamental, empresarial) Grau de redundância dos dados(ods, data staging) Tipo de usuário alvo (executivos, unidades) Definição do ambiente (relatórios e consultas préestruturadas

Leia mais

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining.

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining. BUSINESS INTELLIGENCE COM DADOS EXTRAÍDOS DO FACEBOOK UTILIZANDO A SUÍTE PENTAHO Francy H. Silva de Almeida 1 ; Maycon Henrique Trindade 2 ; Everton Castelão Tetila 3 UFGD/FACET Caixa Postal 364, 79.804-970

Leia mais

srbo@ufpa.br www.ufpa.br/srbo

srbo@ufpa.br www.ufpa.br/srbo CBSI Curso de Bacharelado em Sistemas de Informação BI Prof. Dr. Sandro Ronaldo Bezerra Oliveira srbo@ufpa.br www.ufpa.br/srbo Tópicos Especiais em Sistemas de Informação Faculdade de Computação Instituto

Leia mais

BUSINESS INTELLIGENCE -Inteligência nos Negócios-

BUSINESS INTELLIGENCE -Inteligência nos Negócios- UNIVERSIDADE SÃO FRANCISCO CENTRO DE CIÊNCIAS JURÍDICAS, HUMANAS E SOCIAIS BUSINESS INTELLIGENCE -Inteligência nos Negócios- Curso: Administração Hab. Sistemas de Informações Disciplina: Gestão de Tecnologia

Leia mais

Unidade III PRINCÍPIOS DE SISTEMAS DE. Prof. Luís Rodolfo

Unidade III PRINCÍPIOS DE SISTEMAS DE. Prof. Luís Rodolfo Unidade III PRINCÍPIOS DE SISTEMAS DE INFORMAÇÃO Prof. Luís Rodolfo Vantagens e desvantagens de uma rede para a organização Maior agilidade com o uso intenso de redes de computadores; Grandes interações

Leia mais

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence É um conjunto de conceitos e metodologias que, fazem uso de acontecimentos e sistemas e apoiam a tomada de decisões. Utilização de várias fontes de informação para se definir estratégias de competividade

Leia mais

Business Intelligence Um enfoque gerencial para a Inteligência do Negócio.Efrain Turban e outros.tradução. Bookman, 2009.

Business Intelligence Um enfoque gerencial para a Inteligência do Negócio.Efrain Turban e outros.tradução. Bookman, 2009. REFERÊNCIAS o o Business Intelligence Um enfoque gerencial para a Inteligência do Negócio.Efrain Turban e outros.tradução. Bookman, 2009. Competição Analítica - Vencendo Através da Nova Ciência Davenport,

Leia mais

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE Fabio Favaretto Professor adjunto - Programa de Pós Graduação em Engenharia de Produção

Leia mais

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Introdução a Data Warehousing e OLAP Introdução a Data Warehouse e Modelagem Dimensional Visão

Leia mais

Adriano Maranhão BUSINESS INTELLIGENCE (BI),

Adriano Maranhão BUSINESS INTELLIGENCE (BI), Adriano Maranhão BUSINESS INTELLIGENCE (BI), BUSINESS INTELLIGENCE (BI) O termo Business Intelligence (BI), popularizado por Howard Dresner do Gartner Group, é utilizado para definir sistemas orientados

Leia mais

Observatório da Web: Uma Plataforma para Monitoramento de Eventos em Tempo Real. Gisele L. Pappa glpappa@dcc.ufmg.br Outubro/2013

Observatório da Web: Uma Plataforma para Monitoramento de Eventos em Tempo Real. Gisele L. Pappa glpappa@dcc.ufmg.br Outubro/2013 Observatório da Web: Uma Plataforma para Monitoramento de Eventos em Tempo Real Gisele L. Pappa glpappa@dcc.ufmg.br Outubro/2013 Observatório da Web Transforma, em tempo real, grandes volumes de dados

Leia mais

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5 Para entender bancos de dados, é útil ter em mente que os elementos de dados que os compõem são divididos em níveis hierárquicos. Esses elementos de dados lógicos constituem os conceitos de dados básicos

Leia mais

O Big Data em microfinanças: Como os bancos de dados ajudam na tomada de decisão e uma melhor compreensão do comportamento dos clientes

O Big Data em microfinanças: Como os bancos de dados ajudam na tomada de decisão e uma melhor compreensão do comportamento dos clientes 1 O Big Data em microfinanças: Como os bancos de dados ajudam na tomada de decisão e uma melhor compreensão do comportamento dos clientes Elias Sfeir, Presidente Equifax Brasil e Vice-Presidente Sénior

Leia mais

01/12/2009 BUSINESS INTELLIGENCE. Agenda. Conceito. Segurança da Informação. Histórico Conceito Diferencial Competitivo Investimento.

01/12/2009 BUSINESS INTELLIGENCE. Agenda. Conceito. Segurança da Informação. Histórico Conceito Diferencial Competitivo Investimento. BUSINESS INTELLIGENCE Agenda BI Histórico Conceito Diferencial Competitivo Investimento Segurança da Objetivo Áreas Conceito O conceito de Business Intelligencenão é recente: Fenícios, persas, egípcios

Leia mais

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

Pós-Graduação MBA em Inteligência Competitiva com Business Intelligence(BI) Banco de Dados para BI 2011-11

Pós-Graduação MBA em Inteligência Competitiva com Business Intelligence(BI) Banco de Dados para BI 2011-11 Pós-Graduação MBA em Inteligência Competitiva com Business Intelligence(BI) Banco de Dados para BI 2011-11 Apresentação José Roberto Escodeiro Formação Acadêmica Mestre, Eng. de Produção, Ufscar, 2009,

Leia mais

Curso Data warehouse e Business Intelligence

Curso Data warehouse e Business Intelligence Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

IBM Cognos Business Intelligence Scorecarding

IBM Cognos Business Intelligence Scorecarding IBM Cognos Business Intelligence Scorecarding Unindo a estratégia às operações com sucesso Visão Geral O Scorecarding oferece uma abordagem comprovada para comunicar a estratégia de negócios por toda a

Leia mais

DESMISTIFICANDO O CONCEITO DE ETL

DESMISTIFICANDO O CONCEITO DE ETL DESMISTIFICANDO O CONCEITO DE ETL Fábio Silva Gomes da Gama e Abreu- FSMA Resumo Este artigo aborda os conceitos de ETL (Extract, Transform and Load ou Extração, Transformação e Carga) com o objetivo de

Leia mais

Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação

Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação Curso de Dwing TecBD-DI PUC-Rio Prof. Rubens Melo Arquiteturas de DW e Abordagens de Implementação Arquiteturas e Abordagens de Implementação Arquitetura adequada é fundamental Infra-estrutura disponível

Leia mais

OTIMIZAÇÃO DA GESTÃO PÚBLICA ATRAVÉS DE TÉCNICAS DE BUSINESS INTELLIGENCE

OTIMIZAÇÃO DA GESTÃO PÚBLICA ATRAVÉS DE TÉCNICAS DE BUSINESS INTELLIGENCE OTIMIZAÇÃO DA GESTÃO PÚBLICA ATRAVÉS DE TÉCNICAS DE BUSINESS INTELLIGENCE Guimarilza Barbosa de Souza João Gabriel Ribeiro Luiz Cláudio de Arruda Isoton II Congresso Consad de Gestão Pública Painel 5:

Leia mais

Mobilidade. Relatório Mobilidade, Inteligência de Mercado

Mobilidade. Relatório Mobilidade, Inteligência de Mercado Mobilidade Internet e Mobilidade Nos últimos 10 anos, o termo Mobilidade no universo de tecnologia mudou bastante, se tornou mais abrangente e abriu novo setor de negócios. Games, aplicativos de navegação,

Leia mais

Versão 1 Mkt Salvador 17.10.12

Versão 1 Mkt Salvador 17.10.12 Versão 1 Mkt Salvador 17.10.12 NÓS CUIDAMOS DOS PROCESSOS. VOCÊ CUIDA DOS NEGÓCIOS. NÓS CUIDAMOS DOS PROCESSOS. Mais de 10 anos de atuação. Empresa mais premiada do setor. Consolidada e com experiência

Leia mais

DATA WAREHOUSE. Introdução

DATA WAREHOUSE. Introdução DATA WAREHOUSE Introdução O grande crescimento do ambiente de negócios, médias e grandes empresas armazenam também um alto volume de informações, onde que juntamente com a tecnologia da informação, a correta

Leia mais

Banco de Dados I. Introdução. Fabricio Breve

Banco de Dados I. Introdução. Fabricio Breve Banco de Dados I Introdução Fabricio Breve Introdução SGBD (Sistema Gerenciador de Banco de Dados): coleção de dados interrelacionados e um conjunto de programas para acessar esses dados Coleção de dados

Leia mais

4. Que tipos de padrões podem ser minerados. 5. Critérios de classificação de sistemas de Data Mining. 6. Tópicos importantes de estudo em Data Mining

4. Que tipos de padrões podem ser minerados. 5. Critérios de classificação de sistemas de Data Mining. 6. Tópicos importantes de estudo em Data Mining Curso de Data Mining - Aula 1 1. Como surgiu 2. O que é 3. Em que tipo de dados pode ser aplicado 4. Que tipos de padrões podem ser minerados 5. Critérios de classificação de sistemas de Data Mining 6.

Leia mais

Business Intelligence Conceitos, Metodologia de Desenvolvimento e Exemplos de BI

Business Intelligence Conceitos, Metodologia de Desenvolvimento e Exemplos de BI Matriz: Av. Caçapava, 527 CEP 90.460-130 Tecnopuc: Av. Ipiranga, 6681 Prédio 32 Sala 109 CEP 90.619-900 Porto Alegre - RS, Brasil Contate-nos: +55 (51) 3330.7777 contato@dbccompany.com.br www.dbccompany.com.br

Leia mais

Data Warehouse: uma classificação de seus Custos e Benefícios

Data Warehouse: uma classificação de seus Custos e Benefícios Data Warehouse: uma classificação de seus Custos e Benefícios Marcos Paulo Kohler Caldas (CEFET-ES/CEFET-PR) marcospaulo@cefetes.br Prof. Dr. Luciano Scandelari (CEFET-PR) luciano@cefetpr.br Prof. Dr.

Leia mais

DWEB. Design para Web. HTML5 - Marcação de formulário. Curso Superior de Tecnologia em Design Gráfico

DWEB. Design para Web. HTML5 - Marcação de formulário. Curso Superior de Tecnologia em Design Gráfico DWEB Design para Web Curso Superior de Tecnologia em Design Gráfico HTML5 - Marcação de formulário E não vos conformeis com este século, mas transformai-vos pela renovação da vossa mente, para que experimenteis

Leia mais

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto OLPT x OLAP Roteiro OLTP Datawarehouse OLAP Operações OLAP Exemplo com Mondrian e Jpivot

Leia mais

DATA WAREHOUSING. Data Warehousing

DATA WAREHOUSING. Data Warehousing DATA WAREHOUSING Data Warehousing Sumário Conceitos / Autores chave... 3 1. Introdução... 3 2. Modelos de Data Warehouse... 4 3. Processo de Extração, Transformação e Carga de Dados... 6 4. Data Mart versus

Leia mais

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13 Ciência dos Dados Preparado por Intel Corporation Bruno Domingues Principal Architect bruno.domingues@intel.com Homem na Lua Software Data: 1969 64kb, 2kb, RAM, Fortran Tem que funcionar! Apolo XI Velocidade:

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

Plataformas de BI Qual é a mais adequada para o meu negócio?

Plataformas de BI Qual é a mais adequada para o meu negócio? Plataformas de BI Qual é a mais adequada para o meu negócio? Comparativo prático para escolher a ferramenta perfeita para a sua empresa Faça nosso Quiz e veja as opções que combinam com o seu perfil ÍNDICE

Leia mais

SISTEMAS DE APOIO À DECISÃO SAD

SISTEMAS DE APOIO À DECISÃO SAD SISTEMAS DE APOIO À DECISÃO SAD Conceitos introdutórios Decisão Escolha feita entre duas ou mais alternativas. Tomada de decisão típica em organizações: Solução de problemas Exploração de oportunidades

Leia mais

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL Autores: Nicolas Ignácio RYBERG 1,2 ;; Angelo Augusto FROZZA 3 Identificação autores: 1 Bolsista PIBIC-EM/CNPq;; 2 Aluno do curso Técnico em Informática

Leia mais

Programa do Curso de Pós-Graduação Lato Sensu MBA em Business Intelligence (BI)

Programa do Curso de Pós-Graduação Lato Sensu MBA em Business Intelligence (BI) Programa do Curso de Pós-Graduação Lato Sensu MBA em Business Intelligence (BI) Apresentação O programa de Pós-graduação Lato Sensu em Business Intelligence Inteligência Competitiva tem por fornecer conhecimento

Leia mais

CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE

CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE NoSQL Banco de Dados Não Relacional ALUNO: Heitor Oliveira Silva PROFESSOR ORIENTADOR:

Leia mais

BUSINESS INTELLIGENCE BI Aplicado à Gestão das Águas Subterrâneas. Frederico Cláudio Peixinho Flávio Luis de Mello 23 a 26 de Outubro de 2012

BUSINESS INTELLIGENCE BI Aplicado à Gestão das Águas Subterrâneas. Frederico Cláudio Peixinho Flávio Luis de Mello 23 a 26 de Outubro de 2012 XVII Congresso Brasileiro de Águas Subterrâneas Bonito - MT Serviço Geológico do Brasil CPRM BUSINESS INTELLIGENCE BI Aplicado à Gestão das Águas Subterrâneas Frederico Cláudio Peixinho Flávio Luis de

Leia mais

Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹

Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ ¹Ciência da Computação Universidade Federal de Itajubá (UNIFEI) MG Brasil

Leia mais

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Alcione Benacchio (UFPR) E mail: alcione@inf.ufpr.br Maria Salete Marcon Gomes Vaz (UEPG, UFPR) E mail: salete@uepg.br Resumo: O ambiente de

Leia mais

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3.

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3. Sumário Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. 1 2 Introdução Aplicações do negócio: constituem as aplicações que dão suporte ao dia a dia do negócio da empresa,

Leia mais

Decisão Suporte: Warehousing, OLAP e Data Mining

Decisão Suporte: Warehousing, OLAP e Data Mining Decisão Suporte: Warehousing, OLAP e Data Mining 7-1 Introdução Cada vez mais, organizações estão analizando dados correntes e históricos para identificar padrões úteis e suporte a estratégias de negócios.

Leia mais

Decisão Suporte: Warehousing, OLAP e Data Mining

Decisão Suporte: Warehousing, OLAP e Data Mining Decisão Suporte: Warehousing, OLAP e Data Mining 7-1 Introdução Cada vez mais, organizações estão analizando dados correntes e históricos para identificar padrões úteis e suporte a estratégias de negócios.

Leia mais

Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados

Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Disciplina: Ferramentaspara Tomadade Decisão Prof.: Fernando Hadad Zaidan Unidade 1.2 1 Conceitos Iniciais Tomada de Decisão, Modelagem

Leia mais

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade

Leia mais

Business Intelligence

Business Intelligence 1/ 24 Business Intelligence Felipe Ferreira 1 Nossa empresa Jornal O Globo Jornais Populares Parcerias Grupo Folha Grupo Estado 2 1 Fundada em 1925 3100 funcionários 2 Parques Gráficos e SP Globo: 220

Leia mais

Gerenciamento de Dados e Gestão do Conhecimento

Gerenciamento de Dados e Gestão do Conhecimento ELC1075 Introdução a Sistemas de Informação Gerenciamento de Dados e Gestão do Conhecimento Raul Ceretta Nunes CSI/UFSM Introdução Gerenciando dados A abordagem de banco de dados Sistemas de gerenciamento

Leia mais

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence.

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence. Tópicos Avançados Business Intelligence Banco de Dados Prof. Otacílio José Pereira Unidade 10 Tópicos Avançados Business Inteligence Roteiro Introdução Níveis organizacionais na empresa Visão Geral das

Leia mais

IMPLANTAÇÃO DO DW NA ANVISA

IMPLANTAÇÃO DO DW NA ANVISA IMPLANTAÇÃO DO DW NA ANVISA Bruno Nascimento de Ávila 1 Rodrigo Vitorino Moravia 2 Maria Renata Furtado 3 Viviane Rodrigues Silva 4 RESUMO A tecnologia de Business Intelligenge (BI) ou Inteligência de

Leia mais

Módulo 1. Introdução ao Business Intelligence

Módulo 1. Introdução ao Business Intelligence Módulo 1. Introdução ao Business Intelligence Objetivos Fornecer uma visão sobre a finalidade de um sistema de suporte para tomada de decisões: Conhecer quais sistemas informatizados atuam em cada componente

Leia mais

Banco de Dados - Senado

Banco de Dados - Senado Banco de Dados - Senado Exercícios OLAP - CESPE Material preparado: Prof. Marcio Vitorino OLAP Material preparado: Prof. Marcio Vitorino Soluções MOLAP promovem maior independência de fornecedores de SGBDs

Leia mais

Business Intelligence

Business Intelligence e-book Senior Business Intelligence 1 Índice 03 05 08 14 17 20 22 Introdução Agilize a tomada de decisão e saia à frente da concorrência Capítulo 1 O que é Business Intelligence? Capítulo 2 Quatro grandes

Leia mais

Prof. Msc. Paulo Muniz de Ávila

Prof. Msc. Paulo Muniz de Ávila Prof. Msc. Paulo Muniz de Ávila O que é Data Mining? Mineração de dados (descoberta de conhecimento em bases de dados): Extração de informação interessante (não-trivial, implícita, previamente desconhecida

Leia mais