Informática Parte 11 Prof. Márcio Hunecke

Tamanho: px
Começar a partir da página:

Download "Informática Parte 11 Prof. Márcio Hunecke"

Transcrição

1 Escriturário Informática Parte 11 Prof. Márcio Hunecke

2

3 Informática FERRAMENTAS DE INGESTÃO DE DADOS (SQOOP 1.4.6, FLUME 1.7.0, NIFI E KAFKA ) Visão geral sobre os quatro componentes Fazem parte do Ecossistema Hadoop. Baseados em Software Livre. Com escalabilidade horizontal (para melhor desempenho, basta adicionar mais computadores). Soluções distribuídas (usam diversos computadores). Trabalham com grande volume de dados. Sqoop Sqoop é um aplicativo de interface de linha de comando para a transferência de dados entre bancos relacionais e Hadoop. Sqoop oferece suporte a cargas incrementais de uma única tabela ou uma consulta SQL (parte de uma tabela), bem como trabalhos salvos que podem ser executados várias vezes para importar atualizações feitas em um banco de dados desde a última importação. As importações também podem ser usadas para preencher tabelas em Hive ou HBase. As exportações podem ser usadas para colocar dados do Hadoop em um banco de dados relacional. Sqoop tem o nome do SQL + Hadoop. Sqoop tornou-se um projeto Apache em março de

4 Realiza apenas a função de MAP (não faz Reduce) e pode conectar em qualquer banco de dados relacional compatível com o padrão de mercado JDBC (Java Database Connectivity) e as tarefas de importação ou importação podem ser automatizadas com o uso de Jobs (tarefas agendadas). Normalmente os dados importados para o Hadoop (HDFS) são divididos com base na chave primária e em quatro partes, chamadas de mappers (da palavra Map). A importação de dados é realizada através do comando: Outros comandos do Sqoop: import-all-tables export eval list-tables list-databases Fluxo de dados de importação de um banco de dados relacional (tabela 4

5 Banco do Brasil - TI (Escriturário) Informática Márcio Henecke Visão do sistema de arquivos HDFS após importação de dados. Flume Apache Flume é um serviço distribuído, confiável e disponível via linha de comando para coletar eficientemente, agregar e mover grandes quantidades de dados de log. Tem uma arquitetura simples e flexível baseada em fluxos de dados de streaming (dados contínuos, que vão chegando com o passar do tempo). É robusto e tolerante a falhas com mecanismos de confiabilidade ajustáveis e muitos mecanismos de failover e recuperação. Ele usa um modelo de dados extensível simples que permite a aplicação analítica online (OLAP), colocando dados em memória (Memory Channel) para depois enviar ao HDFS. O Flume é muito utilizado para coletar e transformar e armazenar os dados não estruturados, como os gerados pelas redes sociais. Já vem com agentes para as redes sociais Facebook e Twitter. Comando utilizado para coletar e agregar em tempo real os dados do Twitter: Flume-ng agent n TwitterAgent c conf f path/flume.conf. 5

6 Fluxo de dados do Flume para agregação de dados. Ideia inicial do Flume - coletar eventos de servidores de internet (Web Servers). NiFi Apache NiFi (abreviação de Niagara Files) é um projeto de software da Apache Software Foundation utilizado no navegador e projetado para automatizar o fluxo de dados entre sistemas de software. É baseado no "Niagara Files" software previamente desenvolvido pela NSA em software livre. Com seus fluxos, é possível realizar roteamento, transformação e mediação lógica de dados. 6

7 Banco do Brasil - TI (Escriturário) Informática Márcio Henecke O software é baseado no modelo de programação em fluxos e oferece recursos que incluem a capacidade de operar em clusters, segurança usando criptografia TLS, extensibilidade (os usuários podem escrever seu próprio software para estender suas habilidades) e recursos de usabilidade aprimorados como um portal que pode ser usado para visualizar e modificar o comportamento visualmente. O desenvolvimento de software e suporte comercial é oferecido atualmente pela Hortonworks. Fluxo simples para exportar eventos de um arquivo para HDFS Processos: GetFile e PutHDFS. NiFi é um programa em Java que roda em uma máquina virtual Java. Seus principais componentes são: Web Server componente baseado em HTTP usado para controlar visualmente o software e monitorar os eventos. Também é possível verificar o histórico de cada processo. Flow Controller serve como o cérebro do NiFi. Controla a execução, agenda e alocação de recursos. Extensions vários plug-ins que permitem ao NIFI interagir com vários tipos de sistemas. FlowFile repository usado pelo NiFi para manter e controlar o status do fluxo em tempo real. Content repository repositório por onde os dados processados passam. Provenance repository mantém informações sobre a origem dos dados. Fluxo complexo desenvolvido com o Nifi 7

8 Kafka Apache Kafka é uma plataforma de software Open-Source de processamento de fluxo desenvolvido pela Apache Software Foundation escrito em Scala e Java. O projeto tem como objetivo fornecer uma plataforma de baixa latência unificada e de alta produtividade para a manipulação de dados em tempo real. Sua camada de armazenamento é essencialmente uma fila de mensagens massivamente escalável arquitetada como um log de transações distribuída, tornando-o altamente valioso para as infraestruturas corporativas processarem dados de streaming. Além disso, Kafka se conecta a sistemas externos (para importação de dados/exportação) via Kafka Connect e fornece Kafka streams, uma biblioteca de processamento Java Stream. A primeira versão do Kafka foi criada pela equipe de TI do LinkedIn, que necessitava coletar informações (logs) de todos seus servidores sendo que nenhuma ferramenta de mercado atendia a necessidade pelo grande volume de dados. É uma plataforma de streaming com três recursos essenciais: Publicar e assinar fluxos de registros, semelhante a uma fila de mensagens ou sistema de mensagens corporativas. Armazenar fluxos de registros de maneira durável e tolerante a falhas. Processar fluxos de registros à medida que ocorrem. Principais componentes: Producer Aplicação externa que envia mensagens para Kafka. Cluster Conjunto de servidores Kafka / Zookeeper. Topic Item a ser coletado na aplicação (producer). Partition Armazenamento dos dados. Pode ser criada uma ou mais partições para cada Topic. Consumer Aplicação que lê ou recebe os dados do Kafka. 8

9 Banco do Brasil - TI (Escriturário) Informática Márcio Henecke Resumo Sqoop Transferência de dados de banco de dados relacionais para HDFS. Flume Coleta e Agregação de dados streaming (Twitter) ou Logs (dados não estruturados) para HDFS. NiFi Ferramenta Web para criar processos automatizados de coleta de dados. Kafka Coleta e Agregação de Logs para HDFS. 9

Informática Simulado Prof. Márcio Hunecke

Informática Simulado Prof. Márcio Hunecke Escriturário Informática Simulado Prof. Márcio Hunecke Informática 1. Para gerar uma aplicação Java, são necessários alguns passos, conforme abaixo. I Compilar usando javac.exe II Salvar o arquivo com

Leia mais

Big Data Open Source com Hadoop

Big Data Open Source com Hadoop Big Data Open Source com Hadoop Palestrante: Marcio Junior Vieira marcio@ambientelivre.com.br Realização: Marcio Junior Vieira 14 anos de experiência em informática, vivência em desenvolvimento e análise

Leia mais

Informática Parte 10 Prof. Márcio Hunecke

Informática Parte 10 Prof. Márcio Hunecke Escriturário Informática Parte 10 Prof. Márcio Hunecke Informática CONCEITOS DE MAPREDUCE E HDFS/HADOOP/YARN 2.7.4 Big Data O termo Big Data refere-se a um grande conjunto de dados armazenados e baseia-se

Leia mais

Diagrama Funcional das Informações

Diagrama Funcional das Informações Arquitetura Processo Diagrama Funcional das Informações Produção das Informações Coleta das Informações Gestores Algoritmo de Processamento / Data Loader Decriptografia e descompactação Armazenamento Consumo

Leia mais

Benjamin Bengfort Jenny Kim

Benjamin Bengfort Jenny Kim Benjamin Bengfort Jenny Kim Novatec Authorized Portuguese translation of the English edition of Data Analytics with Hadoop, ISBN 9781491913703 2016 Benjamin Bengfort, Jenny Kim. This translation is published

Leia mais

APLICAÇÕES DE BIG DATA COM SPARK E PYTHON

APLICAÇÕES DE BIG DATA COM SPARK E PYTHON CURTA DURAÇÃO APLICAÇÕES DE BIG DATA COM SPARK E PYTHON CARGA HORÁRIA: 48 horas DURAÇÃO: 3 meses COORDENAÇÃO: Prof. Dr. Adolpho Pimazoni Canton Prof.ª Dr.ª Alessandra de Ávila Montini APRESENTAÇÃO O crescente

Leia mais

PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA

PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA OBJETIVOS Este curso tem como objetivo principal apresentar de forma clara, objetiva e com aplicações reais como as metodologias de Big Data, Inteligência Artificial e

Leia mais

BUSINESS INTELLIGENCE E DATA WAREHOUSE. Big Data Conceitos, Técnicas, Ferramentas e Arquitetura. tutorpro.com.br cetax.com.br

BUSINESS INTELLIGENCE E DATA WAREHOUSE. Big Data Conceitos, Técnicas, Ferramentas e Arquitetura. tutorpro.com.br cetax.com.br BUSINESS INTELLIGENCE E DATA WAREHOUSE Big Data Conceitos, Técnicas, Ferramentas e Arquitetura tutorpro.com.br cetax.com.br Quem somos 2 3 Objetivos do Curso de Big Data 4 Alinhamento das expectativas

Leia mais

Bruno Antunes da Silva UFSCar - Sorocaba

Bruno Antunes da Silva UFSCar - Sorocaba Bruno Antunes da Silva UFSCar - Sorocaba Introdução HDFS Arquitetura Leitura e escrita Distribuição de nós Controle de réplicas Balancer MapReduce Conclusão Aplicações web com grandes quantidades de dados

Leia mais

MBA ANALYTICS EM BIG DATA

MBA ANALYTICS EM BIG DATA MBA ANALYTICS EM BIG DATA OBJETIVOS Este curso tem como objetivo principal apresentar de forma clara, objetiva e com aplicações reais como as metodologias de Big Data, Inteligência Artificial e Computação

Leia mais

Como criar seu ecossistema de dados com o Tableau no AWS

Como criar seu ecossistema de dados com o Tableau no AWS Como criar seu ecossistema de dados com o Tableau no AWS Migrando seu BI para a nuvem Seu BI funciona e, provavelmente, funciona muito bem. Porém, continuar capacitando seus colegas com os dados será um

Leia mais

A NOVA EXPERIÊNCIA ANALÍTICA

A NOVA EXPERIÊNCIA ANALÍTICA A NOVA EXPERIÊNCIA ANALÍTICA USANDO MELHOR O HADOOP COMO PEÇA DO QUEBRA-CABEÇA DO BIG DATA Rafael Aielo Gerente de Soluções AGENDA Era Big Data Hadoop O que é e como funciona SAS e Hadoop ERA BIG DATA

Leia mais

Arquiteturas para SGBD. Laboratório de Bases de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri

Arquiteturas para SGBD. Laboratório de Bases de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri Arquiteturas para SGBD Laboratório de Bases de Dados Arquitetura Centralizada Terminal responsável pela exibição dos resultados sem capacidade de processamento Computador central (mainframe) responsável

Leia mais

Data Warehouse ETL. Rodrigo Leite Durães.

Data Warehouse ETL. Rodrigo Leite Durães. Data Warehouse ETL Rodrigo Leite Durães rodrigo_l_d@yahoo.com.br Introdução Um dos desafios da implantação de um DW é a integração dos dados de fontes heterogêneas e complexas, padronizando informações,

Leia mais

Administração de Serviços de Redes. Introdução a Clusters. Prof. Dayvidson Bezerra Contato:

Administração de Serviços de Redes. Introdução a Clusters. Prof. Dayvidson Bezerra Contato: Administração de Serviços de Redes Introdução a Clusters Prof. Dayvidson Bezerra Contato: dayvidsonbezerra@gmail.com Definição Cluster é um termo amplamente utilizado, significa computadores independentes

Leia mais

Nuvem e Virtualização Redes Programáveis

Nuvem e Virtualização Redes Programáveis Nuvem e Virtualização Redes Programáveis Visão Geral da Nuvem A computação em nuvem envolve muitos computadores conectados em uma rede, possibilitando que eles sejam fisicamente localizados em qualquer

Leia mais

Governança e Big Data. Celso Poderoso

Governança e Big Data. Celso Poderoso Governança e Big Data Celso Poderoso cpoderoso@microstrategy.com Celso Poderoso Formação Acadêmica: Economista Especialista em Sistemas de Informação Mestre em Tecnologia (Grid Computing/Cloud Computing)

Leia mais

AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP

AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP Débora Stefani Lima de Souza dsls@cin.ufpe.br Orientador: Dr. Paulo Romero Martins Maciel INTRODUÇÃO Nem sempre os dados

Leia mais

Agenda. O que é o Windows Admin Center? Características do Windows Admin Center. O que está em desenvolvimento. Apêndice: screenshots

Agenda. O que é o Windows Admin Center? Características do Windows Admin Center. O que está em desenvolvimento. Apêndice: screenshots Agenda O que é o Windows Admin Center? Características do Windows Admin Center O que está em desenvolvimento Apêndice: screenshots O que é o Windows Admin Center? Gerenciamento antes do Windows Admin Center

Leia mais

Desenvolvimento de Aplicações Distribuídas

Desenvolvimento de Aplicações Distribuídas SOA e Web Services Pontifícia Universidade Católica de Minas Gerais Instituto de Ciências Exatas e Informática DAD (2019/01) Tópicos Apresentação da disciplina Introdução Desafios e características Arquitetura

Leia mais

Arquitetura de núcleo distribuído utilizando o sistema de switch central Z9000. Uma Nota Técnica da Dell

Arquitetura de núcleo distribuído utilizando o sistema de switch central Z9000. Uma Nota Técnica da Dell Arquitetura de núcleo distribuído utilizando o sistema de switch central Z9000 Uma Nota Técnica da Dell Esta nota técnica serve apenas para fins informativos e pode conter erros de digitação e erros técnicos.

Leia mais

ADMINISTRAÇÃO DE BANCOS DE DADOS DO MICROSOFT SQL SERVER

ADMINISTRAÇÃO DE BANCOS DE DADOS DO MICROSOFT SQL SERVER 20462 - ADMINISTRAÇÃO DE BANCOS DE DADOS DO MICROSOFT SQL SERVER CONTEÚDO PROGRAMÁTICO Estrutura de tópicos do curso Módulo 1: Introdução à administração de banco de dados do SQL Server 2014 Este módulo

Leia mais

CARACTERÍSTICAS Interface intuitiva. Em pouco tempo você está ambientado com o software;

CARACTERÍSTICAS Interface intuitiva. Em pouco tempo você está ambientado com o software; DATASHEET 1 UMA REVOLUCIONÁRIA FERRAMENTA DE MONITORAMENTO DE REDES Monsta é uma poderosa ferramenta de monitoramento que diagnostica, detecta, alerta e auxilia na solução de problemas existentes em sua

Leia mais

BD e Cloud Gerenciamento de. Dados na Nuvem

BD e Cloud Gerenciamento de. Dados na Nuvem CIn/UFPE In940 - Banco de Dados Gerenciamento de Dados na Nuvem Conceitos e Arquiteturas Chaina Santos Oliveira - cso2 Roteiro Motivação Computação em Nuvem Gerenciamento de dados na Nuvem Sistemas de

Leia mais

Estudo de implementação de um cluster utilizando apache hadoop. Giovanni Furlanetto

Estudo de implementação de um cluster utilizando apache hadoop. Giovanni Furlanetto Estudo de implementação de um cluster utilizando apache hadoop Giovanni Furlanetto 1470175 Sumário Introdução Metodologia de Pesquisa Revisão Bibliográfica Resultados Conclusão Referências Introdução Considerando

Leia mais

Introdução Ferramentas Unix MapReduce Outras Ferramentas. Batch Processing. Fabiola Santore. Universidade Federal do Paraná

Introdução Ferramentas Unix MapReduce Outras Ferramentas. Batch Processing. Fabiola Santore. Universidade Federal do Paraná Fabiola Santore Universidade Federal do Paraná Sumário 1. Introdução 2. Ferramentas Unix 2.1 Análise de log 2.2 Filosofia Unix 3. MapReduce 3.1 Procedimento 3.2 Reduce: Joins e Agrupamento 3.3 Análise

Leia mais

Novidades da Plataforma de suporte remoto 3.0

Novidades da Plataforma de suporte remoto 3.0 Novidades Plataforma de suporte remoto do SAP Business One Versão do documento: 1.0 08.10.2012 PÚBLICO Novidades da Plataforma de suporte remoto 3.0 Todos os países Convenções tipográficas Estilo de letra

Leia mais

GERAÇÃO DE ARQUIVOS DE SCRIPT EM PHP. Acadêmico: Leonardo Sommariva Orientador: Alexander Roberto Valdameri

GERAÇÃO DE ARQUIVOS DE SCRIPT EM PHP. Acadêmico: Leonardo Sommariva Orientador: Alexander Roberto Valdameri FERRAMENTA VISUAL PARA GERAÇÃO DE ARQUIVOS DE SCRIPT EM PHP Acadêmico: Leonardo Sommariva Orientador: Alexander Roberto Valdameri ROTEIRO Introdução Objetivos Motivação Fundamentação Teórica Desenvolvimento

Leia mais

Banco de Dados. Perspectiva Histórica dos Bancos de Dados. Prof. Walteno Martins Parreira Jr

Banco de Dados. Perspectiva Histórica dos Bancos de Dados. Prof. Walteno Martins Parreira Jr Banco de Dados Perspectiva Histórica dos Bancos de Dados Prof. Walteno Martins Parreira Jr www.waltenomartins.com.br waltenomartins@yahoo.com 2015 Histórico Antes dos computadores, as informações eram

Leia mais

Banco de Dados. Disciplina: Teoria e Fundamentos de Sistemas de Informação. Professor: Thiago Silva Prates

Banco de Dados. Disciplina: Teoria e Fundamentos de Sistemas de Informação. Professor: Thiago Silva Prates Banco de Dados Disciplina: Teoria e Fundamentos de Sistemas de Informação Professor: Thiago Silva Prates Banco de dados Banco de dados é uma coleção de dados organizada; Fornece aos seus usuários informações

Leia mais

Informática Parte 25 Prof. Márcio Hunecke

Informática Parte 25 Prof. Márcio Hunecke Escriturário Informática Parte 25 Prof. Márcio Hunecke Informática NODE.JS 6.11.3 Node.js é um interpretador (runtime) de código JavaScript com o código aberto, focado em migrar o JavaScript do lado do

Leia mais

Entrega contínua: automatizar o pipeline de implantação

Entrega contínua: automatizar o pipeline de implantação White Paper Deployment Authomation Entrega contínua: automatizar o pipeline de implantação Índice página O valor da entrega contínua.... 1 A desconexão entre criar e implantar.... 3 Automação e integração

Leia mais

Fundamentos da Informática Aula 03 - Sistemas operacionais: Software em segundo plano Exercícios Professor: Danilo Giacobo

Fundamentos da Informática Aula 03 - Sistemas operacionais: Software em segundo plano Exercícios Professor: Danilo Giacobo Fundamentos da Informática Aula 03 - Sistemas operacionais: Software em segundo plano Exercícios Professor: Danilo Giacobo Múltipla escolha 1. Em que consiste um sistema operacional: a. Um conjunto de

Leia mais

Informática Parte 23 Prof. Márcio Hunecke

Informática Parte 23 Prof. Márcio Hunecke Escriturário Informática Parte 23 Prof. Márcio Hunecke Informática Json (ECMA-404) JSON (JavaScript Object Notation), é um formato compacto, de padrão aberto independente, de troca de dados simples e

Leia mais

Aula 4 TECNOLOGIA EM JOGOS DIGITAIS JOGOS MASSIVOS DISTRIBUÍDOS. Marcelo Henrique dos Santos

Aula 4 TECNOLOGIA EM JOGOS DIGITAIS JOGOS MASSIVOS DISTRIBUÍDOS. Marcelo Henrique dos Santos Aula 4 TECNOLOGIA EM JOGOS DIGITAIS JOGOS MASSIVOS DISTRIBUÍDOS Marcelo Henrique dos Santos Marcelo Henrique dos Santos Email: Site: marcelosantos@outlook.com www.marcelohsantos.com.br TECNOLOGIA EM JOGOS

Leia mais

Conheça nossa solução Corporativa de Backup e Armazenamento

Conheça nossa solução Corporativa de Backup e Armazenamento Conheça nossa solução Corporativa de Backup e Armazenamento QUEM SOMOS Compromisso com o Cliente Somos uma empresa com foco em tecnologia da informação. Nossa missão é deixá-lo tranquilo para cuidar do

Leia mais

COMPONENTES CENTRAIS DO SISTEMA OPERACIONAL. Prof. Eduardo H. S. Oliveira

COMPONENTES CENTRAIS DO SISTEMA OPERACIONAL. Prof. Eduardo H. S. Oliveira COMPONENTES CENTRAIS DO SISTEMA OPERACIONAL Um usuário interage com o sistema operacional via uma ou mais aplicações de usuário e, muitas vezes, por meio de uma aplicação especial denominada shell (interpretador

Leia mais

Arquiteturas. capítulo

Arquiteturas. capítulo Arquiteturas capítulo 2 Modelos de arquitetura de sistemas distribuídos Clientes realizam pedidos a servidores Client invocation invocation Server result Server result Client Key: Process: Computer: Modelos

Leia mais

Aula Prática 2 BD PostgreSQL. Profa. Elaine Faria UFU

Aula Prática 2 BD PostgreSQL. Profa. Elaine Faria UFU Aula Prática 2 BD PostgreSQL Profa. Elaine Faria UFU - 2018 Os slides a seguir consistem de adaptações dos slides cedidos pelo prof. Bruno Travençolo PostgreSQL É um SGBD que incorpora o modelo relacional

Leia mais

Bancos de Dados Distribuídos. Bancos de Dados Distribuídos. Conteúdo. Motivação. Motivação. Introdução aos BDs Distribuídos.

Bancos de Dados Distribuídos. Bancos de Dados Distribuídos. Conteúdo. Motivação. Motivação. Introdução aos BDs Distribuídos. Bancos de Dados Distribuídos Prof. Frank Siqueira Departamento de Informática e Estatística Universidade Federal de Santa Catarina Conteúdo Introdução aos BDs Distribuídos Processamento de Consultas Distribuídas

Leia mais

Administradora de Consórcios. Uma nova era de treinamentos inicia agora.

Administradora de Consórcios. Uma nova era de treinamentos inicia agora. Administradora de Consórcios Uma nova era de treinamentos inicia agora. & Uma nova plataforma de comunicação, treinamentos e desenvolvimento de colaboradores Premissas do projeto Permitir a criação ilimitada

Leia mais

Informática Parte 5 Prof. Márcio Hunecke

Informática Parte 5 Prof. Márcio Hunecke Escriturário Informática Parte 5 Prof. Márcio Hunecke Informática BANCO DE DADOS NOSQL (CONCEITOS BÁSICOS, BANCOS ORIENTADOS A GRAFOS, COLUNAS, CHAVE/VALOR E DOCUMENTOS) NoSQL (originalmente se referindo

Leia mais

CASSANDRA: BANCO DE DADOS NÃO RELACIONAL DE ALTO DESEMPENHO

CASSANDRA: BANCO DE DADOS NÃO RELACIONAL DE ALTO DESEMPENHO Patrocínio, MG, outubro de 2016 ENCONTRO DE PESQUISA & EXTENSÃO, 3., 2016, Patrocínio. Anais... Patrocínio: IFTM, 2016. CASSANDRA: BANCO DE DADOS NÃO RELACIONAL DE ALTO DESEMPENHO Moises Wesley de Souza

Leia mais

Um Repositório Chave-Valor com Garantia de Localidade de Dados. Patrick A. Bungama Wendel M. de Oliveira Flávio R. C. Sousa Carmem S.

Um Repositório Chave-Valor com Garantia de Localidade de Dados. Patrick A. Bungama Wendel M. de Oliveira Flávio R. C. Sousa Carmem S. Um Repositório Chave-Valor com Garantia de Localidade de Dados Patrick A. Bungama Wendel M. de Oliveira Flávio R. C. Sousa Carmem S. Hara Agenda Motivação Desafios ALOCS Princípios de funcionamento Experimentos

Leia mais

Informática. Cloud Computing e Storage. Professor Márcio Hunecke.

Informática. Cloud Computing e Storage. Professor Márcio Hunecke. Informática Cloud Computing e Storage Professor Márcio Hunecke www.acasadoconcurseiro.com.br Informática COMPUTAÇÃO EM NUVEM Cloud Computing ou Computação em Nuvem pode ser definido como um modelo no

Leia mais

Arquitetura Orientada a eventos em ambientes complexos. Trilha - Microservices Globalcode Open4education

Arquitetura Orientada a eventos em ambientes complexos. Trilha - Microservices Globalcode Open4education Arquitetura Orientada a eventos em ambientes complexos Trilha - Microservices Globalcode Open4education Agenda Conceitos e cases Eventos Arquitetura Orientada a Eventos Principais Patterns e aplicabilidade

Leia mais

Serviços WEB/BD/Armazenamento com suporte a balanceamento e alta disponibilidade

Serviços WEB/BD/Armazenamento com suporte a balanceamento e alta disponibilidade ?? Nuno Fidalgo 21140369? Serviços WEB/BD/Armazenamento com suporte a balanceamento e alta disponibilidade Disponibilidade e Desempenho 2017/18 Curso Engenharia Informática Raspberry Pi 2 O Raspberry PI

Leia mais

CSI IT Solutions. WebReport2.5. Relatórios abertos. Informações detalhadas dos jobs!

CSI IT Solutions. WebReport2.5. Relatórios abertos. Informações detalhadas dos jobs! CSI IT Solutions 2.5 solução CSI PrintManager G e s t ã o d e A m b i e n t e d e I m p r e s s ã o O CSI dá aos gestores de TI o poder de uma gestão integral através do acesso fácil às informações gerenciais

Leia mais

COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações

COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações Jaqueline Joice Brito Slides em colaboração com Lucas de Carvalho Scabora Sumário Computação em Nuvem Definição

Leia mais

ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 04: PROCESSAMENTO PARALELO: MULTICOMPUTADOR

ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 04: PROCESSAMENTO PARALELO: MULTICOMPUTADOR ORGANIZAÇÃO E ARQUITETURA DE COMPUTADORES II AULA 04: PROCESSAMENTO PARALELO: MULTICOMPUTADOR Prof. Max Santana Rolemberg Farias max.santana@univasf.edu.br Colegiado de Engenharia de Computação MULTICOMPUTADORES

Leia mais

Pré-requisitos: Conhecimentos de informática gerencial e lógica de programação.

Pré-requisitos: Conhecimentos de informática gerencial e lógica de programação. CURSO DESENVOLVEDOR FRONT-END HTML5/CSS3/JavaScript Objetivo: Este curso visa introduzir o aluno do mundo do desenvolvimento Web, com aplicabilidade, ensino e capacitação nas principais linguagens de diagramação

Leia mais

Tipos de Clusters. Introdução. Introdução 21/03/12

Tipos de Clusters. Introdução. Introdução 21/03/12 Tipos de Clusters Prof. Msc. André Luiz Nasserala Pires nassserala@gmail.com! Cluster pode ser definido como um sistema onde dois ou mais computadores trabalham de maneira conjunta para realizar processamento

Leia mais

Política de Privacidade Este aplicativo coleta alguns dados pessoais de seus usuários. Resumo

Política de Privacidade Este aplicativo coleta alguns dados pessoais de seus usuários. Resumo Política de Privacidade Este aplicativo coleta alguns dados pessoais de seus usuários. Resumo Dados pessoais coletados para os seguintes fins e usando os seguintes serviços: Acesso a contas de serviços

Leia mais

SIDs: ARQUITETURA DE SISTEMAS DISTRIBUÍDOS

SIDs: ARQUITETURA DE SISTEMAS DISTRIBUÍDOS SIDs: ARQUITETURA DE SISTEMAS DISTRIBUÍDOS Modelos: Para que um sistema, ao ser projetado, alcance as características de um sistema distribuído, esse deve ser desenvolvido em cima de algum modelo de computação

Leia mais

Informática Parte 15 Prof. Márcio Hunecke

Informática Parte 15 Prof. Márcio Hunecke Escriturário Informática Parte 15 Prof. Márcio Hunecke Informática SCALA 2.12 O projeto do Scala começou em 2001 por Martin Odersky e tinha como objetivo criar uma linguagem de programação que combinava

Leia mais

Big Data. O que é Big Data! Como surgiu isso! Para que serve?!

Big Data. O que é Big Data! Como surgiu isso! Para que serve?! Big Data O que é Big Data! Como surgiu isso! Para que serve?! Da teoria a prática:! 1! Dá mesmo para! fazer algo prático! com o! Big Data?! Como tudo! começou?!! Qual o! Problema?! PERCEBEU:! Informações

Leia mais

TÍTULO: DESENVOLVIMENTO DO MÓDULO DE BANCO DE DADOS PARA SISTEMA DISTRIBUÍDO COLABORATIVO E PROCESSAMENTO PARALELO.

TÍTULO: DESENVOLVIMENTO DO MÓDULO DE BANCO DE DADOS PARA SISTEMA DISTRIBUÍDO COLABORATIVO E PROCESSAMENTO PARALELO. TÍTULO: DESENVOLVIMENTO DO MÓDULO DE BANCO DE DADOS PARA SISTEMA DISTRIBUÍDO COLABORATIVO E PROCESSAMENTO PARALELO. CATEGORIA: CONCLUÍDO ÁREA: CIÊNCIAS EXATAS E DA TERRA SUBÁREA: COMPUTAÇÃO E INFORMÁTICA

Leia mais

Aula 5 TECNOLOGIA EM JOGOS DIGITAIS JOGOS MULTI PLAYER. Marcelo Henrique dos Santos

Aula 5 TECNOLOGIA EM JOGOS DIGITAIS JOGOS MULTI PLAYER. Marcelo Henrique dos Santos Aula 5 TECNOLOGIA EM JOGOS DIGITAIS JOGOS MULTI PLAYER Marcelo Henrique dos Santos Marcelo Henrique dos Santos Mestrado em Educação (em andamento) MBA em Negócios em Mídias Digitais MBA em Marketing e

Leia mais

2 O armazenamento local e o compartilhamento de dados estão sob seu controle

2 O armazenamento local e o compartilhamento de dados estão sob seu controle Política de privacidade 1 Escopo do documento Este documento explica a coleta e uso de dados pessoais no contexto do aplicativo para o controle do diabetes Accu-Chek Connect oferecido pela Roche. A Roche

Leia mais

MarkLogic Business Partner. O Que Há De Novo No MarkLogic 9

MarkLogic Business Partner. O Que Há De Novo No MarkLogic 9 MarkLogic Business Partner O Que Há De Novo No MarkLogic 9 TEMA-CHAVE Integração de Dados Mais Fácil, Mais Rápida O MarkLogic 9 torna mais rápido e mais fácil gerenciar dados de vários tipos, difusos

Leia mais

Frameworks funcionais para JSF que proporciona o desenvolvimento de aplicações computacionais WEB

Frameworks funcionais para JSF que proporciona o desenvolvimento de aplicações computacionais WEB Frameworks funcionais para JSF que proporciona o desenvolvimento de aplicações computacionais WEB Bruno Costa Silva 1, Ricardo Rufino 1 1 Universidade Paranaense (Unipar) Paranavaí PR Brasil brunocostasilva62@hotmail.com,

Leia mais

Especificação Técnica Sistema de Acesso

Especificação Técnica Sistema de Acesso 1. Introdução O VW Acesso é um sistema 100% web, para controle de acesso de pessoas. O sistema possui arquitetura robusta e independente de plataforma, atendendo todos os segmentos e portes de empresa.

Leia mais

Introdução a Computação em Nuvem

Introdução a Computação em Nuvem Introdução a Computação em Nuvem Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência e Tecnologia

Leia mais

Principais Motivos para Usar o MySQL

Principais Motivos para Usar o MySQL Principais Motivos para Usar o MySQL O Banco de Dados de Código Aberto mais Popular do Mundo MySQL é o "M" na pilha comprovada LAMP de código aberto (Linux, Apache, MySQL PHP/Perl/Python) usada pelos sites

Leia mais

Estruturas de Sistemas Operacionais

Estruturas de Sistemas Operacionais Estruturas de Sistemas Operacionais Sistemas Operacionais - Tópicos Componentes do Sistema Serviços de Sistemas Operacionais Chamadas ao Sistema Estrutura do Sistema Máquinas Virtuais Chamadas ao Sistema

Leia mais

Rede de computadores Cliente- servidor. Professor Carlos Muniz

Rede de computadores Cliente- servidor. Professor Carlos Muniz Rede de computadores Professor Carlos Muniz Definição Cliente-servidor é um modelo computacional que separa clientes e servidores, sendo interligados entre si geralmente utilizando-se uma rede de computadores.

Leia mais

Universidade Federal da Paraíba CCEN Departamento de Informática Disciplina: Banco de Dados. Aula 1 Introdução a Banco de Dados

Universidade Federal da Paraíba CCEN Departamento de Informática Disciplina: Banco de Dados. Aula 1 Introdução a Banco de Dados Universidade Federal da Paraíba CCEN Departamento de Informática Disciplina: Banco de Dados Aula 1 Introdução a Banco de Dados 1. Introdução Um Sistema Gerenciador de Banco de Dados (SGBD) é constituído

Leia mais

Executa em qualquer plataforma que possua o Java (JDK) da Oracle

Executa em qualquer plataforma que possua o Java (JDK) da Oracle Recurso Benefícios Multiplataforma Executa em qualquer plataforma que possua o Java (JDK) da Oracle Utiliza base de dados Oracle, Microsoft SQL ou MySql Utiliza os principais bancos de dados de mercado

Leia mais

EasyAzure. EasyAzure. Guia do programa. Ingram Micro Brasil. Versão 1.7

EasyAzure. EasyAzure. Guia do programa. Ingram Micro Brasil. Versão 1.7 EasyAzure Guia do programa Versão 1.7 Email: cloud.br@ingrammicro.com Telefone: 55 (11) 2078-4280 Endereço: Av. Piracema, 1341 - Tamboré - Barueri - SP Brasil 1 EasyAzure São pacotes prontos com as soluções

Leia mais

De Olho na Pista. Documento de Arquitetura. De Olho na Pista Documento de Arquitetura Data: 23/03/2013. AJA Software

De Olho na Pista. Documento de Arquitetura. De Olho na Pista Documento de Arquitetura Data: 23/03/2013. AJA Software AJA Software www.ajasoftware.wordpress.com De Olho na Pista Documento de Arquitetura Confidencial De Olho na Pista, 2013 1 Sumário 1. Introdução 3 2. Metas e Restrições da Arquitetura 3 3. Padrão da Arquitetura

Leia mais

Introdução ao Desenvolvimento de

Introdução ao Desenvolvimento de Introdução ao Desenvolvimento de Aplicações Web com JSF e PrimeFaces Marcelo Vinícius Cysneiros Aragão ICC Inatel Competence Center marcelovca90@inatel.br Santa Rita do Sapucaí, 15 de março de 2016 Conteúdo

Leia mais

BD e Aplicações em Negócios

BD e Aplicações em Negócios BD e Aplicações em Negócios Sistemas de Banco de Dados: conceitos e arquitetura evandro@usp.br Modelo de dados Temos um conceito inicial (primitivo) do que pode ser um BD BD é um conjunto de dados Para

Leia mais

Desenvolvimento de Aplicações Distribuídas

Desenvolvimento de Aplicações Distribuídas Aplicações Móveis Pontifícia Universidade Católica de Minas Gerais Instituto de Ciências Exatas e Informática DAD (2019/01) Tópicos Apresentação da disciplina Introdução Desafios e características Arquitetura

Leia mais

Características de Sistemas Distribuídos

Características de Sistemas Distribuídos Tópicos O conceito de Características de Carlos Ferraz cagf@cin.ufpe.br Infra-estrutura básica Exemplos Vantagens e desvantagens Convergência digital Características 2002-2003 Carlos A. G. Ferraz 2 O Conceito

Leia mais

Guia de Segurança do Oracle Hardware Management Pack para Oracle Solaris 11.3

Guia de Segurança do Oracle Hardware Management Pack para Oracle Solaris 11.3 Guia de Segurança do Oracle Hardware Management Pack para Oracle Solaris 11.3 Número do Item: E76543-02 Março de 2017 Conteúdo Visão Geral da Segurança do Produto e do Aplicativo... 5 Sobre o Oracle Hardware

Leia mais

Algoritmos e Programação

Algoritmos e Programação ESTADO DE MATO GROSSO SECRETARIA DE ESTADO DE CIÊNCIA E TECNOLOGIA UNIVERSIDADE DO ESTADO DE MATO GROSSO CAMPUS UNIVERSITÁRIO DE SINOP FACULDADE DE CIÊNCIAS EXATAS E TECNOLÓGICAS Algoritmos e Programação

Leia mais

Introdução. descrever os tipos de interfaces e linguagens oferecidas por um SGBD. mostrar o ambiente de programas dos SGBD s

Introdução. descrever os tipos de interfaces e linguagens oferecidas por um SGBD. mostrar o ambiente de programas dos SGBD s Introdução Contribuição do Capítulo 2: discutir modelos de dados definir conceitos de esquemas e instâncias descrever os tipos de interfaces e linguagens oferecidas por um SGBD mostrar o ambiente de programas

Leia mais

Os dados pessoais podem ser livremente fornecidos pelo usuário, ou coletados automaticamente quando se utiliza este aplicativo.

Os dados pessoais podem ser livremente fornecidos pelo usuário, ou coletados automaticamente quando se utiliza este aplicativo. Tipos de dados coletados Entre os tipos de dados pessoais que este aplicativo recolhe, por si só ou por meio de terceiros, estão: e-mail, nome, sobrenome, cookies e dados de uso. Outros dados pessoais

Leia mais

Aula 05. Infraestrutura de TI: hardware e software Pearson. Todos os direitos reservados.

Aula 05. Infraestrutura de TI: hardware e software Pearson. Todos os direitos reservados. Aula 05 Infraestrutura de TI: hardware e software slide 1 Infraestrutura de TI: hardware e software 1. Quais os componentes da infraestrutura de TI? 2. Quais as principais tecnologias de hardware computacional,

Leia mais

Queries em Big Data: o poder dos bancos de dados baseados em GPU. Tiago Vinícius linkedin.com/in/viniremigio/

Queries em Big Data: o poder dos bancos de dados baseados em GPU. Tiago Vinícius linkedin.com/in/viniremigio/ Queries em Big Data: o poder dos bancos de dados baseados em GPU Tiago Vinícius vinicius.remigio@gmail.com linkedin.com/in/viniremigio/ Recife-PE Tiago Vinícius (Vini) Bacharel em Ciência da Computação

Leia mais

Instalando Apache Solr no Mac OSX

Instalando Apache Solr no Mac OSX Instalando Apache Solr no Mac OSX Apache Solr é um plataforma de busca(search engine) de código livre construída sobre o Lucene. Solr é considerada a plataforma de busca para web sites mais popular que

Leia mais

PrIntCloud. Disciplina: Procedência de Dados e Data Warehousing. Aluna: Shermila Guerra Santa Cruz. 16/04/13

PrIntCloud. Disciplina: Procedência de Dados e Data Warehousing. Aluna: Shermila Guerra Santa Cruz. 16/04/13 PrIntCloud Disciplina: Procedência de Dados e Data Warehousing. Aluna: Shermila Guerra Santa Cruz. 16/04/13 Roteiro 1. Fundamentação Teórica A.- Cloud Computing B.- Hadoop C.- MapReduce D.- NoSql 2. Proposta

Leia mais

Avanços e Perspectivas do Projeto Integrade na UFMA

Avanços e Perspectivas do Projeto Integrade na UFMA Avanços e Perspectivas do Projeto Integrade na UFMA Francisco José da Silva e Silva Universidade Federal do Maranhão - UFMA Departamento de Informática Laboratório de Sistemas Distribuídos - LSD Agosto

Leia mais

5 Infraestrutura de TI

5 Infraestrutura de TI Hardware consiste na tecnologia para processamento computacional, armazenamento, entrada e saída de dados. Ex: grandes mainframes, servidores, computadores pessoais, laptops e dispositivos móveis. 1 2

Leia mais

Desenvolvimento de Aplicações Distribuídas

Desenvolvimento de Aplicações Distribuídas Arquitetura Pontifícia Universidade Católica de Minas Gerais Instituto de Ciências Exatas e Informática DAD (2019/01) Tópicos Apresentação da disciplina Introdução Desafios e características Arquitetura

Leia mais

Unidade 1 Introdução

Unidade 1 Introdução Unidade 1 UFCG/CEEI/DSC Banco de Dados I Prof. Cláudio Baptista, PhD O que é um Banco de Dados (BD)? É uma coleção de dados relacionados e armazenados em algum dispositivo. Propriedades de um BD: Um BD

Leia mais

Introdução aos computadores, à Internet e à World Wide Web. Prof. Marcelo Roberto Zorzan

Introdução aos computadores, à Internet e à World Wide Web. Prof. Marcelo Roberto Zorzan Introdução aos computadores, à Internet e à World Wide Web Prof. Marcelo Roberto Zorzan História do Java Origem Linguagem desenvolvida pela Sun Microsystems Sintaxe similar ao C++ Inicialmente chamada

Leia mais

1.2- Ambientes de Middleware

1.2- Ambientes de Middleware 1.2- Ambientes de Middleware Applications RMI, RPC and events Request reply protocol Middleware layers External data representation Operating System Fonte: [Coulouris] 1 1.2- Ambientes de Middleware Aplicação

Leia mais

Redundância de com cliente Zimbra em CentOS

Redundância de  com cliente Zimbra em CentOS Redundância de e-mail com cliente Zimbra em CentOS Eduardo Garcia de Medeiros 1 Faculdade de Tecnologia Senac Pelotas (FATEC) Rua Gonçalves Chaves, 602 - Centro 2 Curso Superior de Tecnologia em redes

Leia mais

Facilitando sua vida com

Facilitando sua vida com Facilitando sua vida com Larissa Carvalho Estudante de Sistemas para Internet. AGENDA Apresentação Front-End X Back-End, quais as diferenças? Introdução básica sobre HTML e CSS O que são Pré-Processadores

Leia mais

Um Servidor HTTP/2 Reativo em Scala

Um Servidor HTTP/2 Reativo em Scala Um Servidor HTTP/2 Reativo em Scala Trabalho de Conclusão de Curso - BCC 2015 Daniel Q. Miranda Orientador: Prof. Dr. Daniel Macêdo Batista HyperText Transfer Protocol HTTP

Leia mais

Características de Sistemas Distribuídos

Características de Sistemas Distribuídos Características de Sistemas Distribuídos Carlos Ferraz cagf@cin.ufpe.br 2002-2003 Carlos A. G. Ferraz 2 Tópicos O conceito de Sistemas Distribuídos Infra-estrutura básica Exemplos Vantagens e desvantagens

Leia mais

Replicando dados para o Kafka com o Oracle GoldenGate DBA Brasil 4.0 #DB4BRASIL

Replicando dados para o Kafka com o Oracle GoldenGate DBA Brasil 4.0 #DB4BRASIL Replicando dados para o Kafka com o Oracle GoldenGate DBA Brasil 4.0 #DB4BRASIL Murilo Nascimento Engenheiro de Soluções Oracle Brasil 4 de maio de 2019 Copyright 2019, Oracle and/or its affiliates. All

Leia mais

Tema 3: Almoxarifado (recursos materiais, laboratório, farmácia) + Controle de Escala e Plantões

Tema 3: Almoxarifado (recursos materiais, laboratório, farmácia) + Controle de Escala e Plantões Tema 3: Almoxarifado (recursos materiais, laboratório, farmácia) + Controle de Escala e Plantões Mabi Prux von Steinkirch Prof Letícia Mara Peres Universidade Federal do Paraná - ago/2017 Gerenciamento

Leia mais

O que é um sistema distribuído?

O que é um sistema distribuído? Disciplina: Engenharia de Software 4 Bimestre Aula 1: ENGENHARIA DE SOFTWARE DISTRIBUÍDO O que é um sistema distribuído? Segundo Tanenbaum e Steen (2007) um sistema distribuído é uma coleção de computadores

Leia mais