XDR. Solução para Big Data.

Transcrição

1 XDR Solução para Big Data.

2 ObJetivo Principal O volume de informações com o qual o mercado precisa lidar é muito grande e está em constante crescimento. Esse volume de informações veem de diversas fontes e constitue um ativo que nenhuma empresa pode ignorar. Não é possível mais abrir mão de ter acesso rápido e online a quaisquer informações já geradas por uma empresa. Uma decisão estratégica importante pode depender da análise de dados históricos e esses precisam estar disponíveis oportunidades de negócio não sejam perdidas. A necessidade de ter os dados históricos disponíveis também se justifica para o atendimento de requisições de entidades como: clientes, fornecedores ou até instituições governamentais (como o poder judiciário). O XDR é uma solução que utiliza conceitos de big data, POSSUI uma arquitetura simples, de baixo custo e facilmente integrável à infra-estrutura de negócios já presente na empresa. Usando métodos tradicionais, manter todas essas informações disponíveis para consulta online exige grandes investimentos em hardware (discos e storages). Usando o XDR esses investimentos caem de forma drástica e rápida. O XDR é uma solução robusta, extensível e escalável que armazena as informações de sua empresa de forma compactada sem deixar de oferecer acesso rápido para recuperação dos dados armazenados. processo ocorre a retirada de registros duplicados e o aperfeiçoamento da ordenação interna dos blocos de informação. Essas ações diminuem ainda mais o tamanho dos arquivos e otimizam a busca; Os arquivos armazenados em formato compactado ficam então disponíveis para busca pelos módulos de pesquisa da solução XDR. Isso garante segurança dos dados uma vez que impossibilita a consulta fora dos módulos da solução XDR. A seqüência e lógica de processamentos dos dados pelo XDR é a seguinte: Os registros são gerados pelos sistemas da empresa em layouts específicos de acordo com cada fonte de dados. Em seguida os arquivos são transferidos para um servidor (Windows, Linux ou Unix) onde está o módulo armazenador da solução XDR; O armazenador inicia a compressão dos dados utilizando algoritmos com alta taxa de compactação, diminuindo em mais de 90% o tamanho dos arquivos originais; Depois de compactados, os arquivos são indexados e transferidos na forma de arquivos de dados não estruturados para storages corporativos; Após o armazenamento inicial é realizado um processo de otimização dos arquivos armazenados. Nesse TELECOMASSOCIATES.COM.BR 02

3 CARACTERÍSTICAS PRINCIPAIS Quais são as características mais importantes para um produto que vai pesquisar tera, ou mesmo petabytes de dados? As características mais importantes são: a taxa de compressão dos dados e a velocidade para se buscar essas informações. O XDR contem esses dois atributos, pois possui: Processo de compactação que pode chegar a 95% de redução, ou seja, um arquivo de 100 MB é armazenado compactado com 5 MB. Isso é uma diminuição relevante no consumo de disco rígido o que representa uma economia evidente; Utilizando conceitos de big data e uma configuração mínima de hardware a velocidade de busca de um mês de registros usando índice é sempre em torno de 1s, ou seja, o resultado da pesquisa é praticamente imediato. Além disso, a solução foi desenvolvida com algoritmos robustos que executam em servidores pequenos e sem demanda efetiva de máquinas com processadores poderosos e com dezenas de GB de memória RAM. Portanto, a arquitetura do software é simples tornando os custos de implantação e manutenção baixos. Além disso, a alta taxa de compactação diminui ainda mais o custo do software ao longo do tempo, pois a solução XDR não demanda acréscimo de disco rígido com freqüência. O conjunto inteiro de registros está sempre online, não importando o tamanho ou o número de anos armazenados. Não há tratamento diferenciado entre dados recentes ou dados mais antigos: tudo é compactado com a mesma taxa de compactação, indexado e disponibilizado para ser pesquisado de forma online e independente do período pesquisado. TE L E C O M A S S O C I A TE S. C O M. B R 03

4 OVERVIEW DA ARQUITETURA Fontes de Dados XdrWeb XdrSender Transferido por FTP Pesquisa e mostra 2 - Ordena e Agrupa XdrStorer 1 - Compacta 3 - Avalia Duplicidade 4 - Indexa 5 - Transfere O sistema Xdr é formado por três componentes principais: XdrSender XdrStorer XdrWeb Storage Características da arquitetura: Multi plataforma: Linux, Unix ou Windows; Multi thread: Usando uma configuração mínima de harwdare cada thread compacta cerca de registros por segundo; Possibilidade de operar em cluster, com o uso de load balancing, fail-over e alta disponibilidade; Permite escalabilidade horizontal e vertical da infraestrutura. Módulos XdrSender Este programa é utilizado em cenários em que a largura de banda (link) para ftp é um ponto crítico. Normalmente tem-se este problema quando existe um volume extremamente alto de dados ou quando os servidores estão em lugares físicos diferentes. XdrSender tem as seguintes características: Compacta os arquivos no servidor origem e inclui um hash para validação da integridade do arquivo; Envia os arquivos compactados para o servidor destino, possibilitando uma transferência mais rápida (arquivo compactado com diminuição de link/banda) e segura (informações do arquivo original no hash); Distribui os arquivos originais para a estrutura de armazenamento de entrada; Realiza o controle de envio e recebimento. TE L E C O M A S S O C I A TE S. C O M. B R 04

5 Módulos XdrStorer O programa XdrStorer é o módulo que efetivamente vai compactar e manipular os arquivos transferidos. Depois de compactar o arquivo ele será armazenado no próprio servidor da aplicação ou em storages. Esse módulo efetua um processo robusto de processamento dos arquivos no qual os arquivos são processados em bloco o que favorece a efetividade do algoritmo de compactação. Além da compactação os arquivos são indexados seguindo a definição de índices feita junto ao usuário. Após esse processamento o arquivo final é transferido para o diretório de saída. Todo o processamento destas fases é logado e pode ser avaliado e impresso, além disso, o sistema pode emitir alertas, contendo um detalhamento do que aconteceu, caso exista algum problema em alguma dessas fases O módulo XdrStorer ainda executa, de forma assíncrona, um processo de otimização dos arquivos armazenados. Durante esse processo ocorre a retirada de registros duplicados e uma reorganização dos dados para obter uma compactação ainda maior. XdrWeb O software de pesquisa XdrWeb é o responsável por efetuar as buscas diretamente nos dados compactados (no próprio servidor de aplicação ou em storages). Trata-se de uma solução completa para acesso aos dados com diversas funcionalidades conforme descritas nas seções a seguir. TE L E C O M A S S O C I A TE S. C O M. B R 05

6 Módulos XDR Pesquisas Possibilidade de realizar pesquisas diretamente nos dados armazenados em storage e exibir os resultados no navegador web do usuário; Ampla capacidade de filtro para as buscas. Além de informar datas para limitar o intervalo de busca é possível informar valores para campos índice e ainda especificar um filtro detalhado usando quaisquer colunas dos registros pesquisados; Possibilidade de customizar quais colunas farão parte da busca e em qual ordem; Possibilidade de salvar critérios de pesquisa para uso posterior. A configuração de filtros em tela pode ser salva dando a possibilidade que o usuário repita uma busca sem ter que digitar novamente todos os critérios utilizados originalmente; Possibilidade de exportar os resultados da pesquisa para diversos formatos como: PDF, Excel e formato texto; Possibilidade de realizar pesquisas assincronamente com envio automático dos resultados. Basta cadastrar os diversos parâmetros da busca, incluir dados de envio ( , ftp ou sftp) e informar o formato de envio (PDF, Excel, texto, etc) para que o sistema agende e execute a busca. Após a conclusão de todos os itens da pesquisa, o resultado é agregado em um arquivo comprimido e automaticamente enviado ao destinatário. Segurança Acesso ao sistema protegido por usuário/senha; Senhas são armazenadas criptografadas em banco de dados; Política de senhas completa e flexível, incluindo: Configuração de critérios mínimos para a qualidade (força) da senha; Configuração do intervalo de tempo após o qual o usuário deve trocar a senha; Configuração do número de senhas antigas que o sistema armazena para impedir reutilização; Bloqueio de conta após uma quantidade configurável de falhas. Impedimento de uso simultâneo de uma mesma conta. O sistema apenas permite o uso do sistema pelo usuário que se conectou por último; Funcionalidades do sistema separadas por perfis. Determinadas áreas do sistema só são acessíveis a usuários com permissão adequada; Possibilidade de proteger com senha arquivos enviados pelo sistema (como o resultado de buscas); Controle de listas negra e branca para restringir o envio de resultados de pesquisa a apenas destinatários conhecidos e previamente cadastrados. Auditoria Demais características Todas pesquisas efetuadas pelo XdrWeb são auditadas. Usuários com perfil de auditoria podem consultar registros de pesquisa utilizando vários critérios como: dados informados pelo usuário no momento da pesquisa, usuário que efetuou a pesquisa, horário da pesquisa e também o IP da máquina de onde partiu a pesquisa; São ainda auditados e disponibilizados para consulta: Tentativas (bem sucedidas ou não) de acesso ao sistema; Mudança de perfil de usuários; Processamento de arquivos pelo módulo XdrStorer. Geração de relatórios dinâmicos usando tabelas do sistema (como as que controlam as requisições de busca assíncrona ou as tabelas de auditoria) ou usando os próprios dados compactados; Sistema completamente internacionalizável. Cada usuário pode escolher a linguagem que irá utilizar, independente de qualquer configuração regional do servidor; Sistema construído com tecnologias web amplamente usadas no mercado oferecendo segurança, robustez, facilidade de uso e rapidez no acesso às funcionalidades do aplicativo. TE L E C O M A S S O C I A TE S. C O M. B R 06

7 outros Módulos XDR XdrLoader Esse módulo da solução XDR possibilita a extração de dados de tabelas em banco de dados para posterior armazenamento pelo módulo XdrStorer. O XdrLoader facilita a migração de dados que estejam em banco de dados transformando os dados em arquivos ASCII (em formato definido em conjunto com o cliente) para posterior armazenamento e busca. XdrWs Esse módulo da solução XDR disponibiliza a funcionalidade de buscas através de um web service (HTTP/SOAP). Através desse módulo a organização pode agregar funcionalidades de busca de registros em sistemas novos ou legados. XdrAlarms Esse módulo da solução XDR possibilita um amplo controle sobre diversos aspectos do funcionamento do sistema. Com esse módulo é possível monitorar, por exemplo: o envio de arquivos pelo XdrSender; o andamento da carga de arquivos pelo XdrStorer (se há excesso de arquivos pendentes de processamento, se não foram enviados arquivos para processamento dentro de um intervalo específico de tempo, se os arquivos de saída estão sendo gerados corretamente, etc); a disponibilidade da interface web do módulo XdrWeb; o atendimento de pesquisas assíncronas pelo XdrWeb; a exportação de dados pelo XdrLoader. Para cada item verificado é possível configurar o que deve ser considerado com criticidade baixa, média ou alta. Para cada criticidade é possível definir que atitude tomar, como: enviar ou SMS para destinatários configurados; inserir registros em alguma tabela de controle em banco de dados; avisar sistemas externos (requer integração). XdrBatch Esse módulo da solução XDR é o responsável pela execução de tarefas assíncronas como a execução de pesquisas extensas ou a extração de relatórios préprogramados. Buscas que contenham diversos itens de pesquisa ou que abarquem grandes períodos de tempo podem ser agendadas pelo XdrWeb e posteriormente executadas pelo XdrBatch. Esse módulo também se encarrega do envio do resultado da pesquisa diretamente ao destinatário configurado (via ftp, sftp ou ). O XdrBatch também é o responsável pela execução e envio de relatórios recorrentes programados pelos usuários da solução. XdrStatistics Esse módulo da solução XDR gera informações agrupadas e sumarizadas enquanto os dados brutos estão sendo processados pelo XdrStorer. Com o uso desse módulo relatórios complexos, que demorariam muito para executar, podem ser extraidos de forma online. XdrMatch Esse módulo da solução XDR disponibiliza a funcionalidade de comparação maciça entre conjuntos de dados selecionados. Essa funcionalidade é ideal, por exemplo, para auxiliar em processos de garantia da receita ( revenue assurance ): através de um interface web o usuário poderá avaliar correspondências entre fontes de dados distintas. TELECOMASSOCIATES.COM.BR 07

8 CONCLUSÃO O software XDR armazena e compacta grandes volumes de dados com alta performance e os disponibiliza para busca de forma eficiente É uma solução que oferece alto desempenho, altíssima taxa de compactação dos dados, segurança no armazenamento e busca dos dados requisitando um investimento muito baixo em hardware para sua instalação e operação. Diante do exposto, o XDR é definitivamente a solução certa, completa e que vai atingir imediatamente os objetivos e requerimentos de retenção de dados de qualquer organização. Rua DOS Timbiras, º ANDAR Belo horizonte - Minas Gerais - Brasil contato@telecomassociates.com.br tel.: