XDR Solução para Big Data.
ObJetivo Principal O volume de informações com os quais as empresas de telecomunicações/internet têm que lidar é muito grande, e está em constante crescimento devido à franca popularização das tecnologias de comunicação. Uma parte considerável desse volume de informações se refere ao acompanhamento das atividades dos usuários (como tarifação de chamadas, SMS e acesso a internet por exemplo). Toda atividade realizada por um cliente usando a infraestrutura do provedor é registrada em um xdr (que é um registro de detalhe de evento, seja esse evento uma chamada telefônica, envio de um SMS, acesso à internet ou qualquer outro evento). Os xdrs são gerados continuamente pelos sistemas dessas empresas e geram um demanda grande de armazenamento. Frequentemente as empresas de telecomunicações/internet recebem requisições para confecção de relatórios de xdrs. Essas solicitações podem ser provenientes de áreas da própria empresa (atendimento/backoffice), de clientes ou de entidades governamentais (como o poder judiciário). Tais relatórios podem abranger grandes intervalos de tempo (muitos meses ou mesmo anos) o que demanda uma disponibilidade imediata dos xdrs, sejam eles gerados recentemente ou muito antigos. Diante disso as empresas precisam estar preparadas para: Fornecer detalhes do tráfego de informações (voz, mms, gprs) dos clientes. Prover a retenção de até 10 anos de dados históricos. Prover informações de serviços baseados em IP (IP- Services). Além disso todas estas requisições precisam ser processadas com segurança, restringindo o acesso aos dados apenas aos funcionários autorizados e gerando trilhas para auditoria. O custo de adaptação dos sistemas legados para que eles retenham dados históricos dos clientes é substancial enquanto a implementação de soluções genéricas atinge os objetivos e os requerimentos quase de imediato minimizando qualquer penalidade potencial. O XDR é uma solução que utiliza conceitos de big data, tem uma arquitetura simples, de baixo custo e totalmente integrada à infra-estrutura de negócios das empresas de telecomunicações. Abaixo a seqüência e lógica de processamentos dos xdrs: Os xdrs são gerados pelos sistemas da empresa em layouts específicos de acordo com cada plataforma/ tecnologia (SMS/MMS, GPRS, VOZ FIXO, VOZ MÓVEL, IP- SERVICES, etc.). Em seguida os arquivos são transferidos para um servidor (Windows, Linux ou Unix) onde está o módulo armazenador da solução XDR. O armazenador inicia a compressão dos dados utilizando algoritmos com alta taxa de compactação (diminuindo em mais de 90% o tamanho dos arquivos originais). Depois de compactados os arquivos são indexados e transferidos em arquivos de dados não estruturados para storages corporativos. Após o armazenamento inicial o sistema agenda um processo de otimização dos arquivos armazenados. Nesse processo ocorre a retirada de registros duplicados e uma melhoria na ordenação interna dos blocos de informação. Essas ações diminuem ainda mais o tamanho dos arquivos e otimizam a busca. Os arquivos armazenados em formato compactado ficam então disponíveis para busca pelos módulos de pesquisa da solução XDR. Isso garante segurança dos dados uma vez que impossibilita a consulta fora dos módulos da solução XDR. 02
CARACTERÍSTICAS PRINCIPAIS O que seria mais importante para um produto que vai pesquisar tera, ou mesmo petabytes de dados históricos? Nós podemos afirmar que o mais importante é a taxa de compressão dos dados e em seguida a velocidade para se buscar esses dados (quebra do sigilo). O XDR apresenta essas duas vantagens, pois possui: Processo de compactação que pode chegar a 95% de redução, ou seja, um arquivo de 100 MB é armazenado compactado com 5 MB. Isso é uma diminuição relevante no consumo de disco rígido o que representa uma economia evidente. Utilizando conceitos de big data a velocidade de busca de um mês de xdrs para qualquer ano ou período para um cliente é sempre em torno de 1s, ou seja, o resultado da pesquisa é imediato. Além disso, a solução foi desenvolvida com algoritmos robustos que executam em servidores pequenos e sem demanda efetiva de máquinas com processadores poderosos e com dezenas de GB de memória RAM. Portanto, a arquitetura do software é simples o que torna os custos de implantação e manutenção baixos aliando tudo isso a alta taxa de compactação o que torna a solução com o custo ainda menor ao longo do tempo porque a aplicação não vai ficar demandando disco rígido com freqüência. O histórico inteiro dos xdr s, não importa o tamanho ou o número de anos armazenados, está sempre online. Não há tratamento diferenciando entre dados recentes ou dados mais antigos: tudo é compactado com a mesma taxa de compactação, indexado e disponibilizado para ser pesquisado de forma online e independente do período pesquisado. 03
OVERVIEW DA ARQUITETURA Mediação XdrWeb Transferido por FTP Voz Fixa GSM MMS SMS GPRS Pesquisa e mostra. XdrStorer 1 - Compacta 2 - Ordena e Agrupa 3 - Avalia Duplicidade 4 - Indexa 5 - Transfere Storage O sistema Xdr é formado por três componentes principais: XdrSender XdrStorer XdrWeb Características da arquitetura: Multi Plataforma (Linux, Unix, Windows). Multi thread Cada thread compacta 15000 xdrs/s. Possibilidade de operar em cluster, com o uso de load balancing, fail-over e alta disponibilidade. Permite escalabilidade horizontal e vertical da infraestrutura. Módulos XdrSender Este programa é utilizado em cenários em que a largura de banda (link) para ftp é um ponto crítico. Normalmente tem-se este problema quando existe um volume extremamente alto de dados e ou quando os servidores estão em lugares físicos diferentes. XdrSender tem as seguintes características: Compacta os arquivos no servidor origem e inclui um hash para validação da integridade do arquivo. Envia os arquivos compactados para o servidor destino, possibilitando uma transferência mais rápida (arquivo compactado com diminuição de link/banda) e segura (informações do arquivo original no hash). Distribui os arquivos originais para a estrutura de armazenamento de entrada; Realiza o controle de envio e recebimento. 04
Módulos XdrStorer O programa XdrStorer é quem efetivamente vai compactar e manipular os arquivos transferidos. Depois de compactar o arquivo este será armazenado no próprio servidor de aplicação ou em storages. Esse módulo efetua um processo robusto de processamento dos arquivos no qual os arquivos são processados em bloco o que favorece a efetividade do algoritmo de compactação. Além da compactação os arquivos são indexados seguindo a definição de índices junto ao usuário. Após esse processamento o arquivo final é transferido para o diretório de saída. Todo o processamento destas fases é logado e pode ser avaliado e impresso, além disso, o sistema pode emitir alertas se existir algum problema em alguma destas fases contendo um detalhamento do que aconteceu. O módulo XdrStorer ainda executa, de forma assíncrona, um processo de otimização dos arquivos armazenados. Durante esse processo ocorre a retirada de xdrs duplicados e uma reorganização dos dados para obter uma compactação ainda maior. XdrWeb O software de pesquisa XdrWeb. é quem efetua as buscas diretamente nos dados compactados (no próprio servidor de aplicação ou em storages). Trata-se de uma solução completa para quebra de sigilo com diversas funcionalidades conforme descritas nas seções abaixo. 05
Módulos XDR Pesquisas Possibilidade de realizar pesquisas diretamente nos dados armazenados em storage e exibir os resultados diretamente no navegador do usuário. Ampla capacidade de filtro para as buscas. Além de informar datas para limitar o intervalo de busca é possível informar valores para campos índice e ainda especificar um filtro detalhado usando quaisquer campos dos xdrs pesquisados. Possibilidade de customizar quais colunas farão parte da busca e em qual ordem. Possibilidade de salvar critérios de pesquisa para reutilização posterior. A configuração de filtros em tela pode ser salva dando a possibilidade que o usuário repita uma busca sem ter que digitar novamente todos os critérios utilizados originalmente. Possibilidade de exportar os resultados da pesquisa para diversos formatos como, por exemplo, PDF, Excel e texto. Possibilidade de realizar pesquisas assincronamente com envio automático dos resultados. Basta cadastrar os diversos parâmetros da busca, incluir dados de envio (email, ftp ou sftp) e informar o formato de envio (PDF, Excel, texto, etc) para que o sistema agende e execute a busca. Após a conclusão de todos os itens da pesquisa o resultado é agregado em um arquivo comprimido e automaticamente enviado ao destinatário. Segurança Acesso ao sistema protegido por usuário/senha Senhas são armazenadas criptografadas em banco de dados Política de senhas completa e flexível, incluindo: Configuração de critérios mínimos para a qualidade (força) da senha Configuração do intervalo de tempo após o qual o usuário deve trocar a senha Configuração do número de senhas antigas que o sistema armazena para impedir reutilização Bloqueio de conta após uma quantidade configurável de falhas Impedimento de uso simultâneo de uma mesma conta. O sistema apenas permite o uso do sistema pelo usuário que se conectou por último. Funcionalidades do sistema separadas por perfis. Determinadas áreas do sistema só são acessíveis a usuários com permissão adequada. Possibilidade de proteger com senha arquivos enviados pelo sistema (como o resultado de buscas). Controle de listas negra e branca para restringir o envio de resultados de pesquisa a apenas destinatários conhecidos e previamente cadastrados. Auditoria Todas pesquisas de xdrs efetuadas pelo XdrWeb são auditadas. Usuários com perfil de auditoria podem consultar registros de pesquisa utilizando vários critérios como: dados informados pelo usuário no momento da pesquisa, usuário que efetuou a pesquisa, horário da pesquisa e também o IP da máquina de onde partiu a pesquisa. São ainda auditados e disponibilizados para consulta: Tentativas (bem sucedidas ou não) de acesso ao sistema. Mudança de perfil de usuários. Processamento de arquivos pelo módulo XdrStorer. Demais características Geração de relatórios dinâmicos usando diversas tabelas do sistema como as que controlam as requisições de busca assíncrona como as tabelas de auditoria. Sistema completamente internacionalizável. Cada usuário pode escolher a linguagem que irá utilizar, independente de qualquer configuração regional do servidor. Sistema construído com tecnologias web amplamente usadas no mercado oferecendo segurança, robustez, facilidade de uso e rapidez no acesso às funcionalidades do aplicativo. 06
outros Módulos XDR XdrLoader Esse módulo opcional da solução Xdr possibilita a extração de dados de tabelas em banco de dados para posterior armazenamento pelo módulo XdrStorer. O XdrLoader facilita a migração de dados (históricos ou não) que estejam em banco de dados transformando os dados em arquivos ASCII (em formato definido em conjunto com o cliente) para posterior armazenamento e busca. XdrWs Esse módulo opcional da solução Xdr disponibiliza a funcionalidade de buscas através de um web service (HTTP/ SOAP). Através desse módulo a organização pode agregar funcionalidades de busca de xdrs em sistemas novos ou legados. XdrAlarms Esse módulo da solução Xdr possibilita um amplo controle sobre diversos aspectos do funcionamento da solução Xdr. Com esse módulo é possível monitorar: o envio de arquivos pelo XdrSender o andamento da carga de arquivos pelo XdrStorer (se há excesso de arquivos pendentes de processamento, se não foram enviados arquivos para processamento dentro de um intervalo específico de tempo, se os arquivos de saída estão sendo gerados corretamente, etc) a disponibilidade da interface web do módulo XdrWeb o atendimento de pesquisas assíncronas pelo XdrWeb a exportação de dados pelo XdrLoader Para cada item verificado é possível configurar o que deve ser considerado com criticidade baixa, média ou alta. Para cada criticidade é possível definir que atitude tomar, como: enviar email ou SMS para destinatários configurados inserir registros em alguma tabela de controle em banco de dados avisar sistemas externos (requer integração) 07
CONCLUSÃO O software Xdr foi desenvolvido para encontrar os requerimentos de retenção de dados de empresas de telecomunicações e internet. É uma solução que oferece alto desempenho, altíssima taxa de compactação dos dados, segurança no armazenamento e busca dos dados requisitando um investimento muito baixo em hardware para sua instalação e operação. Diante de tudo isso o Xdr é definitivamente a solução certa, completa e que vai atingir imediatamente os objetivos e requerimentos de retenção de dados de qualquer organização. Rua DOS Timbiras, 1560-11º ANDAR Belo horizonte - Minas Gerais - Brasil www.telecomassociates.com.br contato@telecomassociates.com.br tel.: +55 31 3024-0523 08